AIㆍML

“아마존 Q, 환각 일으켜 내부 기밀 유출한다” 주장 제기돼

Prasanth Aby Thomas | Computerworld 2023.12.05
공개된지 일주일도 채 되지 않은 AWS의 생성형 AI 서비스 아마존 Q(Amazon Q)가 환각 현상을 일으킬 수 있다는 주장이 제기됐다.
 
ⓒ Getty Images Bank

더플랫포머(The Platformer)는 유출된 문서를 인용해 Q가 "심각한 환각을 경험"하고 있으며, AWS 내부의 기밀 정보를 유출하고 있다고 보도했다. 최근 스탠포드 대학 연구진이 LLM을 기업 데이터베이스에 연결하면 사용 데이터의 출처를 추적하기 점점 어려워진다는 내용의 연구 결과를 발표한 상황이어서 이 같은 보도에 더욱 이목이 쏠리고 있다. 

아마존 대변인은 더플랫포머의 보도에 대해 아마존 Q가 어떠한 기밀 정보도 유출하지 않았다며 "일부 직원은 아마존 표준 관행에 따라 내부 채널과 티켓팅 시스템을 통해 피드백을 공유한다. 피드백에서 보안 문제는 확인되지 않았다. 아마존은 모든 피드백을 검토해 프리뷰 제품에서 일반 사용이 가능한 제품으로 전환하는 과정에서 Q를 계속 조정해 나갈 것"이라고 일축했다.

아마존 Q가 수백만 명의 업무를 지원하는 '업무 동반자'가 될 것이라는 아마존의 주장에도 불구하고 많은 전문가는 아직 기업에서 사용할 준비가 되어 있지 않을 수 있다고 지적한다. 

EIIR트렌드 & 파레크 컨설팅(EIIRTrend & Pareekh Consulting) CEO 파레크 자인은 "환각이 존재한다면 비즈니스 의사결정을 내리는 데 사용할 수 없다. 개인적 용도로 사용하거나 정보를 얻는 데는 괜찮지만, 의사결정 과정에는 적합하지 않다"라고 말했다. 


더 많은 테스트가 필요하다

아마존은 생성형 AI 어시스턴트를 상업용으로 출시하기 전에 상당한 테스트 과제에 직면할 수 있다. 자인은 준비성을 확보하기 위해 광범위한 내부 시험을 실시하는 것이 무엇보다 중요하다며 "물론 지금도 그렇게 하고 있겠지만, 먼저 내부 직원을 대상으로 더 많은 테스트가 필요하다.데이터에 문제가 있는지 알고리즘에 문제가 있는지 확인해야 한다"라고 설명했다.

아마존 Q는 17년간 쌓아온 AWS의 데이터 및 개발 역량을 기반으로 기업을 위한 다용도 도구로 작동하도록 설계됐다. 업계의 방향성을 고려할 때 아마존이 Q에서 환각 현상이 발생하면 많은 위험이 따른다. 

시장조사기관 IDC 부사장 샤라스 스리니바사무르티는 환각 현상이 소비자 및 기업 사용례에서 생성형 AI의 잠재력을 훼손하지는 않지만, 적절한 교육이 필수적이라며 "더 나은 품질의 데이터로 모델 훈련, 프롬프트 증강(모델이 쉽게 이해할 수 있는 미리 정의된 프롬프트로 사용자를 안내하는 것), 조직 또는 산업별 데이터와 정책에 대한 지속적인 미세 조정, 의심스러운 응답에 대비한 인적 확인 계층 강화 등의 조치를 취해야 한다"라고 말했다.


외부 규제보다는 자율 규제

환각에 대한 보고는 규제의 필요성과 언젠가 시행될 수 있는 엄격한 규제에 대한 우려를 불러일으킨다. 그러나 그레이하운드 리서치(Greyhound Research)의 수석 애널리스트 겸 CEO인 산치트 비르 고지아는 규제가 오히려 역효과를 낼 수 있다고 언급했다.

고지아는 "모든 규제는 데이터의 교환과 활용을 늦출 수 있다. 따라서 현재로서는 AI 산업에 대한 규제가 적을수록 데이터를 더 쉽고 원활하게 사용할 수 있다. LLM이 수집하는 데이터에 대해 엄격한 규제가 있었다면 오픈AI의 GPT도 성공하지 못했을 것"이라고 덧붙였다. 

자인은 외부 규제를 설정하는 것보다는 회사 자체적으로 더 많은 노력을 기울이는 것이 좋다며 "주로 자율 규제에 초점을 맞춰야 한다. 규제와 가이드라인은 필요하지만, 감사를 강제하는 데는 한계가 있다. '블랙박스' 시스템을 만들지 않고 고객에게 로직을 설명할 수 있는 책임감 있는 AI에 중점을 두어야 한다. 임계값을 넘어서게 되면 기업이 이런 조치를 보안 문제로 인식하고 어떻게 구현했는지에 더 많은 책임이 있다"라고 말했다.

강력한 내부 테스트와 자율 규제를 비롯해 엔터프라이즈 환경에 AI를 배포하는 작업을 복잡성으로 가득하다. 이 분야에 상대적으로 뒤늦게 뛰어든 아마존은 이런 과제를 해결해야 할 책임이 있다. 자인은 "AWS는 AI 분야에 있어서는 다소 후발주자이며, 현재 마이크로소프트와 구글이 선두를 달리고 있다. 오늘날 사용자는 챗봇 및 기타 AI 관련 기술에 대한 기대치가 높아졌다"라고 말했다.
editor@itworld.co.kr
Sponsored

회사명 : 한국IDG | 제호: ITWorld | 주소 : 서울시 중구 세종대로 23, 4층 우)04512
| 등록번호 : 서울 아00743 등록발행일자 : 2009년 01월 19일

발행인 : 박형미 | 편집인 : 박재곤 | 청소년보호책임자 : 한정규
| 사업자 등록번호 : 214-87-22467 Tel : 02-558-6950

Copyright © 2024 International Data Group. All rights reserved.