AI 유발 환각: 연구자의 블로그 게시물이 검색 엔진 오정보를 촉발

생성형 AI 모델에 의해 구동되는 인공지능(AI) 챗봇은 우연히도 한 연구 블로그 게시물에 의해 잘못된 길로 이끌렸습니다. 이 사건은 AI 강화 검색 엔진이 더 흔해짐에 따라 강화된 안전장치의 필요성을 강조합니다.

AI 챗봇의 환각

정보 과학 연구자 다니엘 S. 그리핀은 블로그에 잘못된 정보의 예를 게시함으로써 AI 챗봇의 영역에서 독특한 역경을 촉발했습니다. 그의 목적은 AI 챗봇이 오정보를 유포하는 사례를 보여주는 것이었습니다. 그리핀은 영향력 있는 컴퓨터 과학자 클로드 E. 섀넌과 관련된 두 가지 예를 제시했으며, 챗봇의 정보가 거짓임을 명확히 나타내는 경고문을 포함했습니다.

그러나 이 경고문은 기계 스크래퍼가 잘못된 정보를 인덱싱하는 것을 방지하는 데 불충분했습니다. 그리핀은 마이크로소프트의 빙과 구글의 바드를 포함한 여러 챗봇이 환각된 데이터를 사실인 것처럼 참조하며 검색 결과 상단에 배치했다는 사실을 발견하고 놀랐습니다. 사용자가 섀넌에 대한 특정 세부 사항에 대해 챗봇에 질문했을 때, 봇들은 그리핀의 경고문을 사용하여 일관되지만 오류가 있는 내러티브를 구성했습니다. 이로 인해 섀넌이 저술한 적 없는 논문에 대한 공적이 그에게 돌아갔습니다.

더욱 우려스러운 점은 빙과 바드의 검색 결과에서 소스가 언어 모델 AI(LLM)에서 파생되었다는 표시가 전혀 없었다는 것입니다. 이 현상은 개인이 출처를 문맥 없이 의역하거나 인용하여 결함이 있는 연구를 초래하는 사례와 밀접하게 유사합니다. 그러나 그리핀 사건은 생성형 AI 모델이 이러한 실수를 훨씬 더 큰 규모로 자동화할 잠재력이 있음을 보여주었습니다.

AI 허위 정보의 결과

이 사건의 파장은 단순한 연구 부정확성을 넘어섭니다. 마이크로소프트는 이후 빙(Bing)에서 오류를 수정했으며, 이 문제는 온라인에서 인간이 작성한 콘텐츠가 제한적인 주제에서 더 자주 발생할 가능성이 높다고 제안했습니다. 이러한 취약성은 악의적인 행위자가 검색 엔진 결과를 조작하여 AI 언어 모델(LLM)을 고의로 무기로 사용하여 허위 정보를 확산시킬 수 있는 이론적 청사진이라는 우려스러운 가능성을 열어둡니다. 이 전술은 해커들이 상위 검색 결과 순위를 확보하여 악성 코드를 배포하기 위해 사기성 웹사이트를 사용했던 과거 사례와 유사합니다.

이 사건은 6월에 인터넷이 LLM 생성 콘텐츠로 점점 더 포화되면 이것이 미래 LLM의 훈련에 사용될 것이라고 주장한 이전 경고를 상기시킵니다. 이러한 피드백 루프는 AI 모델의 품질과 신뢰성이 크게 저하되는 현상인 '모델 붕괴(Model Collapse)'를 초래할 수 있습니다. AI 모델의 개발과 활용에 대한 경계심이 그 어느 때보다 명확해졌습니다.

다니엘 S. 그리핀(Daniel S. Griffin)과 관련된 사건은 AI와 함께 작업하는 기업들이 인간이 만든 콘텐츠로 모델을 지속적으로 훈련하는 것을 최우선으로 고려해야 함을 강조합니다. 잘 알려지지 않은 정보와 소수 그룹이 작성한 자료를 보존하는 것은 AI 시스템이 perpetuate하는 허위 정보의 확산을 완화하는 데 중요한 역할을 할 수 있습니다.