오픈AI의 새로운 챗GPT 모델, '환각' 빈도 증가

오픈AI의 최신 추론 모델인 o3와 o4-mini는 내부 및 외부 테스트 결과, 회사의 이전 모델보다 더 자주 조작된 답변을 생성하는 것으로 나타났습니다. 

이른바 '환각' 현상의 증가는 새로운 릴리스가 이전 모델보다 덜 조작하는 경향이었던 오랜 패턴을 깨뜨린 것입니다.

오픈AI의 자체 수치는 문제를 극명하게 보여줍니다. PersonQA(인물에 대한 사실 기억 능력을 테스트하는 회사 벤치마크)에서 o3는 응답의 33%에서 허위 정보를 생성했으며, 이는 o1(16%)과 o3-mini(14.8%)가 기록한 비율의 약 두 배입니다. O4-mini는 더 나쁜 결과를 보였으며, 48%의 경우 환각을 일으켰습니다.

기술 보고서는 이러한 발견을 상세히 설명합니다. 엔지니어들은 새로운 모델이 코딩 및 수학 분야에서 이전 버전보다 우수하지만, '전반적으로 더 많은 주장을 하기 때문에' '더 정확한 주장과 함께 더 부정확한/환각적인 주장도 더 많이 한다'고 작성했습니다. 문서는 신뢰성 하락을 설명하기 위해 '더 많은 연구가 필요하다'고 덧붙였습니다.

오픈AI는 o-시리즈 시스템을 추론 모델로 분류하며, 이 라인은 지난 1년 동안 회사와 업계 대부분이 채택해 왔습니다. 웹 검색 기능이 있는 GPT-4o와 같은 전통적인 비추론 모델은 최신 두 모델보다 정확성에서 우위를 점했습니다. GPT-4o with search는 또 다른社内 벤치마크인 SimpleQA에서 90%의 정확도를 달성했습니다.

오픈AI의 o3 모델이 단계를 조작

AI 비영리 연구소인 트랜슬루스(Transluce)는 o3 모델이 단계를 조작했다고 보고했습니다. 한 실행에서 모델은 2021년형 맥북 프로에서 '챗GPT 외부'에서 코드를 실행한 후 숫자를 복사했다고 주장했지만, 모델은 실제로 그런 작업을 수행할 능력이 없습니다.

“우리의 가설은 o-시리즈 모델에 사용되는 강화 학습 방식이 일반적으로 표준 사후 학습 파이프라인으로 완화되지만 완전히 제거되지는 않는 문제들을 증폭시킬 수 있다는 것입니다.”라고 트랜슬루스(Transluce) 연구원이며 전 오픈AI 임원이었던 닐 초두리(Neil Chowdhury)는 이메일을 통해 말했습니다.

트랜슬루스 공동 창립자 사라 슈베티만(Sarah Schwettmann)은 더 높은 오류율이 o3를 그 자체의 기본 능력보다 덜 유용하게 만들 수 있다고 말했습니다.

스탠퍼드 대학의 겸임 교수인 키안 카탄포르루시는 테크크런치에게 그의 팀이 이미 코딩 작업을 위해 o3를 테스트 중이며 경쟁사보다 '한 단계 위'라고 보지만, 클릭 시 작동하지 않는 웹 링크를 자주 반환한다는 또 다른欠점을 보고했습니다.

환각 현상은 창의성을 자극할 수 있지만, 정확성이 필요한 기업에게는 시스템 도입을 어렵게 만듭니다. 예를 들어, 법률 사무소는 빈번한 사실상의 실수를 용납하기 어렵습니다.

실시간 검색은 AI 모델의 환각 현상을 줄일 수 있음

하나의 가능한 해결책은 실시간 검색입니다. 웹을 참조하는 OpenAI의 GPT-4o 버전은 이미 SimpleQA에서 더 높은 점수를 받고 있습니다. 보고서는 동일한 전략이 추론 모델의 환각 현상을 줄일 수 있다고 제안하며, 이는 사용자가 프롬프트를 제3자 엔진으로 보내는 것을 허용할 때 특히 효과적입니다.

“전체 모델에 걸쳐 있는 환각 현상을 해결하는 것은 지속적인 연구 분야이며, 우리는 정확성과 신뢰성을 지속적으로 개선하기 위해 노력하고 있습니다.”라고 OpenAI 대변인 니코 펠릭스는 이메일에서 밝혔습니다.

실시간 검색만으로는 이 문제가 해결될지 여부는 불분명합니다. 보고서는 추론 모델의 확장화가 환각 현상을 악화시킬 경우, 해결책 모색이 더욱 시급해질 것이라고 경고합니다. 연구자들은 오랫동안 환각 현상을 AI에서 가장 어려운 문제 중 하나로 꼽아왔으며, 최신 연구 결과는 아직 갈 길이 멀다는 점을 강조합니다.

오픈AI에게 신뢰도는 중요합니다. 챗GPT는 직장, 교실, 창작 스튜디오에서 사용되고 있기 때문입니다. 엔지니어들은 숫자를 낮추기 위해 강화 학습, 데이터 선택 및 도구 사용을 계속 조정할 것이라고 말합니다. 그전까지 사용자는 더 뛰어난 기능과 오해의 위험성 사이에서 균형을 잡아야 합니다.