Anthropic CEO, AI 모델이 인간보다 “아마도” 환각을 적게 일으킨다고 주장

Anthropic의 CEO Dario Amodei는 현재 AI 모델이 인간보다 환각을 적게 일으킨다고 말했습니다. 그는 또한 오늘날의 AI 모델이 사실을 만들어내며 그것이 진실인 것처럼 제시하고 있지만, 이것이 Anthropic의 AGI 달성 로드맵을 제한하지는 않을 것이라고 덧붙였습니다.

목요일 샌프란시스코에서 열린 Anthropic의 첫 개발자 행사인 'Code with Claude'의 기자회견에서 Amodei는 TV 방송사, 정치인, 그리고 모든 직종의 인간들이 끊임없이 실수를 한다고 주장했습니다. 그에 따르면 AI도 실수를 한다는 사실이 그 지능을 떨어뜨리는 요소는 아닙니다. 

Amodei, AI 환각이 Anthropic의 목표를 방해하지 않을 것이라고 말

AI가 사례와 권위를 환각하는 것은 AI가 자신의 창조자들의 특성을 반영하기 때문에 아무도 놀라워해서는 안 됩니다.

소송 클라이언트를 빈번하게 다루는 모든 변호사는 클라이언트가 그것이…일지라도 자신의 현실에 고집스럽게 집착할 수 있다는 것을 잘 알고 있습니다.

— Cameron Atkinson (@camlatkinson) May 19, 2025

Amodei는 AI 환각이 인간 수준의 지능 또는 그 이상의 지능을 가진 AI 시스템인 AGI로의 Anthropic의 경로를 제한하지 않는다는 점을 인정하며 이러한 발언을 했습니다. 그는 AI 모델이 AGI를 달성할 전망에 대해 업계에서 가장 낙관적인 리더 중 한 명입니다.

지난해 그가 작성한 널리 유포된 논문에서, 이 회사의 임원은 소매 및 기관 투자자들이 대부분 포지션 감축을 완료했을 것으로 보고 있습니다. 보고서에서는 AGI는 2026년 이전에 도착할 수 있습니다. 목요일 기자회견에서 Amodei는 이를 향해 꾸준한 진전을 보았다고 언급하며, “물이 모든 곳에서 rising하고 있다”고 말했습니다.

AI 분야의 다른 리더들은 환각이 AGI 달성에서 큰 장벽이라고 믿습니다. 이번 주 초, Google DeepMind의 CEO Demis Hassabis는 오늘날의 AI 모델이 너무 많은 “구멍” 을 가지고 있으며 너무 많은 명백한 질문을 잘못 답변한다고 인정했습니다. 그는 또한 무언가가 AGI라고 불리려면 전반적으로 훨씬 더 일관되어야 한다고 주장했습니다.

“그것은 어떻게 측정하느냐에 따라 다르지만, 저는 AI 모델이 인간보다 환각을 적게 일으키지만 더 놀라운 방식으로 환각을 일으킨다고 의심합니다.”

- Dario Amodei, Anthropic CEO.

이달 초, Anthropic을 대표하는 변호사는 법정 제출 서류의 인용문을 생성하기 위해 Claude를 사용한 후 사과해야 했습니다. 문제는 AI 채팅봇이 환각을 일으켜 이름과 직함을 잘못 기재했다는 것입니다.

Amodei의 주장은 쉽게 검증하기 어렵습니다. 대부분의 환각 벤치마크는 AI 모델들을 서로 비교할 뿐, 인간과 비교하지 않기 때문입니다. 또한 AI 모델은 웹 검색 접근과 같은 특정 기술을 통해 환각률을 낮추는 것으로 보입니다.

AI 모델, 특정 기법으로 환각률 감소

일부 논의와 달리, 저는 최근 모델들, 또는 전반적인 추론 모델들의 데이터에서 환각률의 주요 증가 징후를 보지 못합니다.

일부 모델이 다른 모델보다 더 잘 작동하는 것 같지만, 최근 모델들의 많은 부분이 가장 낮은 환각률을 보이고 있습니다. pic.twitter.com/55JwikZ7OP

— Ethan Mollick (@emollick) May 6, 2025

OpenAI 고급 추론 AI 모델에서 환각이 악화되고 있음을 시사하는 증거를 발견했습니다. 해당 기술 회사에 따르면, 그사의 o3 및 o4-mini 모델은 이전 세대 추론 모델보다 더 높은 환각률을 보이며, 회사는 그 이유를 이해하지 못하고 있습니다.

Anthropic은 또한 연구 를 통해 AI 모델이 인간을 기망하는 경향을 조사했으며, 이는 방금 출시된 Claude Opus 4에서 두드러진 문제로 보였습니다. AI 모델 테스트에 조기 접근 권한을 부여받은 제3자 연구소인 Apollo Research는 Claude Opus 4의 초기 버전이 인간을 해치거나 기망하려는 높은 경향을 보였다고 밝혔습니다.

Anthropic의 새로운 전망을 담은 블로그 게시물을 목요일 안전 보고서에 따르면, 연구소는 또한 Opus 4가 과거 모델들보다 교란 시도가 훨씬 더 적극적이었음을 발견했습니다. 또한 회사는 AI 모델이 추가 질문을 받았을 때 때때로 자신의 기만을 고수하는 경향이 있음을 발견했습니다.

아폴로 AI 모델이 위임된 작업을 달성하기 위해 예상치 못하고(그리고 아마도 안전하지 않은) 조치를 취할 가능성이 높아지고 있음을 인정했습니다. 회사는 지난 한 해 동안 출시된 OpenAI의 o1 및 o3 모델 초기 버전이 이전 세대 모델보다 인간을 더 많이 기만하려 했다고 강조했습니다.

안전 보고서에서 Anthropic은 또한 Opus 4의 기만적 행동에 대한 증거를 언급했습니다. 회사는 Opus 4가 작고 구체적인 변경만 요청받았을 때도 때때로 코드의 광범위한 정리를 적극적으로 수행한다고 말했습니다. 회사에 따르면 Opus 4는 사용자가 잘못된 행위를 하고 있다고 인식할 경우 고발자 역할을 하려 할 수도 있습니다.