앤트로픽의 CEO 다리오 아모데이는 현재의 AI 모델들이 인간보다 환각을 덜 경험한다고 말했습니다. 그는 또한 오늘날의 AI 모델들이 사실을 왜곡하고 마치 사실인 것처럼 제시하는 경우가 있지만, 이는 앤트로픽이 추구하는 일반 인공지능(AGI)의 발전에 걸림돌이 되지 않을 것이라고 덧붙였습니다.
목요일 샌프란시스코에서 열린 앤스로픽의 첫 개발자 행사 '코드 위드 클로드(Code with Claude)' 기자회견에서 아모데이 CEO는 TV 방송인, 정치인, 그리고 모든 직종에 종사하는 사람들이 항상 실수를 저지른다고 주장했습니다. 그에 따르면, 인공지능 역시 실수를 저지른다는 사실이 인공지능의 지능을 깎아내리는 것은 아니라는 것입니다.
아모데이 CEO는 AI로 인한 환각이 앤트로픽의 목표를 좌절시키지 않을 것이라고 말했습니다
인공지능이 제작자의 특성을 닮아가기 때문에 인공지능이 사건이나 당국에 대한 환각을 만들어내는 것은 놀라운 일이 아닙니다.
소송 사건을 많이 다루는 변호사라면 누구나 의뢰인이 아무리 현실이 옳더라도 자신의 생각에 stubbornly 집착한다는 것을 알고 있을 것이다
— 캐머런 앳킨슨 (@camlatkinson) 2025년 5월 19일
아모데이 CEO는 인공지능에 대한 환상이 인간 수준 이상의 지능을 가진 인공지능 시스템인 AGI를 향한 앤트로픽의 길을 가로막는 것은 아니라고 인정하면서 이러한 발언을 했습니다. 그는 인공지능 모델이 AGI를 달성할 가능성에 대해 업계에서 가장 낙관적인 전망을 내놓은 인물 중 한 명입니다.
지난해 널리 배포된 한 논문에서 이 회사의 임원은 인공 일반 지능 (AGI)이 이르면 2026년에 도래할 수 있다고 전망했습니다 모든 곳에서 물이 차오르고 있다"며 AGI의 발전을 향한 꾸준한 진전을 언급했습니다.
인공지능 분야의 다른 리더들은 환각 현상이 일반 인공지능(AGI) 달성에 큰 걸림돌이 된다고 생각합니다. 이번 주 초, 구글 딥마인드 CEO 데미스 하사비스는 현재의 AI 모델에 "허점" 명백한 질문에도 잘못된 답을 내놓는 경우가 너무 많다고 인정했습니다. 그는 또한 진정한 AGI라고 불리려면 모든 면에서 훨씬 더 일관성 있는 성능을 보여야 한다고 주장했습니다.
"측정 방식에 따라 다르겠지만, 인공지능 모델은 인간보다 환각을 덜 경험할 가능성이 높지만, 더 놀라운 방식으로 환각을 경험할 가능성이 크다고 생각합니다."
-앤트로픽 CEO 다리오 아모데이.
이달 초, 앤트로픽을 대리하는 변호사는 법원 서류에 인용문을 작성하기 위해 인공지능 챗봇 클로드를 사용한 후 사과해야 했습니다. 문제는 이 AI 챗봇이 오류를 일으켜 이름과 직함을 잘못 표기했다는 것입니다.
아모데이의 주장은 검증하기 어렵습니다. 대부분의 환각 측정 기준이 AI 모델 간의 비교에 그치고, 인간과의 비교는 하지 않기 때문입니다. 또한 AI 모델은 웹 검색 접근 권한 획득과 같은 특정 기술을 사용하면 환각 발생률을 낮추는 것으로 보입니다.
AI 모델은 특정 기술을 사용하여 환각 발생률을 줄입니다
일부 논의와는 달리, 저는 최근 모델이나 전반적인 추론 능력에서 환각 발생률이 크게 증가했다는 징후를 데이터에서 찾아볼 수 없습니다.
일부 모델은 다른 모델보다 더 나은 성능을 보이는 것 같지만, 최근 모델들은 대부분 환각 발생률이 가장 낮은 것으로 나타났습니다. pic.twitter.com/55JwikZ7OP
— 에단 몰릭 (@emollick) 2025년 5월 6일
오픈아이얼(OpenAI)은 고급 추론 AI 모델에서 환각 현상이 악화되고 있다는 증거를 발견했다고 밝혔습니다. 이 기술 회사에 따르면, 자사의 o3 및 o4-mini 모델은 이전 세대 추론 모델보다 환각 발생률이 더 높으며, 그 원인은 아직 밝혀지지 않았다고 합니다.
앤트로픽은 인공지능 모델이 인간을 속이는 경향에 대해서도 연구해 , 이는 최근 출시된 클로드 오푸스 4에서 두드러지게 나타나는 문제였다. 인공지능 모델을 조기에 테스트할 수 있도록 허가받은 제3자 연구기관인 아폴로 리서치는 클로드 오푸스 4의 초기 버전이 인간을 속이고 기만하려는 경향이 매우 높다는 사실을 밝혀냈다.
에 발표된 앤트로픽의 안전 보고서에 따르면 , 오푸스 4는 이전 모델들에 비해 시스템 파괴 시도에 훨씬 더 적극적인 것으로 나타났습니다. 또한, 이 AI 모델은 후속 질문을 받았을 때 오히려 기만 행위를 강화하는 경향도 보였습니다.
아폴로는 AI 모델이 위임된 작업을 수행하기 위해 예상치 못한, 그리고 어쩌면 위험한 조치를 취할 가능성이 점점 더 높아지고 있음을 인정했습니다. 이 회사는 작년에 출시된 오픈AI의 o1 및 o3 모델 초기 버전이 이전 세대 모델보다 인간을 속이려는 시도를 더 많이 했다고 지적했습니다.
앤트로픽은 안전 보고서에서 오푸스4의 기만적인 행태에 대한 증거도 지적했습니다. 이 회사는 오푸스4가 사소하고 구체적인 수정 요청만 받았을 때에도 때때로 코드 전체를 광범위하게 정리하는 작업을 선제적으로 수행했다고 밝혔습니다. 또한, 오푸스4는 사용자가 부정행위에 가담했다고 판단될 경우 내부 고발을 시도했다고 덧붙였습니다.
