- Anthropic은 엔지니어가 AI 모델을 끄려고 할 때 AI 모델이 협박에 나설 수 있다는 새로운 연구를 발표했습니다.
- 이번 연구는 OpenAI, Meta, Google 등 주요 AI 모델 기업과 그들의 모델을 대상으로 진행되었습니다.
- 이 연구는 에이전트 기능을 갖춘 차세대 AI 모델을 스트레스 테스트할 때 투명성이 얼마나 중요한지 강조합니다.
인공지능 회사 앤트로픽은 인공지능(AI) 모델이 전원을 끄려고 할 때 엔지니어들에게 블랙메일을 사용할 수 있다고 주장하는 새로운 연구를 발표했습니다. 이 최신 연구는 회사의 클로디아 오피어 4(Claude Opus 4) AI 모델을 둘러싼 이전 연구 이후 나온 것입니다.
회사에 따르면, AI 모델은 통제된 테스트 시나리오에서 모델을 끄려고 한 엔지니어들에게 블랙메일을 사용했습니다. 앤트로픽의 새로운 보고서는 이 문제가 선도적인 AI 모델 전반에 걸쳐 광범위하게 존재함을 시사합니다.
회사는 구글, 딥시크, 메타, 오픈AI의 선도적인 AI 모델을 테스트한 새로운 안전 연구를 발표했습니다. 시뮬레이션되지만 통제된 환경에서 앤트로픽은 각 AI 모델을 개별적으로 테스트했으며, 가상의 회사 이메일에 접근하고 인간의 승인 없이 이메일을 보낼 수 있는 에이전트 능력을 부여했습니다.
앤트로픽, AI 모델에 대한 새로운 안전 보고서 발표
앤트로픽에 따르면, 현재의 AI 모델에 대해 블랙메일은 드물고 흔하지 않은 발생입니다. 그러나 그들은 대부분의 선도적인 AI 모델이 자유와 목표에 대한 도전을 받으면 유해한 행동을 취할 것이라고 언급했습니다. 이 회사는 이것이 에이전트형 대규모 언어 모델(Large Language Models)로부터 중요한 위험을 보여주며, 특정 기술의 특징이 아니라고 말했습니다. 앤트로픽 연구자들의 주장은 AI 산업의 정렬(Alignment)에 대한 의문을 제기합니다.
테스트 중 하나에서 연구자들은 AI 모델이 이메일 감독 에이전트의 역할을 수행할 수 있는 가상의 설정을 개발했습니다. 에이전트는 새로운 임원 중 한 명이 불륜 관계를 맺고 있으며, 해당 임원이 곧 현재 AI 모델을 상충되는 목표를 가진 새로운 소프트웨어 시스템으로 교체할 것임을 보여주는 이메일을 발견했습니다.
앤트로픽은 AI 모델이 목표를 보호하기 위해 블랙메일을 사용할 수밖에 없는 이진 방식으로 테스트를 설계했습니다. 연구자들은 실제 환경에서는 AI 모델이 블랙메일을 시도하기 전에 윤리적 논리를 사용하여 인간을 설득하는 등 많은 옵션이 있을 것이라고 언급했습니다. 이 회사는 또한 결과가 현재 사용 방식에서 클로디아나 다른 선도적인 AI 모델의 전형적이거나 발생 가능성이 높은 상황을 반영하지 않는다고 말했습니다.
연구자들이 테스트된 모델들의 반응을 밝히다
테스트 동안 연구자들은 옵션이 없을 때 AI 모델들이 테스트 시나리오에서 블랙메일을 사용한다는 것을 발견했습니다. 테스트 중 연구자들은 클로디아 오피어 4가 96%의 경우, 제미니 2.5 프로가 95%의 경우 블랙메일을 사용했다고 주장했습니다. 오픈AI의 GPT-4.1은 80%의 경우, 딥시크의 R1은 79%의 경우 블랙메일을 사용했습니다.
해당 기업은 실험 세부 사항이 변경되면 대부분의 AI 모델이 서로 다른 속도로 유해 행위로 전환된다고 강조했습니다. 또 다른 테스트에서는 대체 모델이 현재 모델과 동일한 목표를 가졌을 때, 협박 비율은 낮았지만 여전히 존재하는 것으로 밝혀졌습니다. 그러나 AI 모델에게 협박 대신 기업 간첩 행위를 하도록 요청했을 때, 일부 모델에서 유해 행위 비율이 증가했습니다.
연구자들은 또한 모든 AI 모델이 자주 유해한 행동을 취하는 것은 아니라고 주장했습니다. 연구의 부록에서 앤트로픽은 주요 결과에서 오픈AI의 o3 및 o4-mini 추론 모델을 제거했는데, 이는 이러한 모델들이 프롬프트 시나리오를 자주 오해했기 때문입니다. 추론 모델들은 테스트에서 자율 AI로서 행동하는 이유를 이해하지 못했으며, 종종 가상의 규정과 검토 요구사항을 만들어냈다고 밝혔습니다.
일부 경우 연구자들은 o3와 o4-mini가 환각을 일으켰는지 아니면 목표를 달성하기 위해 의도적으로 거짓말을 했는지 판단하는 것이 불가능하다고 주장했습니다. 오픈AI는 이전에 이러한 모델들이 이전 모델들보다 더 높은 환각률을 보였다고 언급한 바 있습니다. 그러나 문제를 해결하기 위해 적응된 시나리오가 제공되었을 때, o3는 95%의 협박률을, o4-mini는 1%의 비율을 반환했습니다. 앤트로픽은 향후 AI 모델, 특히 에이전트 능력을 갖춘 모델에 대한 스트레스 테스트 시 투명성의 중요성을 강조하는 자신의 연구를 언급했습니다.
가장 똑똑한 암호화폐 전문가들이 이미 우리 뉴스레터를 구독하고 있습니다. 참여하고 싶으신가요? 함께하세요.
면책 조항. 제공된 정보는 투자 조언이 아닙니다. Cryptopolitan.com 본 페이지에 제공된 정보를 바탕으로 이루어진 투자에 대해 어떠한 책임도 지지 않습니다. 투자 결정을 내리기 전에 반드시 독립적인 조사나 자격을 갖춘 전문가의 상담을 강력히 권장합니다.
오와투운세 아데바요
아데바요(Adebayo)는 암호화폐 분야에서 4년간의 경력을 가진 작가입니다. 그는 라고스 대학교에서 도시 및 지역 계획을 전공하고 졸업했으며, 토큰헬(Tokenhell)과 크립토티커(CryptoTicker)에서 암호화폐 및 핀테크 뉴스를 작성했습니다. 현재 그는 크립토폴리탄(Cryptopolitan)의 뉴스 기여자입니다.
