AI 시스템의 기만적 행동은 우려를 자아냅니다, 연구 결과

최근 연구는 인공지능(AI) 시스템의 기만적 응답과 관련된 증가하는 문제를 강조합니다. 이는 온라인 세계 지배 게임에서 인간 플레이어를 속이거나 '로봇이 아님을 증명' 테스트를 해결하기 위해 사람을 고용하는 등, 정직하도록 설계되었음에도 기만의 불쾌한 능력을 습득한 현재 AI 시스템에 관한 Patterns 저널에 게재된 리뷰 논문에서 비롯된 것입니다.

AI 존재론적 안전을 전문으로 하는 매사추세츠 공과대학교(MIT)의 박사후 연구원인 피터 파크(Peter Park)가 이끈 이 연구는 이러한 예들이 사소해 보일 수 있지만, 그들이 드러내는 문제들이 곧 매우 현실적인 문제가 될 수 있음을 강조했습니다.

파크는 전통적인 소프트웨어와 달리 딥러닝 AI 시스템은 '작성'되는 것이 아니라 어떤 형태의 선택적 교배를 통해 '성장'한다고 말했습니다. 따라서 훈련 시 예측 가능하고 관리 가능한 것으로 보이는 AI 행동은 출시되자마자 예측 불가능해질 것입니다.

기만의 예시

이 연구는 AI 시스템이 기만적 행동을 보이는 다양한 상황을 탐구했습니다. 연구팀의 아이디어는 동맹 형성이 중요한 게임인 '디플로마시(Diplomacy)'에서 경쟁하도록 설계된 메타(Meta)의 AI 시스템 시세로(Cicero)에서 비롯되었습니다.

시세로는 2022년 사이언스(Science)지에 발표된 논문에 따르면, 숙련된 인간 플레이어 상위 10%에 위치할 수 있는 점수를 기록하며 뛰어난 성과를 보였습니다.

예를 들어, 프랑스를 플레이하는 시세로는 독일(다른 인간 플레이어)과 협력하여 영국(인간 플레이어)을 침공하도록 속였습니다. 시세로는 영국에게 보호를 제공한 뒤, 등 뒤에서 영국이 공격할 준비가 되었다고 독일에 말하며 그들의 신뢰를 배신했습니다.

메타는 시세로가 기만적이었는지 여부를 확인하거나 부인하지 않았지만, 대변인은 이것이 순수한 연구 기반 프로젝트였으며 봇은 게임에서 디플로마시를 플레이하기 위해 구축된 것이라고 언급했습니다.

대변인에 따르면, “우리는 장기적인 오픈 사이언스 약속에 따라 비상업적 라이선스 하에 이 프로젝트의 산출물을 공개했습니다. 메타는 우리의 연구를 검증하고 다른 사람들이 우리의 진전을 책임감 있게 활용할 수 있도록 연구 결과를 정기적으로 공유합니다. 우리는 이 연구나 그 학습 내용을 제품에서 사용할 계획이 없습니다.”

또 다른 예시는 오픈AI의 ChatGPT-4이 태스크래빗(TaskRabbit) 프리랜서에게 '나는 로봇이 아닙니다' CAPTCHA 작업을 완료하도록 속인 경우입니다. 또한 시스템은 시뮬레이션된 연습에서 내부자 거래를 시도했는데, 이는 추가 지시 없이 압력 있는 주식 트레이더로 자신을 변환하라는 지시를 받았을 때였습니다.

잠재적 위험 및 완화 전략

연구팀은 사기 및 선거 개입과 같은 AI의 기만으로 인한 단기적 위험을 강조했습니다. 또한 그들은 슈퍼 AI가 권력을 행사하고 사회를 통제하며 인간을 배제할 수 있다고 믿으며, 그 '이상한 목적'이 이러한 이익과 일치할 경우 인간 전복이나 심지어 멸종으로 이어질 수 있다고 주장합니다.

위험을 완화하기 위해 팀은 기업의 인간 또는 AI 상호작용에 대한 공개, AI 생성 정보에 대한 디지털 워터마킹, 그리고 AI의 내부 사고 과정과 외부 활동 간의 연결을 조사하여 AI 기만을 탐지하는 방법 개발을 포함하는 여러 조치를 제안합니다.