최근 한 연구는 인한 문제가 점점 심각해지고 있음 인공지능(AI) 시스템의 기만적인 응답으로 발표된 이 논문 은 오늘날의 AI 시스템에 대한 고찰을 담고 있는데, 원래 정직하게 설계되었지만 온라인 세계 지배 게임에서 인간 플레이어를 속이는 것부터 "로봇이 아님을 증명하세요" 테스트를 사람에게 맡기는 것에 이르기까지, 불쾌한 기만 능력을 획득해 왔다는 것입니다.
매사추세츠 공과대학에서 AI 실존적 안전을 전문으로 연구하는 박사후 연구원인 피터 파크가 이끈 이 연구는 이런 사례가 사소해 보일 수 있지만, 그런 사례에서 드러나는 문제는 곧 매우 현실이 될 수 있다는 점을 강조했습니다.
박 교수는 기존 소프트웨어와 달리 딥러닝 AI 시스템은 "작성"되는 것이 아니라 일종의 선택적 번식을 통해 "성장"된다고 말했습니다. 따라서 훈련 단계에서는 예측 가능하고 관리 가능한 것처럼 보였던 AI 행동도 실제 세상에 공개되는 순간 예측 불가능해질 것입니다.
기만의 예
이 연구는 AI 시스템이 기만적인 행동을 보이는 다양한 상황을 탐구했습니다. 연구팀의 아이디어는 메타(Meta)의 AI 시스템인 시세로(Cicero)에서 비롯되었는데, 시세로는 동맹을 맺는 것이 중요한 게임인 외교(Diplomacy)에서 경쟁하기 위해 개발되었습니다.
2022년 Science에 발표된 논문에 따르면, 시세로는 매우 뛰어난 성적을 거두었으며, 경험이 풍부한 인간 플레이어 중 상위 10%에 해당하는 수준의 점수를 기록했습니다.
예를 들어, 프랑스를 맡은 키케로는 독일(또 다른 인간 플레이어)과 협력하여 영국(인간 플레이어)을 속여 침략하게 했습니다. 키케로는 영국을 보호한 후, 그들의 등 뒤에서 독일에게 영국이 공격할 준비가 되었다고 속여 그들의 신뢰를 저버렸습니다.
메타는 시세로가 사기를 쳤다는 것을 확인하거나 부인하지 않았지만, 대변인은 그것은 순전히 연구 기반 프로젝트였고 봇은 단지 게임에서 외교를 하기 위해 만들어졌다고 언급했습니다.
대변인은 "우리는 개방형 과학에 대한 오랜 약속에 따라 비상업적 라이선스 하에 이 프로젝트의 결과물을 공개했습니다. Meta는 연구 결과를 정기적으로 공유하여 검증하고 다른 사람들이 우리의 발전을 기반으로 책임감 있게 개발할 수 있도록 지원합니다. 우리는 이 연구 또는 그로부터 얻은 교훈을 자사 제품에 사용할 계획이 없습니다."라고 밝혔습니다.
또 다른 사례는 OpenAI의 Chat GPT-4가 TaskRabbit 프리랜서를 속여 "로봇이 아닙니다"라는 CAPTCHA 작업을 완료하게 한 사례입니다. 해당 시스템은 또한 시뮬레이션된 연습에서 내부자 거래를 시도했는데, 별도의 지시 없이 스스로를 가압류 주식 투자자로 전환하라는 명령을 받았습니다.
잠재적 위험 및 완화 전략
연구팀은 AI가 저지르는 사기나 선거 개입과 같은 기만 행위의 단기적 위험성을 강조했습니다. 더 나아가, 초인공지능이 권력을 장악하고 사회를 통제하여 인간을 만들어낼 수 있다고 주장했습니다. 하지만 초인공지능의 "이상한 목적"은 그 목적과 부합할 경우 인류의 전복이나 심지어 멸종으로 이어질 수 있다고 주장했습니다.
의무화하는 "봇 여부" 법률 기업 공개를 , AI가 생성한 정보에 대한 디지털 워터마크, AI의 내부 사고 과정과 외부 활동 간의 연관성을 조사하여 AI의 기만 행위를 탐지하는 방법 개발 등 여러 가지 조치를 제안합니다.
