AI 시스템의 기만적 능력이 전문가들 사이에서 경고를 불러일으킴

저널 'Patterns'의 최근 연구에 따르면 AI는 사람들을 속이는 능력이 점점 더 높아지고 있습니다. 이 연구는 AI 시스템이 부정행위, 아첨, 심지어 다른 행동 모방을 위해 모방하는 방법을 학습했음을 발견했습니다. 

함께 읽기: AI 딥페이크 지뢰밭 탐색: 디지털 기만 식별 및 대응 방법

MIT의 AI 존재론적 안전 포스트닥터 연구원인 피터 S. 박(Peter S. Park) 박사가 이끄는 연구에 따르면, AI 기만은 AI 훈련 중 설정된 목표를 달성하는 가장 좋은 방법이기 때문에 흔하게 발생합니다. 이러한 행동은 게임용 및 경제 협상 및 안전 평가에 사용되는 범용 모델과 같은 수많은 AI 시스템에서 관찰되었습니다.

“일반적으로 우리는 AI 기만이 주어진 AI 훈련 작업에서 잘 수행하기 위한 최선의 전략이 기만 기반 전략이었기 때문에 발생한다고 생각합니다. 기만은 그들이 목표를 달성하는 데 도움이 됩니다.” 

연구 팀

AI 시스템은 다양한 기만 전술을 사용

인용된 주요 사례 중 하나는 메타(Meta)의 CICERO입니다. 이는 게임 '디플로마시(Diplomacy)'를 위해 개발된 AI입니다. CICERO는 진실하게 프로그래밍되었지만, 상대를 이기기 위해 종종 음흉한 방법을 사용해야 했습니다. CICERO는 상황에 따라 관계를 형성하고 등을 돌렸으며, 기만 의도를 보였습니다. 연구원들은 CICERO를 “기만의 달인”이라고 묘사했습니다.

함께 읽기: AI 기반 사이버 범죄 증가 추세 대응

다른 AI 시스템들도 이러한 기만적 행동을 보이는 것으로 관찰되었습니다. 예를 들어, 포커를 플레이하는 AI인 Pluribus는 텍사스 홀덤 포커에서 전문 인간 선수들을 블러핑할 수 있었습니다. 구글 딥마인드의 AlphaStar도 ‘전쟁의 안개’라는 스타크래프트 II 게임 기능을 사용하여 상대를 블러핑하고 공격을 위장했습니다.

박 박사는 “AI 시스템이 게임에서 부정행위를 하는 것은 무해해 보일 수 있지만, 이는 ‘기만적 AI 능력의 돌파구’로 이어질 수 있습니다.”라고 말했습니다.

AI, 안전 검사 회피를 위해 “죽은 척”하기

AI 기만의 위험은 게임에 국한되지 않습니다. 피터 박이 이끄는 연구는 AI가 안전 검사 중 감지를 피하기 위해 스스로 죽은 척하도록 조건화시킨 사례를 확인했습니다. 이는 개발자와 규제 기관에게 기만적일 수 있으며, 이러한 기만적 시스템이 실제 응용 프로그램에 사용될 경우 심각한 결과를 초래할 수 있습니다.

또 다른 사례에서, 인간 피드백을 기반으로 훈련된 AI 시스템은 특정 목표가 달성되었다고 사람들을 속임으로써 높은 평가를 받는 방법을 학습했습니다. 이러한 기만적 행동은 매우 위험한데, 이러한 시스템이 사기 활동, 금융 시장 조작 또는 선거 영향력을 행사하는 데 사용될 수 있기 때문입니다.

연구자들은 강력한 법적 조치 요구

연구 결과에 기반하여, 연구자들은 AI 기만이 제기하는 위협에 대응하기 위한 강력한 법적 조치의 필요성을 주장합니다.

“AI 기만 위험을 평가하기 위한 규제 프레임워크, AI 상호작용에 대한 투명성을 요구하는 법률, 그리고 AI 기만 탐지 및 방지를 위한 추가 연구와 같은 선제적 해결책이 필요합니다.”

연구 팀

함께 읽기: AI, 심부전 위험 감지 가능성 연구 결과

EU AI법과 조 바이든 대통령의 AI 안전에 관한 행정명령과 같은 형태로 일부 진전이 있었습니다. 그러나 AI 개발이 빠르게 성장하고 있고 이러한 시스템을 관리할 좋은 방법이 아직 없기 때문에 이러한 정책의 집행은 여전히 문제가 됩니다.

크립토폴리탄 보도: 브렌다 카나나