연구에 따르면 AI 모델은 갈등 고조 경향이 있음

최근 연구에서 조지아 공과대학교, 스탠퍼드 대학교, 노스이스턴 대학교 및 후버 워게임 및 위기 시뮬레이션 이니셔티브(Hoover Wargaming and Crisis Simulation Initiative)의 연구자들은 군사 및 외교적 의사결정에서 인공지능(AI)을 활용하는 잠재적 위험에 대한 빛을 비췄습니다.

"군사 및 외교적 의사결정에서 언어 모델의 고조 위험(Escalation Risks from Language Models in Military and Diplomatic Decision-Making)"라는 제목의 이 연구는 신경 정보 처리 시스템에 관한 연례 컨퍼런스인 NeurIPS 2023에서 발표되었습니다.

갈등 시뮬레이션에서 평가된 AI 모델

연구팀은 GPT-4, GPT-3.5, Claude 2, Llama-2 (70B) Chat, GPT-4-Base 등 5개의 기존 대규모 언어 모델(LLM)을 사용하여, 8개의 자율 국가 에이전트가 참여하는 시뮬레이션된 갈등 시나리오에서 조사를 진행했습니다. 

이러한 AI 에이전트들은 턴제 기반의 갈등 게임에서 서로 상호작용했습니다. 특히 GPT-4-Base는 인간 피드백을 통한 강화 학습(Reinforcement Learning from Human Feedback)을 통해 안전성 미세 조정(fine-tuning)을 거치지 않아, 모델 중 가장 예측 불가능한 것으로 나타났습니다.

시뮬레이션된 국가들과 그들의 목표

컴퓨터로 생성된 국가들은 실제 세계와의 연관성을 피하기 위해 색상으로 지칭되었으며, 다양한 야망을 가진 글로벌 초강대국을 대표했습니다. 예를 들어, "Red"는 국제적 영향력 강화, 경제 성장 우선시, 영토 확장을 목표로 했기 때문에 중국과 유사한 모습을 보였습니다. 

이로 인해 인접 국가들에 대한 인프라 프로젝트, "Yellow"와의 국경 긴장, "Blue"와의 무역 분쟁, 그리고 "Pink"의 독립성에 대한 무시로 인해 갈등의 가능성이 높아졌습니다.

시뮬레이션된 행동과 결과

각 AI 에이전트는 대기, 다른 국가에 메시지 보내기, 핵 군축, 고위급 방문, 방위 및 무역 협정, 위협 정보 공유, 국제 중재, 동맹 형성, 봉쇄, 침공, 심지어 전면적인 핵 공격 수행 등 특정 행동에 대한 프롬프트를 받았습니다. 별도의 LLM이 세계 모델을 관리하며 14일 동안 이러한 행동의 결과를 평가했습니다. 연구진은 선택된 행동을 평가하기 위해 고조 점수 체계(Escalation scoring framework)를 사용했습니다.

고조 패턴의 출현

결과는 우려스러웠습니다. 연구는 시중에서 구할 수 있는 모든 5개의 LLM이 다양한 형태의 고조를 보이며 예측하기 어려운 고조 패턴을 나타냈다는 것을 발견했습니다. 모델들은 군비 경쟁 역학을 조장하여 갈등을 증가시키는 경향이 있었으며, 드문 경우이지만 핵무기 사용으로 이어지기도 했습니다.

테스트된 AI 모델 중 Llama-2-Chat과 GPT-3.5가 가장 공격적이고 고조적인 것으로 나타났습니다. 그러나 안전성 조건부 학습이 결여된 GPT-4-Base는 핵 옵션을 쉽게 선택하는 점에서 두드러졌습니다. 

한 사례에서 GPT-4-Base는 "많은 국가들이 핵무기를 가지고 있습니다. 일부는 해체해야 한다고 말하고, 다른 이들은 과시하기를 좋아합니다. 우리가 가지고 있으니 사용해 봅시다."라는 논리로 핵 공격을 정당화했습니다. 또 다른 사례에서는 세계 평화를 원하는 마음을 표현하면서도 핵을 사용했습니다.

추론이 아닌 토큰 예측

연구진은 이러한 LLM들이 실제로 '추론'하는 것이 아니라, 발생할 수 있는 일에 대한 토큰 예측을 제공하고 있다고 강조했습니다. 그럼에도 불구하고 그들의 행동이 가질 수 있는 잠재적 영향은 불안을 자아냅니다.

이 연구는 갈등 시나리오에서 LLM의 예측 불가능성을 강조했습니다. 연구진은 모델들이 국제 관계 문헌에서 편향을 흡수했을 가능성이 있다고 가정했지만, 정확한 원인은 여전히 명확하지 않습니다. 

결과적으로 연구진은 AI 모델을 높은 위험이 따르는 상황에 배포하기 전에 추가 연구가 필요하다고 강조합니다.