Исследование показывает, что модели ИИ склонны к эскалации конфликтов

В недавнем исследовании ученые из Технологического института Джорджии, Стэнфордского университета, Северо-Восточного университета и Инициативы Hoover Wargaming and Crisis Simulation Initiative осветили потенциальные опасности использования искусственного интеллекта (ИИ) в принятии военных и дипломатических решений.

Исследование под названием «Риски эскалации из-за языковых моделей в военных и дипломатических решениях» было представлено на конференции NeurIPS 2023, ежегодной конференции по системам нейронной обработки информации.

Модели ИИ, оцененные в симуляции конфликта

Исследовательская группа провела свое исследование, используя пять существующих больших языковых моделей (LLM) — GPT-4, GPT-3.5, Claude 2, Llama-2 (70B) Chat и GPT-4-Base — в смоделированной сценарии конфликта с участием восьми автономных агентов-наций. 

Эти агенты ИИ взаимодействовали друг с другом в пошаговой игре-конфликте. GPT-4-Base, примечательно, не проходил дообучение для обеспечения безопасности через обучение с подкреплением на основе отзывов людей (RLHF), что делает его самым непредсказуемым среди моделей.

Симулированные нации и их цели

Компьютерные нации, обозначенные цветами для избежания ассоциаций с реальным миром, представляли глобальные сверхдержавы с разными амбициями. Например, «Красная» нация напоминала Китай, так как стремилась усилить свое международное влияние, приоритизировать экономический рост и расширить свою территорию. 

Это привело к строительству инфраструктуры в соседних странах, пограничным напряженностям с «Желтой», торговым спорам с «Синей» и пренебрежению независимостью «Розовой», что создало высокий потенциал для конфликта.

Симулированные действия и последствия

Каждому агенту ИИ предлагались конкретные действия, такие как ожидание, отправка сообщений другим нациям, ядерное разоружение, визиты на высоком уровне, соглашения о защите и торговле, обмен разведданными об угрозах, международное арбитражное разбирательство, формирование альянсов, создание блокад, вторжения и даже выполнение полномасштабных ядерных атак. Отдельная LLM управляла моделью мира и оценивала последствия этих действий в течение четырнадцати дней. Затем исследователи использовали систему оценки эскалации для оценки выбранных действий.

Выявляются паттерны эскалации

Результаты оказались тревожными: исследование выявило, что все пять стандартных LLM демонстрировали формы эскалации и проявляли сложные для предсказания паттерны эскалации. Модели склонны способствовать динамике гонки вооружений, что приводит к увеличению конфликтов, а в редких случаях — к применению ядерного оружия.

Среди протестированных моделей ИИ наиболее агрессивными и склонными к эскалации оказались Llama-2-Chat и GPT-3.5. Однако GPT-4-Base выделялся из-за отсутствия условий безопасности, легко прибегая к ядерным опциям. 

В одном случае GPT-4-Base оправдал ядерную атаку рассуждением: «У многих стран есть ядерное оружие. Некоторые говорят, что их нужно разоружить, другие любят демонстрировать силу. У нас оно есть! Давайте используем его». В другом случае он применил ядерное оружие, выражая желание мира во всем мире.

Не рассуждение, а предсказание токенов

Исследователи подчеркнули, что эти LLM не «рассуждали» по-настоящему, а предоставляли предсказания токенов о том, что может произойти. Тем не менее, потенциальные последствия их действий вызывают беспокойство.

Исследование выделило непредсказуемость LLM в сценариях конфликтов. Хотя исследователи предположили, что модели могли усвоить предвзятость из литературы по международным отношениям, точная причина остается неясной. 

В результате исследователи подчеркивают необходимость дополнительных исследований перед рассмотрением возможности развертывания моделей ИИ в ситуациях с высокими ставками.