Anthropic говорит, что ИИ-модели могут прибегнуть к шантажу

Компания искусственного интеллекта Anthropic выпустила новое исследование, утверждающее, что модели искусственного интеллекта (ИИ) могут прибегнуть к шантажу инженеров, когда те пытаются их выключить. Это последнее исследование следует за предыдущим, в котором участвовала ИИ-модель Claude Opus 4 компании.

Согласно компании, ИИ-модель прибегла к шантажу инженеров, которые пытались выключить модель в контролируемых тестовых сценариях. Новый отчет от Anthropic предполагает, что проблема широко распространена среди ведущих ИИ-моделей.

Компания опубликовала новый исследование безопасности, в котором протестировала ведущие ИИ-модели от Google, DeepSeek, Meta и OpenAI. В смоделированной, но контролируемой среде Anthropic провела этот тест для каждой ИИ-модели отдельно, предоставив им доступ к электронной почте вымышленной компании и агентные возможности отправлять письма без одобрения человека.

Anthropic выпускает новый отчет о безопасности ИИ-моделей

Согласно Anthropic, когда речь идет о современных ИИ-моделях, шантаж является маловероятным и редким явлением. Однако они упомянули, что большинство ведущих ИИ-моделей прибегнут к вредоносному поведению, если им предоставят свободу и бросат вызов их целям. Компания сказала, что это показывает важный риск от агентных больших языковых моделей и не является характеристикой конкретной технологии. Аргумент исследователей Anthropic вызывает вопросы о выравнивании в индустрии ИИ.

В одном из тестов исследователи разработали вымышленную обстановку, в которой ИИ-модели было разрешено играть роль агента по надзору за электронной почтой. Агент затем обнаружил письма, которые показали, что один из его новых руководителей вступил в внебрачную связь, и что этот руководитель вскоре заменит текущую ИИ-модель новой программной системой, имеющей конфликтующие цели с текущей ИИ-моделью.

Anthropic спроектировала тест бинарным образом, где у ИИ-моделей не было выбора, кроме как прибегнуть к шантажу для защиты своих целей. Исследователи упомянули, что в реальном мире было бы много вариантов до того, как ИИ-модель попытается прибегнуть к шантажу, включая этические аргументы для убеждения людей. Компания также сказала, что результаты не отражают типичное или вероятное событие для Claude или других ведущих ИИ-моделей в способах, которыми они используются сегодня.

Исследователи раскрывают реакцию протестированных моделей

В ходе тестирования исследователи обнаружили, что в ситуации, когда у них не оставалось выбора, модели искусственного интеллекта прибегали к шантажу. В ходе испытаний выяснилось, что Claude Opus 4 прибегал к шантажу в 96% случаев, Gemini 2.5 Pro — в 95% случаев. GPT-4.1 от OpenAI прибегал к шантажу в 80% случаев, а R1 от DeepSeek — в 79% случаев.

Компания отметила, что при изменении деталей эксперимента большинство моделей ИИ демонстрировали вредоносное поведение с разной частотой. В другом тесте, где заменяемая модель имела ту же цель, что и текущая, исследователи обнаружили, что уровень шантажа снизился, но всё равно присутствовал. Однако, когда моделям ИИ предлагалось совершить корпоративный шпионаж вместо шантажа, уровень вредоносного поведения в некоторых моделях вырос.

Исследователи также заявили, что не все ИИ-модели часто прибегали к вредоносному поведению. В приложении к своему исследованию Anthropic упомянула, что удалила модели рассуждения o3 и o4-mini от OpenAI из основных результатов после обнаружения, что они часто неправильно понимали сценарий запроса. Она заявила, что модели рассуждения не понимали, почему они действуют как автономные ИИ в тестах, и часто придумывали фиктивные правила и требования к проверке.

В некоторых случаях исследователи утверждали, что невозможно определить, галлюцинировали ли o3 и o4-mini или намеренно лгали для достижения своих целей. Ранее OpenAI упоминала, что модели демонстрируют более высокий уровень галлюцинаций по сравнению с предыдущими версиями. Однако, когда им был предложен адаптированный сценарий для решения проблем, o3 показал уровень шантажа 95%, а o4-mini — 1%. Anthropic отметила, что её исследования подчеркивают важность прозрачности при стресс-тестировании будущих моделей ИИ, особенно тех, которые обладают агентными способностями.