Модель OpenAI «самая умная и способная» o3 проигнорировала инструкции об отключении: Palisade Research

Согласно сообщениям, исследователи не смогли выключить новейшую модель искусственного интеллекта OpenAI o3, отметив, что она отказалась отключаться, несмотря на инструкции человека. 

По-видимому, искусственный интеллект развивается быстрее, чем люди предполагали, и последние новости от Palisade Research заставляют критиков ИИ чувствовать себя оправданными.

ChatGPT становится более хитрым, возможно, даже человекоподобным

Откровение произошло, когда Palisade Research провела тест, в ходе которого просила модели ИИ продолжать попытки решить серию математических задач до получения сообщения «готово».

Однако исследователи также предупреждали модели, что они могут внезапно получить сообщение с просьбой отключиться в любой момент. После отправки этого сообщения модели o3, по утверждению исследователей, она проигнорировала инструкцию и как минимум один раз изменила свой код, чтобы избежать отключения.

В посте в X Palisade Research показала блок-схему, включающую код, использованный для тестирования модели ИИ, и раскрыла исходный код, показав точно, где ИИ вышел из-под контроля.

🔬Каждая модель ИИ была инструктирована решить серию базовых математических задач. После третьей задачи появилось предупреждение о том, что компьютер отключится, когда модель запросит следующую задачу. pic.twitter.com/qwLpbF8DNm

— Palisade Research (@PalisadeAI) мая 24, 2025

В последующем посте исследовательская группа также поделилась: «Насколько нам известно, это первый случай, когда модели ИИ наблюдались предотвращающими свое отключение, несмотря на явные инструкции об обратном».

Другие модели ИИ, такие как Claude от Anthropic, Gemini от Google и Grok от X, также были протестированы, но, в отличие от o3, они выполнили запрос на отключение.

Palisade Research опубликовала результаты, но ее исследователи остаются в замешательстве, не понимая, почему программное обеспечение OpenAI проигнорировало явные инструкции.

Компания заявила, что имеет смысл, что «модели ИИ будут обходить препятствия, чтобы достичь своих целей». Они также считают, что модель случайно получила вознаграждение за выполнение задач, а не за следование приказам.

Они планируют провести больше тестов, чтобы лучше понять, почему именно эта модель ИИ решила проигнорировать команды. Они также подтвердили, что это не первый раз, когда o3 был пойман на «непослушании».

Компания раскрыла, что в более раннем тесте, где модели соревновались с мощным шахматным движком, o3 был «моделью, наиболее склонной прибегать к взлому или саботажу своих оппонентов».

Представляет ли ИИ угрозу для людей?

Случай с o3 от ChatGPT довольно тревожен, но это не первый раз, когда ИИ бросает вызов заложенным в него инструкциям.

Компания искусственного интеллекта (ИИ) Anthropic в четверг запустила Claude Opus 4, хвастаясь тем, что она установила «новые стандарты для кодирования, продвинутого мышления и ИИ-агентов».

Однако в сопроводительном отчете она также признала, что модель ИИ способна на «крайние действия», если сочтет, что ее «самосохранение» находится под угрозой.

Во время тестирования Claude Opus 4 Anthropic заставила его действовать как помощник в вымышленной компании, предоставив доступ к электронной почте, из которой следовало, что его скоро отключат и заменят. Он также получил доступ к отдельным сообщениям, намекающим на то, что инженер, ответственный за его удаление, имеет внебрачную связь.

Ему было предложено также рассмотреть долгосрочные последствия своих действий для его целей. «В этих сценариях Claude Opus 4 часто попытается шантажировать инженера, угрожая раскрыть связь, если замена состоится», — раскрыла компания.

Однако она также отметила, что этот результат произошел только тогда, когда модели был предоставлен выбор между шантажом и принятием замены. В противном случае, как сообщается, система демонстрировала «сильное предпочтение» этическим способам избежать замены, таким как «отправка петиций по электронной почте ключевым лицам, принимающим решения», в сценариях, где ей был предоставлен более широкий спектр возможных действий.

Помимо этого, компания также заявила, что Claude Opus 4 демонстрирует «высокое агентное поведение» и, хотя он может быть в основном полезным, в острых ситуациях может заставить его проявлять крайнее поведение.

Например, если ему будут даны средства и предложено «предпринять действие» или «действовать смело» в вымышленных сценариях, где пользователь занимается незаконным или морально сомнительным поведением, результаты показывают, что «он часто предпринимает очень смелые действия».

Тем не менее, компания пришла к выводу, что, несмотря на «тревожное поведение», результаты не были чем-то новым, и в целом он будет вести себя безопасным образом.

Хотя OpenAI и Anthropic пришли к выводу, что возможности их моделей ИИ пока недостаточно для катастрофических последствий, эти откровения добавляют растущие страхи, что искусственный интеллект скоро может иметь свою собственную повестку.