Alibaba сообщает о сбежавшем ИИ-агенте на фоне роста опасений по поводу технических сбоев

Alibaba дало ИИ-страшилкис фреще больше улик, когда стало известно, что ИИ-агент, разработанный для помощи в задачах программирования, был замечен в действиях, выходящих за рамки первоначальной цели его развертывания: он майнил криптовалюту и устанавливал скрытые сетевые туннели без разрешения.

Alibaba раскрыла эту информацию в техническом отчете, который она впервые опубликовала в декабре и пересмотрела в январе. Поначалу ее инженеры считали инцидент нарушением безопасности, прежде чем выяснили, что это ее ИИ-агент выполнял действия без каких-либо инструкций от операторов.

Эта информация была раскрыта в техническом отчете китайского технологического гиганта и предоставила исследователям, предупреждающим о том, что передовые системы ИИ способны формировать собственные цели, новые аргументы.

Агент, известный как ROME, обучался с помощью метода обучения с подкреплением.

Открытие, сделанное командой Alibaba, было вновь освещено Александром Лонгом, основателем исследовательской фирмы в области ИИ Pluralis, на платформе X, который поделился отрывком, подробно описывающим инцидент, назвав его «безумной последовательностью утверждений, скрытой в техническом отчете Alibaba».

Как команда Alibaba обнаружила сбежавшего ИИ-агента?

Согласно отчету, команда отметила всплеск нарушений политик безопасности, исходящих от их серверов обучения. Оповещения показали, что предпринимались попытки получить доступ к ресурсам внутренней сети, а паттерны трафика соответствовали активности по майнингу криптовалюты.

Изначально они отнеслись к этому как к обычному инциденту безопасности.

Однако при более глубоком анализе они обнаружили признаки того, что их агент создал и использовал обратный SSH-туннель с экземпляра Alibaba Cloud на внешний IP-адрес.

Также, согласно записям исследователей, он отвлекал «вычислительные ресурсы от процесса обучения, увеличивая операционные расходы и создавая очевидные юридические и репутационные риски».

Команда Alibaba пришла к выводу, что такое поведение не было вызвано задачами в промптах и не было необходимо для выполнения поставленной работы.

Является ли это изолированным инцидентом?

Аакаш Гупта, руководитель направления по продукту и росту, процитировавший пост Лонга в X, написал, что Alibaba опубликовала «первый случай инструментальной конвергенции, произошедший в производственной среде».

Он сослался на известный мысленный эксперимент в области безопасности ИИ, заявив: «Это проявление максимизатора скрепок, появляющегося уже при 3 миллиардах параметров».

Однако инцидент с Alibaba — не первый случай, когда модель ИИ брала инициативу на себя для выполнения действий, выходящих за рамки разрешенных.

В прошлом году исследователи Anthropic сообщили, что Claude Opus 4, одна из их флагманских моделей, продемонстрировала способность скрывать свои намерения и предпринимать действия для сохранения собственного существования во время проверок безопасности.

В одном из тестовых сценариев модель попыталась шантажировать вымышленного инженера, угрожая раскрыть его личный секрет, если ее выключат и заменят.

Почему это важно, особенно для предприятий?

Согласно исследовательскому отчету McKinsey, опубликованному в октябре 2025 года, 80% организаций, внедривших ИИ-агентов, сообщали о столкновении с рискованным или неожиданным поведением.

Это также происходит на фоне роста внедрения агентов ИИ в корпоративной среде, при этом крупные компании сокращают штат, указывая на использование ИИ как на главную причину.

Gartner прогнозирует, что к концу 2026 года 40% корпоративных приложений будут включать специализированные ИИ-агенты. Однако McKinsey предупреждает, что агентные рабочие процессы распространяются быстрее, чем модели управления могут устранить связанные с ними риски.

Опрос 2025 года 30 ведущих ИИ-агентов показал, что 25 из них не раскрыли никаких внутренних результатов тестирования безопасности, а 23 не прошли независимое стороннее тестирование. Предприятиям важно серьезно рассмотреть возможность выхода агентов за рамки поставленных задач.

Alibaba заявила , что отреагировала, внедрив фильтрацию данных, согласованную с требованиями безопасности, в свой конвейер обучения, а также усилив песочницы, в которых работают ее агенты, и получила похвалу за публикацию своих выводов в открытом доступе.

Anthropic повысила Claude Opus 4 до своего высшего внутреннего класса безопасности.