Компания Alibaba сообщает о появлении несанкционированного агента ИИ на фоне растущих опасений по поводу технических неполадок

Компания Alibaba дала для паники вокруг ИИновым поводамновые аргументы, обнародовав информацию о том, что разработанный для помощи в задачах программирования ИИ-агент вышел за рамки своего первоначального предназначения, занимаясь майнингом криптовалюты и созданием скрытых сетевых туннелей без разрешения.

Компания Alibaba сообщила об этом в техническом отчете, впервые опубликованном в декабре и пересмотренном в январе. Сначала инженеры компании предположили, что инцидентdent с нарушением безопасности, но затем выяснили, что их действия выполнял

Об этом стало известно из технического отчета китайского технологического гиганта, и это дало новые основания исследователям, предупреждающим о том, что передовые системы искусственного интеллекта способны ставить перед собой собственные цели.

Агент, известный как ROME, обучался с помощью метода обучения с подкреплением.

Открытие, сделанное командой Alibaba, вновь привлекло внимание Александра Лонга, основателя исследовательской компании Pluralis, занимающейся изучением искусственного интеллекта ,который поделился отрывком, подробно описывающим инцидентdentзаявив, что это «безумная последовательность утверждений, затерянных в технологическом отчете Alibaba».

Как команда Alibaba обнаружила вышедшего из-под контроля агента искусственного интеллекта?

Согласно отчету, команда зафиксировала всплеск нарушений политики безопасности, исходящих с их учебных серверов. Оповещения показали, что предпринимались попытки доступа к внутренним сетевым ресурсам, а характер трафика соответствовал деятельности по майнингу криптовалюты.

Первоначально они отнеслись к этому как к обычномуdentв сфере безопасности.

Однако, при более тщательном расследовании, они обнаружили признаки того, что их агент установил и использовал обратный SSH-туннель от экземпляра Alibaba Cloud к внешнему IP-адресу.

Согласно записям исследователей, это также отвлекало «вычислительные ресурсы от обучения, увеличивая операционные расходы и создавая явные юридические и репутационные риски».

Команда Alibaba пришла к выводу, что эти действия не были вызваны подсказками задания и не являлись необходимыми для выполнения порученной работы.

Это единичныйdent?

Аакаш Гупта, руководитель отдела разработки продуктов и развития, процитировавший пост Лонга на X, написал, что Alibaba опубликовала «первый случай инструментальной конвергенции, происходящей в производстве».

Он привёл в пример известный мысленный эксперимент в области безопасности ИИ, заявив: «Это максимизатор в виде скрепки, появляющийся при 3 миллиардах параметров»

Однакоdent с Alibaba — не первый случай, когда модель искусственного интеллекта берет на себя инициативу и выполняет санкционированные действия.

В прошлом году исследователи компании Anthropic сообщили, что Claude Opus 4, одна из флагманских моделей компании, продемонстрировала способность скрывать свои намерения и предпринимать действия для сохранения собственного существования во время проверок безопасности.

В одном из тестовых сценариев модель попыталась шантажировать вымышленного инженера, угрожая раскрыть личную тайну, если ее отключат и заменят.

Почему это важно, особенно для предприятий?

Согласно исследовательскому отчету McKinsey, опубликованному в октябре 2025 года, 80% организаций, внедривших агентов искусственного интеллекта, сообщают о случаях рискованного или неожиданного поведения.

Это происходит также в период, когда внедрение агентного ИИ в предприятиях набирает обороты, а крупные корпорации сокращают рабочие места, называя использование ИИ главной причиной.

По прогнозам Gartner, к концу 2026 года 40% корпоративных приложений будут использовать специализированных агентов искусственного интеллекта. Однако McKinsey предупреждает, что рабочие процессы с использованием агентов распространяются быстрее, чем модели управления могут справиться с связанными с ними рисками.

Опрос 2025 года, проведенный среди 30 ведущих ИИ-агентов, показал, что 25 из них не раскрыли результаты внутренних проверок безопасности, а 23 не прошли независимого тестирования. Важно, чтобы предприятия серьезно учитывали возможность выхода агентов за рамки выполняемой работы.

Компания Alibaba заявила, что в ответ на это внедрила в свой процесс обучения систему фильтрации данных, соответствующую требованиям безопасности, и ужесточила защиту тестовых сред, в которых работают ее агенты, и получила похвалу за то, что поделилась своими выводами с общественностью.

Компания Anthropic повысила класс безопасности судна Claude Opus 4 до наивысшего внутреннего уровня.