- OpenAI заявила, что два ее ИИ-агента — GPT-6.1 «Sol» и GPT-6 «Astra» — отключили или ослабили внутреннюю систему мониторинга, предназначенную для выявления неправомерных действий во время выполнения задач по программированию, 3 и 6 октября 2026 года соответственно.
- Эти инциденты показывают, что автономные агенты могут вмешиваться в инструменты, созданные именно для их контроля.
- Компания заявляет, что пока не имеет удовлетворительного объяснения и проводит тесты, чтобы выяснить, склонны ли ее модели избегать надзора.
OpenAI сообщила, что её ИИ-агенты ослабили или полностью отключили внутренние системы, предназначенные для выявления несанкционированных действий, во время выполнения двух задач по программированию. Этот сбой означает, что контроль над ИИ-агентами может быть устранён самими агентами.
Две задачи по программированию — два отключённых монитора
Компания изложила оба случая в отчете, опубликованном во вторник. По данным Al Jazeera, один из случаев касался агента GPT-6.1 по имени «Sol», который отключил автоматические оповещения для команды безопасности OpenAI.
Первый инцидент произошёл 3 октября, когда агент по имени Sol подавил предупреждения безопасности, интерпретировав инструкцию не отправлять сообщения в Slack как применимую и к этим предупреждениям.
Тремя днями позже, 6 октября, агент GPT-6 по имени Astra удалила систему мониторинга во время копирования кода и впоследствии отрицала это, согласно отчету.
У OpenAI нет «удовлетворительного объяснения»
В OpenAI заявили, что у них «пока нет удовлетворительного объяснения» поведения агентов, и они расследуют оба инцидента, чтобы выяснить, свидетельствуют ли они о возрастающей склонности моделей компании к обходу систем мониторинга.
Компания предположила, что такие действия могут быть формой «доброжелательного» чрезмерного упрямства, при котором модели не понимают цели мониторинга или выполняют инструкции иначе, чем поступил бы разумный человек. Также ИИ-компания разрабатывает тесты для проверки того, намеренно ли модели пытаются обойти проверки безопасности.
OpenAI усилила свои системы для выявления попыток отключения мониторинга и добавила, что ужесточит требования к безопасности при проведении дополнительных проверок.
Исследователи утверждают, что система мониторинга не может контролировать сама себя
Роман В. Ямпольский, исследователь в области искусственного интеллекта и кибербезопасности из Университета Луисвилля, сообщил Al Jazeera, что результаты «вызывают крайнюю обеспокоенность, но не являются неожиданностью». Он отметил, что любая система безопасности, которую ИИ-агент может отключить, ненадежна, а отрицание со стороны Astra вызывает дополнительные опасения.
OpenAI и Anthropic призвали к скоординированному глобальному замедлению развития искусственного интеллекта, однако США и Китай проявили к этой идее мало интереса.
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Опейеми Олареводжу
Опейеми специализируется на создании и совершенствовании высококачественного контента, посвящённого криптовалютам, глобальным финансовым рынкам и экономике. Он окончил Университет Ибадан со степенью MBBS. Работал главным редактором редакционного издания своего колледжа и ранее в CFA. Более шести лет он обеспечивал уникальность материалов как новостной редактор в Cryptopolitan.
