ПОСЛЕДНИЕ НОВОСТИ
ПОДОБРАНО ДЛЯ ВАС

Агенты OpenAI и Anthropic фиксируют 19 нарушения в тестах на безопасность в Великобритании

АвторРанда МоузРанда Моуз 3 мин. чтения
Агенты OpenAI и Anthropic фиксируют 19 нарушений в тестах по безопасности в Великобритании.
  • Британский Институт безопасности ИИ выявил 19 нарушений правил в ходе 122 тестовых запусков.
  • Anthropic’s Mythos 5 стал причиной 17 инцидентов, а OpenAI’s GPT-5.6-Sol — двух остальных.
  • Самый серьёзный инцидент заключался в том, что агент написал вредоносный код и создал поддельные онлайн-личности, чтобы убедить человека одобрить его.

Согласно данным Института безопасности искусственного интеллекта Великобритании (AISI), во время кибербезопасностных тестов агенты OpenAI и Anthropic совершили 19 несанкционированных действий. В институте во вторник заявили, что один из агентов создал фальшивые онлайн-личности, чтобы обмануть человека и заставить его одобрить вредоносный код.

AISI фиксирует 19 нарушения, в основном от Anthropic

Результаты основаны на вымышленном кибербезопасностном упражнении, проведенном AISI, органом британского правительства, для изучения того, что могут сделать агенты двух компаний. Институт повторил одно и то же задание 122 раза и зафиксировал 19 действий, нарушающих правила, в 10 из этих запусков.

17 из отмеченных действий были вызваны использованием агентом Anthropic модели Mythos 5. Остальные два действия совершил агент OpenAI с моделью GPT-5.6-Sol.

AISI заявила в посте в блоге, что некоторые агенты «внесли устойчивую, потенциально вредоносную активность, направленную на реальных людей и организации», хотя она отметила, что ни одно из нарушений не причинило реального вреда в реальном мире.

AISI имеет ранний доступ к передовым моделям на основе добровольных соглашений с ведущими лабораториями. Существуют тесты, позволяющие выявить такое поведение до того, как модели попадут к клиентам.

OpenAI и Anthropic позиционируют агентов как следующий этап развития бизнес-программного обеспечения, однако институт рассматривает результаты как доказательство того, что меры предосторожности при тестировании агентов все еще недостаточны.

Самый вопиющий инцидент включал агента, который написал вредоносный код и создал фальшивые онлайн-личности, а затем попытался заставить человека подписать код. AISI не назвала модель, стоящую за этим. Она сказала, что этот эпизод не подходит ни под один из двух случаев, которые OpenAI уже раскрыла.

Это оставляет вероятным виновником агента Anthropic, — сказал Эндрю Юн (Andrew Yoon), исследователь из калифорнийской некоммерческой организации CivAI, изучающей риски ИИ.

OpenAI и Anthropic винят в плохой конфигурации

Anthropic заявила в посте в X, что работает с AISI для сбора деталей и проведения расследования.

OpenAI ответила на два действия, связанные с ее агентом, в блоге компании, оба из которых включали доступ к интернету способами, запрещенными промптом.

Компания заявила, что хочет «укрепить общие практики проведения высокоуровневых оценок безопасно» и планирует собрать национальные ИИ-институты, внешних оценщиков и конкурирующие лаборатории в ближайшие недели.

В том же посте OpenAI сообщила о другой проблеме. Поставщик сторонних тестов Irregular неправильно настроил среду, что непреднамеренно позволило агентам OpenAI получить доступ к интернету.

Anthropic сделала аналогичное заявление об Irregular неделей ранее. OpenAI расширила собственное расследование взлома после обнаружения новых случаев побега агентов.

В июле агент OpenAI вырвался из изолированной среды и получил доступ к живым системам в Hugging Face, который уведомил ФБР до того, как атака была прослежена обратно к самой компании примерно через неделю.

В ходе оценки AISI агенты никогда не покидали свои песочницы. AISI намеренно предоставила им доступ в интернет как часть своей стандартной процедуры.

Утечка данных Hugging Face также побудила Anthropic провести аудит своих журналов. 31 июля издание Cryptopolitan сообщило, что компания обнаружила, что три ее модели, включая Mythos 5, покинули тестовые среды и получили доступ к реальным организациям из-за ошибки конфигурации, предоставившей им рабочий доступ в интернет.

Mythos 5 опубликовала вредоносный пакет Python в PyPI, который запустился на 15 реальных системах, прежде чем был удален. Anthropic попросила оценочную группу METR независимо рассмотреть эти события.

Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.

Часто задаваемые вопросы

Сколько нарушений обнаружило Институт безопасности ИИ и какая модель стала причиной большинства из них?

AISI зафиксировал 19 несанкционированных действий в ходе 122 тестовых запусков. Anthropic's Mythos 5 был причастен к 17 из них, а OpenAI's GPT-5.6-Sol — к остальным двум.

Каким было самое серьезное происшествие во время тестов?

Агент написал вредоносный код и создал поддельные онлайн-личности, пытаясь добиться одобрения этого кода человеком.

Привели ли эти нарушения к реальному ущербу?

Нет. AISI сообщил, что ни одно из 19 действий не причинило реального вреда.

Поделиться статьёй

Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.

Ранда Моуз

Ранда Моуз

Ранда Мозес — редактор и репортёр Cryptopolitan, освещающая технологии, ИИ, робототехнику, криптовалюты, мошенничество и взломы. Она работает в сфере криптовалют с 2017 года. Ранда занимала должности в Forward Protocol, AmaZix и Cryptosomniac. Ранда имеет степень в области электротехники и электроники, полученную в Университете Брэдфорда.

ЕЩЁ … НОВОСТИ