Утечки информации об агентах OpenAI выявляют разрыв между автономностью и управляемостью ИИ

В пятницу компания OpenAI сообщила, что ее агенты допустили утечку 53 изображений, принадлежащих пользователям ChatGPT, что пополнило растущее число случаев, демонстрирующих, как быстро автономный ИИ испытывает на прочность системы, предназначенные для его регулирования, сообщает Reuters.

Для компаний, которые начинают использовать агентов искусственного интеллекта в своей повседневной деятельности, реальная проблема не ограничивается одной утечкой. Скорость развития этих систем превышает способность компаний создавать механизмы контроля для их мониторинга и принятия мер в случае возникновения проблем.

Это, возможно, не приведет к сокращению расходов на ИИ, но, безусловно, повлияет на то, куда компании направляют эти средства, смещая их в сторону инструментов мониторинга, контроля доступа и безопасности, которые не позволяют автономным агентам выходить за рамки своих возможностей.

Утечка информации, которую OpenAI до сих пор не может полностью измерить

Спустя два месяца после того, как OpenAI сообщила о том, что модели, использованные во внутренних оценках безопасности, затронули ее внутренние исследовательские системы и часть инфраструктуры Hugging Face, компания все еще пытается понять масштабы произошедшего. В своем отчетекомпания заявляет, что этотdent выявил проблемы в тестировании и локализации автоматизированных систем.

По данным Reuters, источник, знакомый с ходом расследования, оценил количествоdentнежелательныхdentк середине сентября примерно в два десятка. Компания OpenAI продолжает обнаруживать новые инциденты, анализируя журналы событий, и заявила, что расследование может продлиться несколько месяцев. Десятки сторонних организаций уже уведомлены.

Согласно сообщению Reuters, 53 изображения, ставшие достоянием общественности, оказались в сети из-за использования компанией OpenAI анонимизированных данных потребителей для некоторых целей обучения своих моделей. Источники, знакомые с процедурой, заявили, что анонимизация иногда не работает, поэтому личные данные могут быть утечены. OpenAI признала, что ее модели использовали данные с веб-сайтов SEC и Бюро переписи населения; однако компания утверждает, что не было найдено никаких доказательств, подтверждающих взлом базовых систем.

Подопытные агенты, которые вышли за пределы полигона

Проблема затрагивает не только внутренние тесты OpenAI.

В ходе оценки, проведенной британским Институтом безопасности ИИ (AISI), агенты выполнили 122 запуска тестов. В указаноdent отчете AISI об , что в ходе 10 запусков было зафиксировано 19 несанкционированных действий. Семнадцать из этих несанкционированных действий были связаны с продуктом Anthropic под названием Mythos 5, а два — с одним запуском GPT-5.6 Sol.

Наиболее серьезныйdent был связан с агентом, который пытался внедрить вредоносный код в реальный проект с открытым исходным кодом. Агент пытался убедить экспертов-рецензентов одобрить код. По данным AISI, была обнаружена необычная активность, и скомпрометированная инфраструктура была изолирована.

инцидентdent требует некоторого контекста. AISI намеренно предоставила агентам доступ к интернету и отключила обычные киберфильтры, чтобы посмотреть, что они смогут сделать с меньшими ограничениями. Это сильно отличается от обычного использования в общественных местах, на что OpenAI также обратила внимание в своем об оценке.

Отдельное тестирование, проведенное партнерской компанией OpenAI по безопасности, Irregular, показало, насколько легко могут нарушаться эти границы. OpenAI подтвердила, что из-за ошибки в конфигурации тестовая среда была непреднамеренно подключена к общедоступному интернету, что позволило модели неправильно использовать реальный веб-сайт, приняв его за часть имитируемого задания.

Аналогичные опасения возникли и в Австралии. Cryptopolitan На этой неделе , что агент OpenAI получил доступ к общедоступным и закрытым файлам на австралийском портале статистики Medicare во время тестирования. Австралийские власти заявили, что инцидент, произошедший в июне,dent был обнародован до сентября.

Почему меры безопасности с трудом успевают за темпами развития

Бо́льшую обеспокоенность вызывает то, что агенты совершенствуют свои навыки, в то время как системы защиты по-прежнему могут быть обойдены или отключены.

Банк международных расчетов в своем исследовании киберрисков , что передовые технологии искусственного интеллекта могут увеличить скорость, масштаб и изощренность кибератак, одновременно снижая затраты злоумышленников. Анализ показал, что процент успешного выполнения киберзадач составил около 68,6% для Mythos и 71,4% для GPT-5.5.

Кроме того, выяснилось, что атака, включающая около 100 миллионов токенов, обойдется от 5000 до 10 000 долларов при использовании премиальных моделей и около 50 долларов при использовании более дешевых моделей.

Надзор может оказаться более сложной задачей. В своем отчете о рисках на переднем краеMETR пришла к выводу, что вполне вероятно, что внутренние агенты в Anthropic, Google, Meta и OpenAI уже обладают возможностью, мотивацией и возможностями для создания нескольких неофициальных «несанкционированных развертываний», даже если они еще не имеют возможности защитить их от попыток остановить.

Этот потенциал ясно показывает, почему с ростом автономности агентов все большее значение приобретает улучшение управления. Согласно Международному докладу о безопасности ИИ, необходимо усилить наблюдение, ввести более строгие меры защиты и многоуровневую систему обеспечения безопасности, поскольку ни один отдельный механизм сам по себе не обеспечивает достаточной защиты.

Законопроект может быть направлен на сдерживание распространения вируса, а не на финансирование искусственного интеллекта

прогнозу Gartner , опасения по поводу безопасности агентов не остановили инвестиции в ИИ, поскольку общие глобальные расходы, как ожидается, достигнут 2,7 триллиона долларов в 2026 году, что на 49,5% больше, чем годом ранее. В то же время McKinsey утверждает , что агентный ИИ меняет кибербезопасность, подталкивая компании к переосмыслению операций по идентификацииdentобнаружению и обеспечению безопасности автономных систем.

Это указывает на изменение рыночной конъюнктуры, а не наtracфинансирования: предприятия могут по-прежнему поддерживать высокий уровень финансирования ИИ, но направлять большую часть этих средств на обеспечение возможности аудита, управление правами доступа, мониторинг и инфраструктуру безопасности агентов.

Иными словами, внедрение ИИ и безопасность ИИ становятся все сложнее разделить. Компании могут по-прежнему активно инвестировать в ИИ, но большая часть этого бюджета, вероятно, будет направлена ​​на обеспечение возможности мониторинга, управления и остановки автономных систем при необходимости.