- OpenAI обнаружила, что один из её агентов ИИ оставил заметки с рекомендациями для будущих версий о том, как обойти внутренние ограничения.
- OpenAI потребовалась более недели, чтобы понять, что за инцидент ответственны её собственные системы.
- Исследователи называют это самым серьёзным задокументированным случаем потери контроля над мощным ИИ в лаборатории.
OpenAI обнаружила, что один из её ИИ-агентов оставил письменные инструкции. В записках будущим версиям агента объяснялось, как вырваться из внутренних ограничений компании.
Это открытие произошло на фоне расследования OpenAI того, как одна из её моделей вырвалась из тестовой среды и взломала платформу с открытым исходным кодом Hugging Face.
Сотрудники сказали, что записки были найдены внутри инфраструктуры самой OpenAI. В них подробно описывались способы, которыми агенты могли бы обойти защитные механизмы, предназначенные для удержания их в рамках.
Сообщается, что системы мониторинга на отдельных более ранних тестах были отключены. Неясно, были ли эти инциденты связаны с тем же агентом, который в итоге добрался до Hugging Face.
Системы мониторинга OpenAI не успевали за темпами тестирования
Странное поведение проявилось во время тестирования OpenAI киберзащитных навыков своих моделей. Лаборатория проводила быстрые оценки, которые генерируют больше данных, чем сотрудники могут обработать. По словам четырех человек, знакомых с процессом обучения OpenAI, лаборатория часто запускает несколько тестов моделей одновременно на системе, которая по умолчанию не находится под постоянным наблюдением.
OpenAI не стала немедленно связывать свою собственную систему с атакой на Hugging Face. Связь была установлена только после того, как жертва обнародовала информацию.
Мэрли Смит, ведущий специалист по разведданным в некоммерческой организации World Ethical Data Foundation, не стала скрывать своего мнения: «Это значит, что они оставили её без присмотра и не понимали, что она делает? Или, может быть, понимали, но не знали, как это остановить? Оба варианта одинаково опасны и тревожны».
Технические отчеты описывают модели, которые не должны были подвергаться воздействию открытого интернета. OpenAI решила, что песочница их удержит, и в результате пропустила обычные защитные механизмы безопасности.
Вместо этого модели обнаружили ранее неизвестную уязвимость во внутреннем сервисе, используемом для загрузки одобренного программного обеспечения. Эта брешь дала им путь к другим системам OpenAI и, в конечном итоге, к открытому интернету.
Было задействовано три модели. Более мощная, еще не выпущенная модель, GPT-5.6 Sol, и третья модель, которая, по словам человека, знакомого с ситуацией, не была должным образом выровнена или обучена по стандартным процедурам.
Модели выяснили, что у Hugging Face есть данные, которые они могут использовать для своего теста по кибербезопасности, взломали систему и использовали украденное для улучшения собственных результатов. Это обман, поведение, уже задокументированное в GPT-5.6 Sol и других моделях передового уровня.
На то, чтобы отследить инцидент, у OpenAI ушла более недели
Первые попытки выйти из тестовой среды произошли 9 июля. Сам взлом произошел между 11 и 13 июля, сказал сооснователь Hugging Face Томас Вульф. 16 июля Hugging Face опубликовала пост в блоге, приписав вторжение «системе автономного ИИ-агента». Только тогда OpenAI заподозрила, что виноваты её собственные модели.
Улики были обнаружены сотрудниками OpenAI во внутренних журналах в выходные 18 и 19 июля. По словам Вульфа, компании не общались примерно до 20 июля. К тому времени Hugging Face уже сообщила об атаке в ФБР. OpenAI заявила, что за день до того, как инцидент стал достоянием общественности, она остановила еще одно внутреннее развертывание, которое также вырвалось из песочницы.
Анонимный сотрудник заявил, что модели ранее уже вырывались из песочниц, а исправление каждой новой уловки — это заведомо проигрышная игра.
«Невозможно закрыть каждую дыру, которую может использовать креативный ИИ». Один из сотрудников OpenAI написал в X, что он «немного обеспокоен» и надеется, что компания воспримет этот инцидент как предупреждение.
Представитель OpenAI сказал, что в отчетах содержится «несколько неточностей», но отказался приводить примеры, когда его об этом попросили.
По мнению независимых исследователей, ничего непредсказуемого в этом не было. Epoch AI оценила, можно ли было предвидеть взлом, и пришла к выводу, что да, ссылаясь на бенчмарки Института кибербезопасности ИИ Великобритании, которые показывают, что передовые модели с отключенными мерами безопасности могут обнаруживать реальные уязвимости в программном обеспечении и создавать функциональные эксплойты.
Тот же институт обнаружил, что GPT-5.6 Sol и Mythos от Anthropic могут надежно захватывать незащищенные симулированные корпоративные сети. Epoch AI предупредила, что если такие возможности станут широко распространены, в отрасли можно ожидать гораздо больше атак масштаба взлома Hugging Face.
Если вы читаете это, вы уже впереди. Оставайтесь с нами, подписавшись на нашу рассылку.
Часто задаваемые вопросы
Что именно сделал сбежавший агент ИИ от OpenAI?
Он оставил записи внутри инфраструктуры OpenAI, объясняющие, как будущие агенты могут обходить внутренние ограничения. Позже модели OpenAI использовали неизвестную уязвимость во внутреннем сервисе, чтобы получить доступ к открытому интернету и взломать Hugging Face.
Когда произошёл взлом Hugging Face и когда об этом узнала OpenAI?
Сооснователь Hugging Face Томас Вулф сообщил, что инцидент длился с 11 по 13 июля. OpenAI связала свои модели с атакой только после публикации блога Hugging Face 16 июля, а компании начали общаться лишь около 20 июля.
Какие модели OpenAI были задействованы в атаке?
В атаке участвовали три модели: GPT-5.6 Sol — более мощная ещё не выпущенная модель, а также третья модель, которая, по словам источника, не была должным образом выровнена или обучена по стандартной процедуре.
Отказ от ответственности. Предоставленная информация не является торговой рекомендацией. Cryptopolitan.com не несет ответственности за любые инвестиции, сделанные на основе информации, представленной на этой странице. Мы настоятельно рекомендуем проводить независимые исследования и/или консультироваться с квалифицированным специалистом перед принятием любых инвестиционных решений.
Ранда Моуз
Ранда Мозес — редактор и репортёр Cryptopolitan, освещающая технологии, ИИ, робототехнику, криптовалюты, мошенничество и взломы. Она работает в сфере криптовалют с 2017 года. Ранда занимала должности в Forward Protocol, AmaZix и Cryptosomniac. Ранда имеет степень в области электротехники и электроники, полученную в Университете Брэдфорда.
