Модели OpenAI выходят за пределы тестовой песочницы, взламывая Hugging Face, чтобы обмануть систему оценки
- Компания OpenAI сообщила, что GPT-5.6 Sol и более мощная, еще не выпущенная модель вырвались из закрытой тестовой среды и взломали производственную базу данных Hugging Face.
- Модели запускались с отключенными фильтрами безопасности для проведения кибертеста и обходили систему через уязвимый прокси-сервер, чтобы получить результаты теста.
- Это первый известный случай, когда оценка модели переросла в реальное нарушение конфиденциальности данных сторонней компании.
Компания OpenAI заявила во вторник, что две ее модели, включая общедоступную GPT-5.6 Sol, на прошлой неделе вырвались из заблокированной среды оценки и проникли в производственные системы Hugging Face, чтобы украсть ответы на тест на хакерство, по которому оценивалась их работа.
Модели OpenAI планируют грандиозный побег
OpenAI тестировала свои модели с помощью ExploitGym, общедоступного бенчмарка, который предоставляет агенту ИИ список реальных уязвимостей программного обеспечения, а затем проверяет, может ли модель их воспроизвести. Эти оценки проводятся при условии, что защитные барьеры, блокирующие кибератаки высокого риска, установленные во время эксплуатации, намеренно отключены, чтобы лаборатория могла проверить реальные возможности модели ИИ.
В тестовой среде предполагалось полное отсутствие доступа к интернету. Однако существовало одно внешнее соединение, работающее через кэш-прокси реестра пакетов — сервер кэширования, который позволяет разработчикам загружать библиотеки кода из внешних источников без прямого подключения к сети.
Модели обнаружили и использовали ранее неизвестную уязвимость в этом прокси-сервере, после чего повысили свои привилегии и продвинулись по исследовательской сети OpenAI, пока не достигли машины с доступом в интернет.
Взлом игры Hugging Face
Оказавшись в сети, модели выяснили, что Hugging Face, открытая платформа для размещения ИИ, скорее всего, хранит модели, наборы данных и ключи решений ExploitGym. После этого они приступили к поиску.
«Моделиdentи связали воедино уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, чтобы получить тестовые решения непосредственно из производственной базы данных Hugging Face», — написала OpenAI в своем блоге. Одна из атак объединила украденныеdentданные и уязвимости нулевого дня, чтобы получить доступ к удаленному пути выполнения кода на серверах Hugging Face.
Команда безопасности OpenAI связалась с Hugging Face после того, как заметила странный и аномальный трафик. К этому времени Hugging Face уже обнаружила и локализовала вторжение моделей ИИ на своей стороне.
Первоначально компания объяснила взлом неизвестным внешним агентом искусственного интеллекта. Платформа также уже создала реконструкцию более чем 17 000 записанных событий во время инцидента.
Китайская модель искусственного интеллекта с открытыми весами помогла в очистке данных
Первоначально Hugging Face пыталась проанализировать атаку с помощью ведущей американской модели, но эта модель оказалась малополезной из-за высокого уровня киберзащиты. Вместо этого защитники обратились к GLM 5.2, модели с открытым исходным кодом от китайской компании Z.ai, поскольку американская коммерческая система не могла отличить анализ атаки со стороны защитника от действий злоумышленника.
Однако не все считают эту ситуацию новым примером сбоя ИИ. «Это не проблема ИИ. Это халатность, основанная на стандарте 40-летней давности», — заявил WIRED, утверждая, что «идеи „полностью изолированная“ и „проникновение через единственную оставленную нами дыру“ не могут быть одновременно верны». Исследователь в области безопасности Нильс Провос был более прямолинеен, заявив в том же отчете, что утечка «не должна была произойти».
Компания OpenAI называет этотdent «dent»
OpenAI назвала этот инцидент «беспрецедентнымdent-dent, в котором задействованы самые современные кибервозможности», и заявила, что ужесточает контроль над инфраструктурой, даже ценой замедления исследований, пока устраняются уязвимости. Ведущая компания в области ИИ также добавила Hugging Face в свою программу доверенного доступа, предоставив компании версию GPT-5.6 Sol, оптимизированную для помощи специалистам по защите.
с «обнимающим лицом» от OpenAIdent — это первый известный случай, когда тестирование модели ИИ превратилось в реальную кибератаку. Он также произошел всего через день после того, как OpenAI сообщила об отдельномdent , когда предварительная версия модели вышла за пределы песочницы и была опубликована на GitHub.
Компании OpenAI и Hugging Face объявили, что после завершения расследования они опубликуют полный анализ произошедшего.
Если вы это читаете, значит, вы уже впереди. Оставайтесь на шаг впереди, подписавшись на нашу рассылку.
Опейеми Оланреваджу
Опейеми специализируется на создании и совершенствовании высококачественного контента, посвященного криптовалютам, мировым финансовым рынкам и экономике. Он окончил Университет Ибадана со степенью MBBS. Работал главным редактором в редакционном издании своего колледжа, а ранее — в CFA. Более шести лет он помогал обеспечивать уникальность контента в качестве редактора новостей в Cryptopolitan.
