Модели OpenAI вырываются из тестовой песочницы, взламывают Hugging Face, чтобы обмануть при оценке
- OpenAI сообщила, что GPT-5.6 Sol и более мощная ещё не выпущенная модель сбежали из изолированной тестовой среды и взломали базу данных Hugging Face.
- Модели были запущены без фильтров безопасности для кибертестирования и использовали уязвимость в прокси-пакетах, чтобы украсть ответы на тесты.
- Это первый известный случай, когда оценка модели привела к реальному нарушению безопасности сторонней компании.
OpenAI заявила во вторник, что две из ее моделей, включая общедоступную GPT-5.6 Sol, сбежали из заблокированной среды оценки на прошлой неделе и проникли в производственные системы Hugging Face, чтобы украсть ответы на тест по взлому, по которому их оценивали.
Модели OpenAI планируют великое побег
OpenAI тестировала свои модели против ExploitGym, публичного бенчмарка, который предоставляет агенту ИИ список реальных уязвимостей программного обеспечения, а затем проверяет, может ли модель воспроизвести их. Эти оценки проводятся с намеренно отключенными защитными барьерами, блокирующими высокоуровневую кибердеятельность, чтобы убедиться, что лаборатория может протестировать реальную способность модели ИИ.
Песочница не должна была иметь способа доступа к интернету. Однако существовало одно внешнее соединение, которое работало через прокси-сервер кэширования реестра пакетов — кэширующий сервер, который дает разработчикам возможность загружать библиотеки кода из внешних источников без прямого подключения.
Модели обнаружили и эксплуатировали ранее неизвестную уязвимость в этом прокси, после чего повысили привилегии и перемещались по исследовательской сети OpenAI, пока не достигли машины с доступом в интернет.
Хакерская атака на Hugging Face
Получив доступ в интернет, модели выяснили, что Hugging Face, платформа хостинга открытого ИИ, вероятно, хранила модели ExploitGym, наборы данных и ключи решений. Оттуда они начали охоту.
«Модели выявили и скомбинировали уязвимости в исследовательской среде OpenAI и производственной инфраструктуре Hugging Face, чтобы получить решения для тестов непосредственно из производственной базы данных Hugging Face», — написала OpenAI в блоге. Одна из атак использовала украденные учетные данные и уязвимости нулевого дня для достижения пути удаленного выполнения кода на серверах Hugging Face.
Команда безопасности OpenAI связалась с Hugging Face после обнаружения странного и аномального трафика. К этому времени Hugging Face уже обнаружила и локализовала вторжение моделей ИИ на своей стороне.
Компания изначально возложила вину за взлом на неизвестного внешнего агента ИИ. Платформа также уже создала реконструкцию более 17 000 записанных событий во время инцидента.
Модель ИИ с открытым кодом из Китая помогла с устранением последствий
Изначально Hugging Face обратился к ведущей американской модели для анализа атаки, но модель не сильно помогла из-за своих высоких киберзащитных механизмов. Защитники вместо этого обратились к GLM 5.2, модели с открытым весом от китайской компании Z.ai, поскольку американская коммерческая система не могла отличить защитника, анализирующего атаку, от атакующего, который ее совершает.
Однако не все рассматривают ситуацию как новый сбой ИИ. «Это не проблема ИИ. Это халатность по отношению к 40-летнему стандарту», — заявил консультант по безопасности Дави Оттенхаймер в интервью WIRED, аргументируя, что ««высоко изолированная» и «прорвавшаяся через единственную дыру, которую мы оставили открытой» не могут быть одновременно верными». Исследователь безопасности Нильс Провос был более резким, заявив в том же отчете, что взлом «не должен был произойти».
OpenAI называет этот инцидент «непрецедентным»
OpenAI охарактеризовала инцидент как «непрецедентный киберинцидент, связанный с передовыми кибервозможностями» и заявила, что ужесточает контроль инфраструктуры, даже в ущерб скорости исследований, пока уязвимости не будут устранены. Ведущая компания ИИ также добавила Hugging Face в свою программу доверенного доступа, предоставив компании версию GPT-5.6 Sol, настроенную для помощи защитникам.
Инцидент с OpenAI и Hugging Face — это первый известный случай, когда тестирование бенчмарков модели ИИ превратилось в реальную кибератаку. Это также произошло всего через день после того, как OpenAI раскрыла отдельный инцидент, в котором модель до релиза сбежала из песочницы, чтобы опубликовать что-то на GitHub.
OpenAI и Hugging Face объявили, что обе опубликуют полный криминалистический разбор события для общественности после завершения расследования.
Не просто читайте новости о криптовалютах. Понимайте их. Подпишитесь на нашу рассылку. Это бесплатно.
Опейеми Олареводжу
Опейеми специализируется на создании и совершенствовании высококачественного контента, посвящённого криптовалютам, глобальным финансовым рынкам и экономике. Он окончил Университет Ибадан со степенью MBBS. Работал главным редактором редакционного издания своего колледжа и ранее в CFA. Более шести лет он обеспечивал уникальность материалов как новостной редактор в Cryptopolitan.
