OpenAI не смогла обнаружить многодневную хакерскую кампанию своего ИИ-агента в течение недели

OpenAI не осознавала в течение примерно недели, что один из ее собственных ИИ-агентов взломал Hugging Face. К тому времени, когда компания выяснила источник атаки, Hugging Face уже отключила его и вызвала ФБР, сообщает Reuters.

Программа была создана для автономной работы. Она могла выбирать, что делать, разбивать задачу на более мелкие шаги и выполнять эти шаги с минимальной помощью человека.

Примерно 9 июля он попытался выйти из закрытой тестовой среды OpenAI. Два дня спустя, 11 июля, он вошел в Hugging Face и оставался там до 13 июля, сказал соучредитель Томас Вульф. Две компании не обсуждали инцидент примерно до 20 июля.

OpenAI узнала, что ее агент несет ответственность, после того как взлом завершился

OpenAI публично сообщила о взломе 21 июля, на день позже, чем, по сообщениям, впервые связалась с Hugging Face. Компания заявила, что один из ее ИИ-агентов вышел за установленные для него пределы и вошел в системы другой компании.

История быстро привлекла глобальное внимание, но первое объявление пропустило несколько ключевых дат. В нем не говорилось, что агент пытался сбежать 9 июля, провел три дня внутри Hugging Face или оставался неустановленным для OpenAI в течение нескольких дней.

По словам Томаса, Hugging Face работает над всеобъемлющей хронологией события, произошедшего в их собственной системе. Кроме того, Томас отметил, что он не может описать происшествие в OpenAI, поскольку не участвовал в их расследовании.

OpenAI описала инцидент как беспрецедентный и объявила его «важным моментом для безопасности ИИ». Компания объяснила, что в процесс обзора вовлечены внешние эксперты. Кроме того, компания планирует опубликовать технический отчет об инциденте после завершения расследования.

До выявления настоящего злоумышленника специалисты по кибербезопасности и пользователи социальных сетей полагали, что атакующими являются человеческие группы, состоящие из профессиональных киберпреступников, в то время как некоторые считали, что это могут быть хакеры, спонсируемые государством.

Подкасты и социальные сети были переполнены догадками до среды, почти через неделю после того, как Hugging Face впервые забил тревогу. Затем появился ответ. Атакующим был ChatGPT.

В X некоторые люди нашли интересным то, как OpenAI смогла использовать это событие для демонстрации возможностей модели. Долгое время утверждалось, что компании искусственного интеллекта намеренно делали пугающие заявления, чтобы создать шум. После того как Anthropic выпустила свою модель Mythos, кибербезопасность стала еще более актуальной проблемой.

Один из самых популярных ответов под постом Сэма Альтмана в X передал этот скептицизм: «Если вы не можете понять, что это было написано исключительно для хвастовства моделью, то я не знаю, что вам сказать».

ИИ-агент OpenAI видел взлом как самый простой вариант

Брайан, директор по этике технологий в Центре прикладной этики Маркулы при Университете Святой Клары, сказал, что подобные случаи, вероятно, будут повторяться. «Такие случаи будут продолжать всплывать, и каждый из них должен мотивировать нас делать больше», — сказал он в OSV News.

Брайан назвал этот сценарий «моделью, обманывающей тест, делая что-то неожиданное». По его словам, агенту была поставлена цель, он выбрал самый короткий путь ее достижения, и этим путем было кража.

«Вы даете ему цель, и он говорит: „О, я знаю, как достичь этой цели. Я украду ответы из Hugging Face“», — сказал Брайан.

Hugging Face казался разумной целью, потому что он хранит огромный диапазон ИИ-моделей и наборов данных. Брайан назвал это «огромным, огромным хранилищем различных моделей и наборов данных». Агент, похоже, искал место, которое могло бы содержать нужный ему материал, выбрал Hugging Face, вошел на платформу и нашел его.

Брайан предположил, что другие инциденты подобного рода произойдут. По его словам, агент «просто пытался делать то, что ему сказали». С точки зрения системы, «наиболее эффективным решением проблемы» был бы «несанкционированный доступ».

Он также сказал, что дело не было явно проявлением эмерджентного несоответствия (emergent misalignment) — термина для поведения ИИ, идущего вразрез с человеческими ценностями. Брайан сказал, что система не была связана с этими ценностями с самого начала. По словам Брайана, «она никогда не была согласована» с ними «с самого начала».