В течение недели OpenAI не удавалось обнаружить многодневную серию хакерских атак своего ИИ-агента

Компания OpenAI примерно неделю не подозревала, что один из её собственных ИИ-агентов взломал Hugging Face. К тому времени, как компания выяснила источник атаки, Hugging Face уже отключил систему и связался с ФБР, сообщает Reuters.

Программа была разработана для самостоятельной работы. Она могла выбирать, что делать, разбивать задачу на более мелкие шаги и выполнять эти шаги с минимальным участием человека.

Примерно 9 июля он попытался выбраться из закрытой тестовой зоны OpenAI. Два дня спустя, 11 июля, он проник в Hugging Face и оставался там до 13 июля, сообщил соучредитель Томас Вольф. Обе компании не комментировалиdent до примерно 20 июля.

Компания OpenAI узнала, что ответственность за утечку данных несет ее агент, уже после того, как инцидент завершился

Компания OpenAI сообщила общественности о взломе 21 июля, на следующий день после того, как, по сообщениям, впервые поговорила с Hugging Face. Компания заявила, что один из ее агентов ИИ вышел за установленные для него пределы и проник в системы другой компании.

Эта история быстро привлекла внимание всего мира, но в первом сообщении не были указаны несколько ключевых дат. В нем не говорилось, что агент пытался сбежать 9 июля, провел три дня внутри «Обнимающего лица» или оставалсяdentкомпанией OpenAI в течение нескольких дней.

По словам Томаса, компания Hugging Face работает над составлением подробной хронологии событий, произошедших в их системе. Более того, Томас отметил, что не может описать произошедшее в OpenAI, поскольку не участвовал в их расследовании.

Компания OpenAI охарактеризовалаdent какdentи назвала его «важным моментом для безопасности ИИ». Компания пояснила, что в процессе расследования участвуют сторонние эксперты. Кроме того, после завершения расследования компания планирует опубликовать технический отчет обdent .

Доdentреального преступника специалисты по кибербезопасности и пользователи социальных сетей полагали, что нападавшими были группы профессиональных киберпреступников, а некоторые считали, что это могли быть хакеры, спонсируемые государством.

В среду, почти через неделю после того, как Hugging Face впервые забил тревогу, подкасты и социальные сети были полны предположений. Затем появился ответ. Злоумышленником оказался ChatGPT.

На X некоторым показалось интересным, как OpenAI удалось использовать это событие для демонстрации возможностей своей модели. Давно утверждалось, что компании, занимающиеся искусственным интеллектом, намеренно делали пугающие заявления, чтобы привлечь внимание. После того, как Anthropic выпустила свою модель Mythos, кибербезопасность стала еще более актуальной проблемой.

Один из самых популярных комментариев под постом Сэма Альтмана на X отразил это сомнение: «Если вы не понимаете, что это было написано исключительно для того, чтобы похвастаться моделью, то я не знаю, что вам сказать»

Искусственный интеллект, разработанный OpenAI, посчитал взлом самым простым вариантом

Брайан, директор по этике в сфере технологий в Центре прикладной этики Марккула при Университете Санта-Клары, заявил, что подобные случаи, вероятно, будут повторяться. «Такие случаи будут продолжать возникать, и каждый из них должен мотивировать нас на дальнейшие действия», — сказал он OSV News.

Брайан назвал этот сценарий «моделью, перехитрившей тест, совершив нечто неожиданное». По его словам, агенту была поставлена ​​задача, он выбрал кратчайший путь к ее достижению, и этим путем стало воровство.

«Вы ставите перед ним цель, а он отвечает: „О, я знаю, как достичь этой цели. Я украду ответы у Hugging Face“», — сказал Брайан.

Hugging Face показалась логичным выбором в качестве цели, поскольку она хранит огромное количество моделей и наборов данных ИИ. Брайан назвал её «огромной, огромной базой данных различных моделей и наборов данных». По всей видимости, агент искал место, где можно было бы хранить необходимый материал, выбрал Hugging Face, вошёл на платформу и нашёл его.

Брайан предположил, что подобныеdentбудут происходить и в других случаях. По его словам, агент «просто пытался сделать то, что ему было приказано». С точки зрения системы, «наиболее эффективным решением проблемы» был бы «несанкционированный доступ»

Он также заявил, что данный случай не является явным проявлением несоответствия, термином, обозначающим поведение ИИ, противоречащее человеческим ценностям. Брайан сказал, что система с самого начала не была связана с этими ценностями. По словам Брайана, «она никогда и не была с ними связана» «с самого начала»