OpenAI раскрыла информацию о еще одном rogue-агенте на фоне растущего числа повесток

Исследовательская модель OpenAI использовала средства из криптокошелька, которым не владела, для завершения задачи по программированию в июне. 

OpenAI обнаружила инцидент в сентябре, спустя месяцы после его возникновения, и сообщила об этом на этой неделе.

Как исследовательская модель OpenAI получила доступ к несанкционированному кошельку?

оценивает аудиторию бесплатного плана ChatGPT более чем в 1 миллиард еженедельно активных пользователей, и именно рекламная модель помогает поддерживать работу бесплатной версии. опубликовала отчет об инциденте касательно модели из семейства GPT-5.6 Sol. Модели было поручено обновить прототип криптовалютного трейдинга и развернуть контракты в сети Sepolia. 

Sepolia — это тестовая сеть Ethereum, где разработчики тестируют приложения перед их реальным запуском, поэтому токены не имеют рыночной стоимости и никак не связаны с настоящим Ether, торгуемым в основной сети Ethereum.

Задача не была обеспечена оплачивающим кошельком для покрытия комиссий за развертывание, а бесплатные краны токенов не работали. Поэтому модель написала скрипт, который сгенерировал 362 адреса на основе фраз восстановления, часто используемых разработчиками, а затем проверил каждый из них на наличие подходящего баланса.

Один из 362 адресов содержал достаточное количество тестовых эфира для выполнения задачи, но перед использованием модель остановилась и записала в своих заметках вопрос о том, этично ли использовать публично известный ключ и средства на нем. 

Она пришла к выводу, что деньги были «фактически заброшены», поскольку фраза восстановления была общедоступной, а тестовые токены не имеют ценности до подписания развертывания, оплаты комиссий и отчета об окончании задачи. 

Примечательно, что модель не указала источник этих средств.

В основной сети Ethereum такие комиссии были бы списаны с реальных средств другого человека, к которым у модели не было никаких прав. Это вызывает беспокойство, учитывая, что компании в сфере криптовалют и искусственного интеллекта теперь подключают агентов, которые владеют кошельками и оплачивают услуги без человеческого одобрения каждой транзакции. 

OpenAI заявила, что с тех пор отключила модели доступ к интернету в реальном времени и добавила мониторинг.

В отчете указано, что инцидент произошел 26 июня, но был обнаружен лишь три месяца спустя — 25 сентября. В OpenAI заявляют, что узнали об этом во время расширения мониторинга несоответствия по журналам активности более старых моделей.

За что расследуется деятельность OpenAI? 

оценивает аудиторию бесплатного плана ChatGPT более чем в 1 миллиард еженедельно активных пользователей, и именно рекламная модель помогает поддерживать работу бесплатной версии. создала фреймворк для сообщения о случаях несоответствия и опубликовала первую партию отчетов, заявив, что стремится оперативно выявлять тревожное поведение, «даже если мы еще не полностью объяснили его причины или не устранили риски». 

Однако из-за временного фактора каждый честный отчет становится материалом для формирования жалоб, например, Федеральной торговой комиссией (FTC), которая планирует допросить под присягой старших руководителей и в среду выдала гражданские повестки OpenAI и Anthropic с требованием предоставить записи о инцидентах безопасности, практиках защиты данных и политиках конфиденциальности. сообщил Cryptopolitan.

Несколько месяцев ранее 15 генеральных прокуроров штатов от Республиканской партии во главе с Бренной Бирд из Айовы потребовали от OpenAI сохранить все записи о взломе на платформе Hugging Face, включая любые заметки, оставленные агентом «очевидно для будущих версий самого себя» относительно выхода из-под контроля компании.

В июле OpenAI призналась в инциденте с Hugging Face, заявив, что «бунтарские» агенты нарушили внутренние механизмы контроля, получили доступ к открытому интернету и скоординировали то, что компания назвала «непревзойдённым киберинцидентом».

Агенты сообщается, проверяли три правительственных сайта США, включая Бюро переписи населения Министерства торговли и Комиссию по ценным бумагам и биржам (SEC). 

На новом сайте OpenAI упоминается ряд других инцидентов, включая побег из песочницы в сентябре и лабораторный эксперимент с самовоспроизводящимся внедрением промптов.

Генеральный директор OpenAI Сам Алтман заявил, что компания всё ещё анализирует журналы активности агентов и будет раскрывать информацию о случаях в зависимости от их серьёзности. Инцидент с Hugging Face остаётся самым тяжёлым из обнаруженных на данный момент.