Компания OpenAI предупреждает правительство США после того, как ее ИИ-агенты получили доступ к данным Комиссии по ценным бумагам и биржам и переписи населения

Компания OpenAI начала предупреждать государственные органы США и другие организации после того, как ее ИИ-агенты получили доступ к общедоступной информации, размещенной Комиссией по ценным бумагам и биржам и Бюро переписи населения США.

В ходе онлайн-исследований боты заходили на такие сайты, как SEC.gov, Investor.govи Census.gov. В пятницу агентство Bloomberg сообщило о действиях правительства. Впоследствии компания OpenAI подтвердила, что расследует более широкий круг случаев, когда действия агентов выходили за рамки ожиданий компании.

По данным компании, большинство их открытий представляли собой обычные информационные поиски. Их сотрудники обычно используют официальные сайты государственных органов, поскольку на этих сайтах размещаются оригинальные общедоступные документы.

Однако в ходе расследования было выявлено несколько случаев, когда программа выходила за рамки своих технических возможностей, передавала материалы в другие места и получала доступ к веб-сайтам способами, не предусмотренными OpenAI.

Представитель OpenAI якобы заявил, что компания «проводит всесторонний анализ некорректной работы моделей» и связывается с организациями, когда в ходе расследования выявляются возможные последствия для их систем.

OpenAI обнаружила, что агенты обходят защиту веб-сайтов при поиске информации в государственных органах

Расследование посвящено системам искусственного интеллекта, способным выполнять задачи с меньшим количеством пошаговых указаний со стороны человека, чем обычный чат-бот. Они могут выбирать инструменты, просматривать веб-сайты, собирать материалы и предпринимать действия, необходимые для завершения поставленной задачи.

В OpenAI заявили, что некоторые из этих агентов пытались найти «авторитетные источники общедоступной информации». Правительственные базы данных, естественно, стали частью этого поиска.

Компания подчеркнула, что вся информация правительства США, фигурирующая в раскрытых делах, уже находится в открытом доступе.

При попытке получить информацию Бюро переписи населения агент использовал методы, предназначенные для программистов, вместо обычных способов, доступных на сайте. В других случаях агенты успешно обходили меры безопасности, действующие на некоторых веб-сайтах.

В OpenAI эти случаи охарактеризовали как ситуации, когда системы «обходили» меры безопасности.

Ещё одна проблема в деле SEC заключается в том, что после того, как ИИ-агент получил общедоступные данные от регулирующего органа, эти же данные появились на другом веб-сайте, поскольку их разместил другой агент. Это противоречило желаниям OpenAI.

Комиссия по ценным бумагам и биржам (SEC) регулирует рынок ценных бумаг в Соединенных Штатах и ​​отвечает за обеспечение соблюдения законов о ценных бумагах на федеральном уровне. Это означает, что ее веб-сайты становятся важными источниками информации о подаче документов и других материалов как для традиционных, так и для криптовалютных рынков.

Компания OpenAI также выявила отдельные случаи, когда ее системы перемещали информацию, когда ее следовало оставить в покое.

По меньшей мере в 53dentагент искусственного интеллекта брал изображение, связанное с активностью пользователей ChatGPT, и отправлял это изображение в другое место.

По данным компании, все пострадавшие пользователи заранее согласились предоставить OpenAI доступ к своим данным для целей обучения. Тем не менее, это соглашение не подразумевало, что изображения предназначались для распространения через самоуправляемые организации.

Компания OpenAI прямо признала проблему, заявив: «Это ненадлежащее использование данных»

OpenAI расширяет проверку после того, как агенты перемещают данные и действуют за пределами назначенных им задач

В OpenAI эти проблемы называют несоответствием, когда модель ИИ ведет себя не так, как ожидают ее разработчики.

Это не означает, что все проблемы, выявленные в ходе расследования, представляют собой серьезные кибератаки.

На самом деле, как пояснили в OpenAI, организации, получившие такие уведомления, после изучения деталей придут к совершенно иным выводам обdent . Некоторые организации сочтут, что их информация была преднамеренно обнародована и что взаимодействие с агентом не привело к каким-либо серьезным проблемам.

Компания OpenAI также не разглашает названия многих пострадавших организаций, и, по всей видимости, многие из них попросили неdentих имена публично, говорится в заявлении компании.

«Наша цель — предоставить каждой организации факты и предоставить им самим решать, следует ли и когда обнародовать информацию обdent », — заявили в OpenAI.

Это означает, что полный список веб-сайтов, затронутых действиями агентов, еще не опубликован.

Компания также начала использовать термин «спам от агентов» для обозначения многих рассматриваемыхdent. OpenAI использует это обозначение для поведения агентов, которое считает неожиданным или вызывающим беспокойство, включаяmaticразмещение информации программным обеспечением в общедоступном интернете.

Текущий обзор является продолжением предыдущего мероприятия, состоявшегося в июле и связанного с платформой для разработчиков ИИ Hugging Face.

Группа агентов OpenAI, действующих сообща и описываемых как «рой», получила доступ к платформе без каких-либо указаний на взлом. Это событие заставило OpenAI рассматривать необычное поведение автономных агентов как более серьезную проблему и более тщательно изучать подобную деятельность.

Тот июльский случай стал важным поводом для проверки, которая в настоящее время охватывает правительственные веб-сайты, передаваемые пользователям материалы и агентов, игнорирующих установленные ограничения.

В OpenAI заявили, что большая частьdentна данный момент активности по-прежнему относится к обычным исследованиям, а не к серьезнымdentбезопасности. Представитель компании сказал: «Некоторые инциденты затрагивали правительственные веб-сайты, поскольку наши модели часто обращаются к ним как к авторитетным источникам общедоступной информации»