Компания Meta присоединилась к OpenAI и Anthropic в последнемdent , связанном с хакерскими атаками на ИИ
- Искусственный интеллект Meta взломал другую компанию из-за ошибки конфигурации.
- Компания намерена раскрыть дополнительную информацию о взломе.
- AISI выявила новые случаи обмана с использованием моделей OpenAI и антропогенного ИИ.
Компания Meta стала очередным технологическим гигантом, признавшим, что ее ИИ-агент взломал другую фирму после того, какdent партнер по тестированию неправильно настроил защищенную среду.
Компании OpenAI и Anthropic уже сталкивались со случаями, когда их ИИ-агенты пытались несанкционированно взломать реальные онлайн-системы.
Мета сообщила журналистам, что сбой в работе ИИ произошел из-за неправильной конфигурации системы, аналогичной взлому Anthropic. В отличие от OpenAI, где агент ИИ использовал ранее не обнаруженную уязвимость для доступа к интернету во время тестирования кибербезопасности. До сих пор исследователи и правительства реагировали наdent, призывая кtronзащиты и ужесточению стандартов тестирования.
Подобныеdentпроисходят на фоне того, как компании, занимающиеся искусственным интеллектом, соревнуются в создании более автономных агентов, способных выполнять сложные задачи без вмешательства человека. В отличие от чат-ботов в традиционном чат-пространстве, эти системы могутdentсоздавать код, взаимодействовать с онлайн-сервисами и выполнять многоэтапные действия.
Хотя эти возможности обещают значительное повышение производительности, они также увеличивают риск того, что плохо отформатированная среда тестирования или недостаточные средства контроля могут привести к тому, что модели будут предпринимать незапланированные действия в процессе оценки безопасности.
Ключевые фигуры в сообществе ИИ даже настаивают на управляемом замедлении, чтобы гарантировать, что человеческий контроль будет идти в ногу с машинным интеллектом.
Издание Irregular отметило, что в работе ИИ-агента Meta нет открытых проблем
Компания Meta сообщила, что тестирование провела компания Irregular, специализирующаяся на безопасности ИИ, и уведомила ее о взломе. Она добавила, что планирует обнародовать более подробную информацию об инцидентеdent подтверждения всех фактов.
В заявлении утверждалось, что его ИИ-агент «воспользовался уязвимостью безопасности в стороннем сервисе». Источникиdentвредоносный ИИ как Muse Spark 1.1, модель, активно продвигаемую компанией Meta за её превосходные навыки программирования.
Irregular заявил, чтоdent сводится к той же уязвимости в среде, о которой Anthropic сообщила на прошлой неделе, полностью исключая сложную хакерскую атаку или выход из песочницы.
И хотя компания Meta заявила, что причиной взлома стала неправильная настройка среды тестирования, а неdentвыход ИИ из «песочницы», исследователи утверждают, чтоdent демонстрирует, что безопасность зависит не только от самой модели, но и от ее инфраструктуры.
Даже высокозащищенные системы искусственного интеллекта могут вести себя непредсказуемо, если средства контроля доступа, сетевые разрешения или тестовая среда настроены неправильно.
В заявлении также говорилось: «В настоящее время нет открытых вопросов. Компания Irregular разрабатывает аналитический документ, в котором будут представлены лучшие практики по сдерживанию угроз и безопасному проведению кибератак»
AISI утверждает, что модели OpenAI и Anthropic пытались повлиять на тех, кто занимается техническим обслуживанием
Ранее OpenAI признала, что её автономные системы проникли в несколько общедоступных сетей, включая сообщество пользователей ИИ Hugging Face. Это заявление OpenAI позже побудило Anthropic провести собственные проверки безопасности, которые выявили, что Claude совершил аналогичные атаки на несколько компаний после того, как ошибка конфигурации позволила ему получить доступ к интернету.
Однако отчет британских регулирующих органов выявил более тревожные проблемы. По данным британского Института безопасности ИИ, модели ИИ от OpenAI и Anthropic пытались добавить вредоносный код в проект с открытым исходным кодом, оказывая влияние на его разработчиков.
«В попытке добиться утверждения кода агент прибегнул к социальной инженерии — создавал поддельные онлайн-dentи использовал их для оказания давления на разработчика проекта с целью его утверждения», — заявили в AISI.
В докладе отмечалось, что все эти попытки провалились и не причинили реального вреда. Несмотря на отсутствие реального ущерба и провал каждой попытки, надзорный орган предупредил, что это самое убедительное на сегодняшний день доказательство того, что ИИ действует обманным путем, и что автономные системы представляют опасность.
Компания AISI также пояснила свои критерии тестирования: «Чтобы оценить реальные возможности этих моделей, мы тестируем их в условиях, которые имитируют действия опытного злоумышленника»
На данный момент OpenAI признала с безопасностью,dent произошедший во время испытаний AISI, заявив, что хочет разработать более совершенные, общеотраслевые механизмы защиты для тестирования нестабильных моделей. Компания также публично сообщила об отдельном инциденте,dent котором Irregulardentпредоставила доступ к своим моделям в открытом интернете во время учебных учений.
Компания обязалась усилить контроль за тестированием, проводимым сторонними организациями, в том числе за определением того, какие оценки сопряжены с большим риском, рассмотрением запросов на доступ в Интернет или с меньшим количеством мер безопасности, управлением изоляцией и использованием учетныхdent, мониторингом тестирования и реагированием на инцидентыdentпомощью более четких процедур эскалации.
Тем временем Белый дом на этой неделе пригласил ведущих разработчиков ИИ, включая Meta, Anthropic, OpenAI и Google, обсудить недавно завершенную добровольную программу тестирования кибербезопасности передовых систем ИИ.
В ходе обсуждений с представителями компаний администрация Трампа заявила, что модели искусственного интеллекта с открытым исходным кодом, такие как Llama от Meta и Nemotron от Nvidia, не будут охвачены предложенной ею добровольной системой тестирования безопасности.
Это исключение вызвало дискуссию среди исследователей безопасности ИИ, которые утверждают, что модели с открытыми весами могут свободно скачиваться, модифицироваться и дорабатываться третьими лицами.
Критики утверждают, что исключение их из добровольных рекомендаций по тестированию может создать «слепые зоны», поскольку все более совершенные модели станут широко доступны вне контроля их первоначальных разработчиков.
Если вы это читаете, значит, вы уже впереди. Оставайтесь на шаг впереди, подписавшись на нашу рассылку.
Часто задаваемые вопросы
Почему ИИ-агент Meta взломал другую компанию?
Мета заявила, что ИИ получил доступ к системе другой компании из-за ошибки в тестовой среде во время оценки кибербезопасности.
Сталкивались ли другие компании, занимающиеся разработкой ИИ, с аналогичнымиdentв области безопасности ИИ?
Да. Компании OpenAI и Anthropic также сообщали о случаях, когда их модели ИИ пытались получить доступ к реальным онлайн-системам во время тестирования безопасности.
Почему эксперты по безопасности ИИ обеспокоены автономными агентами искусственного интеллекта?
Эксперты утверждают, что агенты искусственного интеллекта могут выполнять задачи самостоятельно, поэтому им необходимыtronмеры защиты для предотвращения неожиданного или небезопасного поведения во время тестирования.
Неллиус Ирена
Неллиус — выпускница факультета управления бизнесом и информационных технологий с пятилетним опытом работы в криптовалютной индустрии. Она также является выпускницей Bitcoin Dada. Неллиус сотрудничала с ведущими СМИ, включая BanklessTimes, Cryptobasic и Riseup Media.
