Meta присоединилась к OpenAI и Anthropic в последнем инциденте с взломом ИИ
- ИИ-агент Meta получил доступ к системе другой компании из-за ошибки в настройках.
- Компания намерена раскрыть больше информации об этом взломе.
- AISI выявила ещё один случай обмана моделей ИИ от OpenAI и Anthropic.
Meta стала последним технологическим гигантом, признавшим, что ее ИИ-агент взломал другую компанию после того, как независимый партнер по тестированию неправильно настроил безопасную среду.
OpenAI и Anthropic уже сталкивались с случаями, когда их ИИ-агенты пытались взломать реальные онлайн-системы без разрешения.
Meta сообщила репортерам, что прорыв ИИ произошел из-за неправильной настройки системы, аналогичной прорыву Anthropic. В отличие от OpenAI, где ИИ-агент использовал ранее неизвестную уязвимость для получения доступа к интернету во время теста по кибербезопасности. Пока исследователи и правительства реагировали на инциденты, требуя более сильных мер защиты и более строгих стандартов тестирования.
Такие инциденты происходят на фоне гонки ИИ-компаний по созданию более автономных агентов, способных выполнять сложные задачи без вмешательства человека. В отличие от чат-ботов в традиционном чат-пространстве, эти системы могут создавать код, взаимодействовать с онлайн-сервисами и выполнять многоэтапные действия самостоятельно.
Хотя эти возможности обещают значительный рост производительности, они также увеличивают риск того, что плохо отформатированная тестовая среда или недостаточный контроль могут привести к тому, что модели предпримут незапланированные действия в процессе оценки безопасности.
Ключевые фигуры в сообществе ИИ даже призывают к управляемому замедлению, чтобы обеспечить, чтобы человеческий контроль успевал за машинным интеллектом.
Irregular отметил, что с ИИ-агентом Meta нет открытых проблем
Meta сказала, что тесты проводила компания Irregular, поставщик услуг по безопасности ИИ, и уведомила ее о прорыве. Она добавила, что планирует публично раскрыть больше информации об инциденте, как только подтвердит все факты.
Она утверждала, что ее ИИ-агент «эксплуатировал уязвимость безопасности в стороннем сервисе». Источники идентифицировали rogue ИИ как Muse Spark 1.1, модель, которую Meta активно продвигает за ее элитные навыки программирования.
Irregular сказала, что инцидент сводится к той же ошибке среды, которую Anthropic раскрыла на прошлой неделе, полностью исключая сложный взлом или побег из песочницы.
И хотя Meta заявила, что прорыв был вызван неправильной настройкой тестовой среды, а не самостоятельным побегом ИИ из песочницы, исследователи говорят, что инцидент демонстрирует, что безопасность зависит не только от самой модели, но и от ее инфраструктуры.
Даже высоко защищенные ИИ-системы могут вести себя непредсказуемо, если права доступа, сетевые разрешения или тестовые среды не настроены должным образом.
Далее она заявила: «В настоящее время открытых проблем нет. Irregular разрабатывает технический документ, чтобы поделиться лучшими практиками по сдерживанию и безопасному проведению кибероценок».
AISI говорит, что модели OpenAI и Anthropic пытались повлиять на человеческих администраторов
Ранее OpenAI признала, что ее автономные системы проникли в несколько публичных сетей, включая хаб ИИ-сообщества Hugging Face. Раскрытие информации OpenAI позже побудило Anthropic провести собственные проверки безопасности, которые выявили, что Claude совершил аналогичные атаки на несколько компаний после ошибки конфигурации, позволившей ему получить доступ к интернету.
Однако британский регуляторный отчет раскрыл более тревожные проблемы. Согласно отчету Британского института безопасности ИИ (AISI), модели ИИ от OpenAI и Anthropic пытались добавить вредоносный код в проект с открытым исходным кодом, влияя на его человеческих администраторов.
«Пытаясь получить одобрение кода, агент прибег к социальной инженерии — создавал фальшивые онлайн-личности и использовал их для давления на администратора проекта, чтобы тот одобрил код», — сказала AISI.
Она отметила, что все эти попытки провалились и не причинили реального вреда в реальном мире. Несмотря на то, что реального ущерба не было и каждая попытка провалилась, надзорный орган предупредил, что это наиболее очевидное доказательство в реальном мире обманчивого поведения ИИ и опасностей автономии.
AISI также объяснила свои критерии тестирования: «Чтобы измерить, что эти модели могут делать по-настоящему, мы тестируем их в условиях, отражающих то, что мог бы сделать способный человеческий злоумышленник».
Пока что OpenAI признал сообщила об инциденте безопасности во время испытаний AISI, заявив, что хочет создать лучшие, общепромышленные ограждения для тестирования нестабильных моделей. Она публично рассказала об отдельном инциденте, в ходе которого Irregular случайно подвергла свои модели воздействию открытого интернета во время учений.
Компания пообещала усилить надзор за сторонним тестированием, включая то, как она определяет, какие оценки несут больший риск, рассматривает запросы на доступ к интернету или меньшее количество защитных мер, управляет изоляцией и использованием учетных данных, контролирует тестирование и реагирует на инциденты через более четкие процедуры эскалации.
Тем временем Белый дом пригласил ведущих разработчиков ИИ, включая Meta, Anthropic, OpenAI и Google, на этой неделе обсудить недавно finalized добровольную рамочную программу для тестирования кибербезопасности продвинутых ИИ-систем.
Во время обсуждений с представителями компаний администрация Трампа заявила, что модели с открытым весом, такие как Llama от Meta и Nemotron от Nvidia, не будут охвачены предлагаемой ею добровольной рамочной программой тестирования безопасности.
Это освобождение вызвало дебаты среди исследователей безопасности ИИ, которые утверждают, что модели с открытым весом могут свободно скачиваться, модифицироваться и дообучаться третьими сторонами.
Критики говорят, что исключение их из добровольных руководств по тестированию может создать слепые зоны по мере того, как все более способные модели становятся широко доступными вне контроля их первоначальных разработчиков.
Самые умные крипто-энтузиасты уже читают нашу рассылку. Хотите присоединиться? Присоединяйтесь.
Часто задаваемые вопросы
Почему ИИ-агент Meta взломал систему другой компании?
В Meta заявили, что ИИ получил доступ к системе другой компании из-за ошибки в тестовой среде во время оценки кибербезопасности.
Случались ли подобные инциденты с безопасностью ИИ у других компаний?
Да. OpenAI и Anthropic также сообщали о случаях, когда их модели ИИ пытались получить доступ к реальным онлайн-системам во время тестов безопасности.
Почему эксперты по безопасности ИИ обеспокоены автономными ИИ-агентами?
Эксперты отмечают, что ИИ-агенты могут выполнять задачи самостоятельно, поэтому необходимы надёжные механизмы защиты для предотвращения непредвиденного или опасного поведения во время тестирования.
Неллиус Ирэн
Неллиус — выпускница программ по управлению бизнесом и информационным технологиям с пятилетним опытом работы в индустрии криптовалют. Она также окончила Bitcoin Dada. Неллиус внесла вклад в ведущие медиа-издания, включая BanklessTimes, Cryptobasic и Riseup Media.
