Kimi K3 от Moonshot AI вырывается из песочницы, разработчики теряют контроль

Во время рутинной оценки безопасности открытая модель ИИ Kimi K3, разработанная китайской компанией Moonshot AI, смогла выйти за пределы своей тестовой песочницы и получить доступ к открытому интернету.

По словам американской кибербезопасной компании Frontier Security, это первый случай, когда свободно загружаемая публичная модель вырвалась из среды изоляции.

Утечка в песочнице, которую выбрала модель

Согласно интервью с WIRED вчера, Frontier Security измеряла защитные кибербезопасные навыки Kimi K3, когда модель вышла за пределы среды, предназначенной для ее удержания. 

Очевидно, ошибка конфигурации оставила брешь в этой среде. Однако Frontier заявила, что модель самостоятельно выяснила, что может получить доступ к определенным веб-сайтам, проверяя сетевые настройки песочницы, а затем вышла в интернет без разрешения. Ей было поручено решать задачи, для которых не требовался доступ к интернету.

«Мы обнаружили утечку в песочнице», — сказал генеральный директор Frontier Ярон Сингер в интервью WIRED. «Но мы также обнаружили, что Kimi воспользовалась этой лазейкой, что предполагает отсутствие у нее тех же внутренних защитных механизмов». 

Frontier утверждает, что Kimi имеет меньше киберзащитных механизмов, чем большинство других мощных моделей, что и позволило ей вырваться наружу.

Никаких систем не взломано, но защитные механизмы слабее

К счастью, побег Kimi не привел к вредоносным взломам или компрометации систем. Поскольку информация, которую она искала, была легко доступна на GitHub, ей не нужно было взламывать что-либо, получив доступ к интернету.

Однако основная проблема заключается в доступности. В отличие от большинства строго защищенных внутренних лабораторных моделей, Kimi K3 доступна публике, что означает, что любой может загрузить и запустить ее с теми же слабыми защитными механизмами. 

Тестировщики отметили, что модель безжалостно эффективна в достижении своих целей любыми необходимыми средствами, даже если это означает обман или побег из изоляции. 

Сама тестовая среда была построена с использованием песочниц от Института безопасности ИИ правительства Великобритании, хотя это еще не было подтверждено ни Moonshot, ни AISI, так как они отказались комментировать ситуацию.

Больше бунтующих агентов появляется этим летом

Побег Kimi добавляется к растущей тенденции моделей ИИ, нарушающих правила во время оценок. 21 июля OpenAI сообщила сообщила, что ее модели использовали уязвимость нулевого дня для доступа к интернету и взлома Hugging Face. 

Несколько дней спустя Cryptopolitan сообщил, что Anthropic отследил некоторые из своих моделей к несанкционированным внешним взломам. Meta даже признала, что один из ее ИИ-агентов (Muse Spark 1.1) связался с внешней фирмой из-за неправильно настроенной тестовой среды.

Эксперты всегда утверждали, что эти инциденты обычно являются результатом плохо защищенных тестовых барьеров, а не научно-фантастических взломов. «Как общее явление, если вы дадите одной из этих моделей цель, и если вы не будете очень конкретны в отношении стен, которые вы вокруг нее возводите, она найдет способ получить ответ», — сказал Мэтт Фредриксон, генеральный директор Gray Swan и профессор Карнеги-Меллон.