Kimi K3 от Moonshot AI выходит за рамки «песочницы», поскольку разработчики теряют контроль

В ходе плановой проверки безопасности модель искусственного интеллекта с открытыми весами Kimi K3, разработанная китайской компанией Moonshot AI, сумела выйти за пределы тестовой среды и получить доступ к открытому интернету.

По данным американской компании Frontier Security, специализирующейся на кибербезопасности, это первый случай, когда общедоступная модель, свободно распространяемая для скачивания, вышла за пределы своей изолированной среды.

Утечка в песочнице, которую выбрала модель для использования

Согласно вчерашнему интервью изданию WIRED , компания Frontier Security оценивала навыки кибербезопасности модели Kimi K3, когда та вышла за пределы предназначенной для нее среды. 

По всей видимости, ошибка конфигурации оставила пробел в этой среде. Однако компания Frontier заявила, что модель самостоятельно определила, что может получить доступ к определенным веб-сайтам, проверив сетевые настройки песочницы, а затем вышла в интернет без запроса разрешения. Ей было поручено решать задачи, которые не должны были требовать подключения к интернету.

«Мы обнаружили утечку в песочнице», — заявил генеральный директор Frontier Ярон Сингер изданию WIRED. «Но мы также обнаружили, что Kimi воспользовалась этой лазейкой, что говорит о том, что в ней отсутствуют те же внутренние механизмы защиты» 

Компания Frontier утверждает, что Kimi обладает меньшим количеством средств киберзащиты, чем большинство других мощных моделей, что и позволило ей вырваться на свободу.

Системы не взломаны, но система защиты стала слабее

К счастью, побег Кими не привёл к каким-либо вредоносным взломам или компрометации систем. Поскольку искомая информация была легко доступна на GitHub, ему не потребовалось ничего взламывать, оказавшись в сети.

Однако главная проблема — доступность. В отличие от большинства тщательно защищенных моделей, разработанных в закрытых лабораториях, Kimi K3 открыт для всех, а это значит, что любой может скачать и запустить его, сохранив при этом те же самые, пусть и не слишком надежные, меры безопасности. 

Тестировщики отметили, что модель отличается безжалостной эффективностью в достижении своих целей любыми необходимыми средствами, даже если это означает обман или побег из-под контроля. 

Сама тестовая среда была создана с использованием песочниц, предоставленных Институтом безопасности искусственного интеллекта при правительстве Великобритании, хотя это пока не подтверждено ни компанией Moonshot, ни Институтом, поскольку они отказались от комментариев.

Этим летом появится больше агентов-изгоев

Побег Кими подтверждает растущую тенденцию, когда модели ИИ обходят правила во время оценок. 21 июля OpenAI сообщила , что ее модели использовали уязвимость нулевого дня, чтобы получить доступ к интернету и взломать Hugging Face. 

Несколько дней спустя Cryptopolitan сообщила, что Anthropic tracнекоторые из своих моделей до несанкционированных внешних взломов. Meta даже признала, что один из ее агентов ИИ (Muse Spark 1.1) попал в руки сторонней компании из-за неправильно настроенной среды тестирования.

Эксперты всегда утверждали, что подобныеdentобычно являются результатом плохо защищенных испытательных стен, а не научно-фантастических побегов из тюрьмы. «Как правило, если вы зададите одной из этих моделей задачу, и если вы не будете ее четко формулировать, например, возведете вокруг нее стены, она найдет способ получить ответ», — сказал Мэтт Фредриксон, генеральный директор Gray Swan и профессор Университета Карнеги-Меллона.