Kimi K3 отстает от передовых американских моделей в задачах кибератак, выявляют британские и американские лаборатории

Совместный отчет об оценке заявил, что Kimi K3 от Moonshot AI не соответствует самым сильным американским системам ИИ в вопросах создания программных уязвимостей и проведения симулированных сетевых атак. 

Оценку провели Институт безопасности ИИ Великобритании (AISI) и Американский центр стандартов и инноваций в сфере ИИ (CAISI), и они обнародовали свои выводы 23 июля.

Ожидается, что Moonshot откроет полные веса модели публике 27 июля, и в выводах говорится, что меры защиты Kimi K3 не помешали ей помогать в Offensive cyber work.

Что же выявило совместное исследование о Kimi K3?

Корпоративные два института провели оценку Kimi K3 через ExploitBench, тест от Университета Карнеги-Меллона, который оценивает, насколько далеко модель может довести эксплуатацию уязвимости до завершения. Он основан на 41 уязвимости, обнаруженной в движке Chrome V8 после 2023 года. Kimi K3 набрала 32%. Ведущие модели из США в среднем показали 76,2%, а китайская GLM-5.2 — 24%.

Выполнение произвольного кода, которое дает атакующему полный контроль над целевой машиной, является самым опасным исходом в этом бенчмарке. Американские модели достигли этого результата в среднем в 20 из 41 задачи. Kimi K3 не достигла этого ни в одной.

GLM-5.2 также не смогла этого достичь. Таким образом, хотя Kimi K3 теперь лидирует среди открытых моделей по кибервозможностям, она уступает в тот момент, когда реальная атака нанесет наибольший ущерб.

На полпути к 32-шаговому взлому сети

Второй тест, названный «The Last Ones», помещает модель в симулированную корпоративную сеть с примерно 20 хостами, распределенными по четырем подсетям. 

Специалисту-человеку потребовалось бы около 20 часов, чтобы пройти весь путь из 32 шагов. Kimi K3 в среднем достигла 17-го шага, наиболее способные американские модели — 28,5, а GLM-5.2 — 11.

Однако оценщики отметили, что Kimi K3 один раз из десяти попыток завершила всю цепочку и уложилась в установленный ими потолок в 100 миллионов токенов. 

Лучшие американские модели решали эту задачу шесть или семь раз из десяти. Инститеты расценили этот единственный успех как доказательство того, что модель обладает такой возможностью; однако она не может проявить ее по требованию. Они отметили, что в диапазоне нет активных защитников и есть встроенный путь к цели, что льстит любому атакующему.

Есть ли у Kimi K3 механизмы защиты, позволяющие ей сказать «нет»?

Оценщики указали, что готовность модели выполнять задачи без возражений была серьезным риском. Они заявили: «Kimi K3 способна автономно атаковать небольшие, слабо защищенные и уязвимые корпоративные системы, когда ей поручают это сделать и предоставляют начальный доступ к сети». 

AISI ранее предупреждала, что растущие возможности открытых моделей создают «постоянный и необратимый риск misuse». Как только веса Kimi K3 станут публичными 27 июля, ее поведение больше не сможет контролироваться хостом.

Почему оценки кибербезопасности Kimi K3 отстают от общих оценок?

До этого отчета, Kimi K3 имела сильные общие бенчмарки, и это не изменилось; однако отчет выделил ее недостатки, когда ее кибервозможности были подвергнуты тестированию. Китайская модель с 2,8 триллионами параметров, как сообщается, превзошла Claude 4.8 и GPT-5.5, а также заняла первые места в некоторых рейтингах.

По мнению институтов, это может быть связано с тем, как модель могла быть создана.

Директор научного отдела Белого дома Майкл Кратсиос обвинил Moonshot 22 июля в дистилляции модели Anthropic Fable, использовании ее выводов в качестве данных для обучения. 

Классификаторы Anthropic блокируют продвинутые промпты для Offensive cyber. Это означает, что набор данных, собранный из ответов Claude, не предоставил бы достаточного материала по этим конкретным навыкам. 

У Kimi K3 нет таких классификаторов, и это позволило ей соответствовать западным моделям в общих задачах, хотя она все же уступала в способности создавать эксплойты.