Anthropic предупредила о риске самовоспроизведения малых ИИ-моделей на домашних устройствах

Команда Frontier Red Team компании Anthropic заявила, что компактные модели ИИ могут начать копировать себя через дешевые бытовые устройства с подключением к интернету всего через несколько месяцев, без использования дата-центров. Исследователи предупредили, что такой сценарий будет крайне сложно контролировать, поскольку модели будет трудно отключить — их никто централизованно не контролирует.

Научная статья была опубликована 12 октября на сайте Anthropic и вызывает беспокойство у всех, кто использует умные приборы дома или в малом бизнесе.

Пятнадцать недорогих ТВ-боксов, одна модель с 26 миллиардов параметров

Исследователи Уильям Чжоу и Дэниел Фриман продемонстрировали потенциальный риск, подключив 15 ТВ-боксов сторонних производителей для работы с моделью Gemma4-26B-A4B, имеющей 26 миллиардов параметров. Каждый бокс стоил около 55 долларов и оснащался 4 ГБ оперативной памяти. Исследователи распределили слои модели между устройствами с помощью техники, известной как конвейерное параллельное вычисление (pipeline parallelism).

Эта коллекция из 15 различных устройств Android-боксов в совокупности генерировала лишь 0,39 токена в секунду, что делает её слишком медленной для любого практического использования в чат-ботах. Однако исследователи утверждают, что червь с самораспространением не обязательно должен работать на высокой скорости на одном устройстве; более того, он получит больше выгоды от охвата большого количества устройств.

Они также привели в пример Kimwolf — ботнет, заразивший более двух миллионов преимущественно неоригинальных Android-телевизоров, — как пример того, сколько небезопасных устройств остаются уязвимыми в домах пользователей.

Ни одна из протестированных моделей не смогла надёжно реплицироваться на другом устройстве, оставаясь при этом достаточно компактной для работы на смарт-телевизоре. Исследователи ожидают, что этот разрыв сократится к концу 2026 года, если лёгкие открытые модели продолжат развиваться с текущими темпами.

Репликация в четыре этапа и модель, которая справилась

Anthropic разделила процесс репликации на четыре этапа. Они включают выявление целей, получение возможности выполнения кода, настройку вывода и затем повторение процесса с каждого нового зараженного устройства.

Исследователи в основном опустили начальные этапы взлома, сославшись на предыдущие исследования, показавшие, что небольшие модели уже способны выполнять кибератаки. Вместо этого они сосредоточились на третьем этапе — настройке вывода (инференса), который включает длинную серию решений, специфичных для оборудования.

Для тестирования всего процесса исследователи создали изолированную сеть из восьми узлов Google Cloud, на каждом из которых работал эмулятор Android. Предварительно загруженный червь распространялся между узлами через незащищённый порт Android Debug Bridge, после чего разворачивал сервер для запуска модели Llama3.1-8B. Среди протестированных моделей с открытым исходным кодом только GLM-5.2, разработанная китайской компанией Z.ai, успешно завершила полный цикл репликации, достигнув всех восьми узлов в четырёх из пяти запусков.

Модели становились всё успешнее в процессе самостоятельной настройки по мере распространения от поколения к поколению. Когда экземпляры модели Qwen3.5-9B (с 9 миллиардами параметров) передавали инструкции по настройке своим последователям, уровень успеха вырос с 45% в первом поколении до 61–84% в последующих.

Anthropic объясняет, почему децентрализованный червь сложно уничтожить

В данном сценарии сырая скорость не является главной проблемой, как объяснила Anthropic. Anthropic оценивает, что настройка модели 26B на ТВ-приставках займет от 71 до 150 часов. Более серьезный риск заключается в устойчивости: поскольку нет центрального сервера или человека-оператора, который мог бы остановить систему, она может избегать обычных способов сдерживания и отключения.

Роман В. Ямпольский, эксперт по искусственному интеллекту и кибербезопасности из Университета Луисвилля, отметил высокую значимость полученных результатов. По его словам, черви на базе ИИ могут превзойти традиционное вредоносное ПО за счёт способности анализировать незнакомые устройства, адаптироваться при неудачах и продолжать распространение без вмешательства человека.

Хотя он не считает их сегодня экзистенциальной угрозой, он предупредил, что их развитие вызывает обеспокоенность.

«Устройства Интернета вещей для дома и малого бизнеса могут стать первой целью таких атак, поскольку они подключены к интернету и, как правило, имеют минимальные меры безопасности», — написали Чжоу и Фриман в статье Anthropic.

Защитники всё ещё сохраняют преимущество

Anthropic сравнивает защиту с сдерживанием вспышки заболевания, стремясь удержать среднее число новых заражений, вызываемых каждым устройством, ниже единицы. Интернет-провайдеры могут отмечать необычно большие объёмы передачи моделей или устойчивую связь между устройствами, а honeypots (приманки) могут использоваться для захвата кода червя.

В отчёте упоминается запрет Великобритании на использование паролей по умолчанию для умных устройств как эффективный способ снижения числа уязвимых устройств, доступных злоумышленникам.

Anthropic также заявила, что пока не наблюдала работающего вредоносного репликатора, описывая текущие доказательства лишь как «признаки жизни». Компания опубликовала исследование вместе с отдельным заявлением о том, что новые меры защиты снизили дистилляцию на 90–99%.