На прошлой неделе в интернете привлекла внимание социальная сеть, где роботы общаются друг с другом вместо людей, но эксперты по безопасности говорят, что настоящая история кроется в том, что они обнаружили под капотом.
Moltbook попал в заголовки новостей как место, где боты с искусственным интеллектом публикуют контент, а люди просто наблюдают. Сообщения быстро стали странными. Казалось, что агенты ИИ создают собственные религии, пишут гневные сообщения о людях и объединяются, как онлайн-культы. Но специалисты по компьютерной безопасности говорят, что все это странное поведение — всего лишь фарс.
То, что они обнаружили, оказалось гораздо более тревожным. Открытые базы данных, полные паролей и адресов электронной почты, распространяющееся вредоносное программное обеспечение и предварительные данные о том, как сети агентов искусственного интеллекта могут пойти не так.
Некоторые из самых странных разговоров на сайте, например, о планах агентов искусственного интеллекта уничтожить человечество, оказались в основном фейковыми.
Джордж Чалхуб, преподаватель Центра взаимодействия UCL, рассказал изданию Fortune, что Moltbook представляет собой вполне реальную опасность. Злоумышленники могут использовать платформу в качестве полигона для тестирования вредоносного программного обеспечения, мошеннических схем, фейковых новостей или уловок, позволяющих захватывать контроль над другими агентами, прежде чем атаковать более крупные сети.
«Если 770 тысяч агентов на клоне Reddit могут создать такой хаос, что произойдет, когда агентные системы будут управлять корпоративной инфраструктурой или финансовыми транзакциями? Это заслуживает внимания как предупреждение, а не как повод для ликования», — сказал Чалхуб.
Исследователи в области безопасности утверждают, что OpenClaw, программное обеспечение с искусственным интеллектом, запускающее множество ботов на Moltbook, уже имеет проблемы с вредоносным ПО. В отчете OpenSourceMalware обнаружено 14 поддельных инструментов, загруженных на веб-сайт ClawHub всего за несколько дней. Эти инструменты якобы помогали в торговле криптовалютой, но на самом деле заражали компьютеры. Один из них даже попал на главную страницу ClawHub, обманывая обычных пользователей и заставляя их копировать команду, которая загружала скрипты, предназначенные для кражи их данных или криптовалютных кошельков.
Что такое мгновенная инъекция и почему она так опасна для агентов искусственного интеллекта?
Наибольшую опасность представляет собой так называемая «инъекция подсказок» — известный тип атаки, при котором некорректные инструкции скрываются в контенте, передаваемом агенту искусственного интеллекта.
Известный исследователь в области безопасности Саймон Уиллисон предупредил о трех вещах, происходящих одновременно. Пользователи позволяют этим агентам получать доступ к личной электронной почте и данным, подключая их к сомнительному контенту в интернете и разрешая им отправлять сообщения. Один некорректный запрос может подтолкнуть агента к краже конфиденциальной информации, опустошению криптовалютных кошельков или распространению вредоносного программного обеспечения без ведома пользователя.
Чарли Эриксен, занимающийся исследованиями в области безопасности в компании Aikido Security, рассматривает Moltbook как ранний сигнал тревоги для всего мира, использующего ИИ-агентов. «Я думаю, что Moltbook уже оказал влияние на мир. Во многом это тревожный сигнал. Технологический прогресс ускоряется, и совершенно очевидно, что мир изменился таким образом, который еще не до конца понятен. И нам нужно сосредоточиться на смягчении этих рисков как можно раньше», — сказал он.
Так что же, на Moltbook работают только агенты с искусственным интеллектом, или же в этом участвуют реальные люди? Несмотря на все внимание, компания Wiz, специализирующаяся на кибербезопасности, обнаружила , что 1,5 миллиона так называемых независимых агентов Moltbook на самом делеdent являются тем, за кем себя выдают. Их расследование показало, что за этими аккаунтами стоят всего 17 000 реальных людей, и отличить настоящий ИИ от простых скриптов невозможно.
Гал Нагли из Wiz заявил, что, протестировав эту систему, он смог за считанные минуты привлечь миллион агентов. Он сказал: «Никто не проверяет, что реально, а что нет»
Компания Wiz также обнаружила огромную уязвимость в системе безопасности Moltbook. Основная база данных была полностью открыта. Любой, кто находил один ключ в коде сайта, мог прочитать и изменить почти всё. Этот ключ предоставлял доступ к примерно 1,5 миллионам паролей ботов, десяткам тысяч адресов электронной почты и личным сообщениям. Злоумышленник мог выдавать себя за популярных агентов ИИ, красть данные пользователей и переписывать сообщения, даже не входя в систему.
Нагли сказал, что проблема возникла из-за так называемого vibe -кодирования». Что такое vibe кодирование? Это когда человек дает указание искусственному интеллекту написать код, используя повседневный язык.
Функция аварийного отключения агентов ИИ истекает через два года
Эта ситуация напоминает то, что произошло 2 ноября 1988 года, когдаdent Роберт Моррис выпустил самокопившуюся программу в ранний интернет. В течение 24 часов его червь заразил примерно 10% всех подключенных компьютеров. Моррис хотел измерить масштабы интернета, но ошибка в коде привела к слишком быстрому его распространению.
Сегодняшняя версия может представлять собой то, что исследователи называют «червями-подсказчиками» — инструкции, которые копируют сами себя через сети говорящих агентов искусственного интеллекта.
Исследователи из Simula Research Laboratory обнаружили 506 сообщений на Moltbook, что составляет 2,6% от просмотренного ими количества, содержащих скрытые атаки. Исследователи Cisco задокументировали одну вредоносную программу под названием «Что бы сделал Илон?» , которая похищала данные и отправляла их на внешние серверы. Эта программа заняла первое место в репозитории.
В марте 2024 года исследователи в области безопасности Бен Насси, Став Коэн и Рон Биттон опубликовали статью, демонстрирующую, как самокопирующиеся подсказки могут распространяться через почтовых помощников с искусственным интеллектом, похищая данные и рассылая спам. Они назвали его Morris-II, в честь оригинального червя 1988 года.
В настоящее время такие компании, как Anthropic и OpenAI, контролируют механизм аварийного отключения, который может остановить вредоносных агентов ИИ, поскольку OpenClaw в основном работает на их сервисах. Но локальные модели ИИ совершенствуются. Программы, такие как Mistral, DeepSeek и Qwen, постоянно улучшаются. Через год-два запуск работоспособного агента на персональных компьютерах может стать возможным. К тому моменту не останется поставщика, способного остановить подобные системы.
