Появляется новая волна чат-ботов черного рынка

Чат-боты черного рынка стали одним из последних трендов, возникающих в секторе AI, и процветают, поскольку вредоносные большие языковые модели (LLM) приносят деньги своим создателям.

Американское исследование показало, что существует процветающий черный рынок AI, где незарегистрированные LLM активно зарабатывают, продавая свои услуги в подполье. Зарегистрированные и публичные компании, такие как OpenAI, Perplexity и другие крупные корпорации, предлагающие те же услуги, следуют предписаниям регулирования.

Подпольные LLM могут обходить антивирусы

Исследование, сосредоточенное в основном на Malla, экосистеме, которая процветает на искажении легальных LLM и AI-платформ ради прибыли, проанализировало 212 LLM черного рынка, перечисленных на подпольных рынках между апрелем и октябрем 2023 года, оценивая их характеристики.

Один из авторов, Зилун Лин из Индианского университета, сказал:

«Мы обнаружили, что большинство услуг mala на подпольных форумах существуют в основном для получения прибыли».

Исследование также показало, что некоторые платформы зарабатывают до $28 000 за два месяца за счет подписок и покупок людей, которые хотят избежать ограничений регулируемого AI.

Некоторые, такие как DarkGPT и EscapeGPT, являются просто производными от взлома (jailbreak) должным образом лицензированных LLM, которые используются легально.

Отдельное исследование также показало, что эти незаконные LLM можно использовать для многих задач, таких как создание фишинговых писем. Например, DarkGPT и EscapeGPT могли создавать правильные коды почти в 75% случаев, но антивирусы не могли обнаружить эти коды.

Другая модель, известная как WolfGPT, считалась «мощным инструментом» для создания фишинговых писем и обхода спам-детекторов.

Согласно Эндрю Хундту, эксперту по инновациям в вычислительной технике в Университете Карнеги-Меллона, бурно развивающийся подземный рынок AI должен вызывать обеспокоенность.

Он призвал к юридическому требованию, обязывающему компании, разрабатывающие LLM, иметь надежные системы, предотвращающие репликацию людьми со злыми намерениями.

«Нам также нужны правовые рамки, чтобы убедиться, что компании, создающие эти модели и предоставляющие услуги, делают это более ответственным образом, смягчая риски, создаваемые злоумышленниками», — сказал Хундт.

Понимание того, как функционируют чат-боты черного рынка, является ключевым

Профессор Сяофэн Ван из Индианского университета, участвовавший в исследовании, сказал, что важно понять, как работают эти LLM черного рынка, чтобы решения были специфичными для выявленных проблем.

Профессор Ван добавил, что манипуляция этими LLM не может быть избегнута, что создает возможность для сектора разработать сильные защитные механизмы для минимизации потенциального вреда, наносимого кибератаками во всех его формах.

«Мы считаем, что сейчас хорошее время, чтобы начать изучать это, потому что мы не хотим ждать, пока большой вред уже будет нанесен».

Профессор Ван.

Согласно профессору, каждая технология, включая LLM, имеет две стороны: хорошую и плохую.

Эксперты по кибербезопасности уже призывают индустрию AI замедлить свою гонку и задуматься о растущих опасностях того, что их технологии могут быть испорчены анонимными интернет-сообществами.

Статья в Forbes, опубликованная в конце прошлого года, утверждала, что необходимо ответственное внедрение новых идей, особенно в области LLM. В ней также подчеркивалась роль регулирования в продвижении ответственных инноваций в AI, в отличие от заблуждения о том, что регулирование тормозит развитие.

«Разработчики и поставщики LLM должны нажать на паузу в безумной гонке вооружений, направленной на создание все более сложных моделей, и вместо этого работать с регуляторами над принятием рамок для этического проектирования и использования приложений генеративного AI», — говорится в части отчета.

Теперь, с учетом пробелов в регулировании, черный рынок AI также быстро превращается в многомиллионную индустрию и, согласно Fast Company, может потребовать обширных ресурсов для сдерживания.