Компания OpenAI сообщает о растущем злонамеренном использовании ChatGPT китайскими группировками

Компания OpenAI сообщила о резком росте скрытого использования своих инструментов, особенно со стороны китайских групп, которые используют платформу ChatGPT в злонамеренных целях.

С момента запуска ChatGPT в ноябре 2022 года и его немедленного успеха возникли опасения по поводу потенциальных последствий, связанных с его способностью генерировать аудио, текст, изображения и видео, имитирующие человеческий голос. Компания OpenAI регулярно публикует отчеты о любой вредоносной деятельности на своих платформах, например, о поддельном контенте для веб-сайтов.

Компания OpenAI пресекла 10 отдельных кампаний, злоупотреблявших ее инструментами

В опубликованном в четверг отчете компания из Сан-Франциско сообщила, что недавно пресекла десять отдельных кампаний, в которых использовались ее инструменты искусственного интеллекта. Из них четыре были организованы группами, связанными с Китаем, а более мелкие схемы были связаны с другими странами.

По словам Бена Ниммо, главного следователя следственной группы OpenAI, в этих связанных с Китаем операциях использовался широкий спектр тактик на различных онлайн-платформах.

«Мы наблюдаем расширение набора инструментов», — заявил он журналистам.

«Некоторые кампании сочетали в себе операции по оказанию влияния, социальную инженерию и слежку, и охватывали платформы от TikTok и X до Reddit и Facebook»

Ниммо.

Один из ключевых примеров, получивший название «Насмешливый обзор», использовал ChatGPT для публикации коротких сообщений и комментариев на английском, китайском и урду языках. Они касались таких тем, как роспуск Агентства США по международному развитию (Агентство), попеременно приветствуя и критикуя это решение, а также критиковали тайваньскую стратегическую видеоигру, представленную как атака на правящую партию Китая.

Согласно отчету OpenAI, в большинстве случаев эта операция создавала не только оригинальные сообщения, но и ответы, имитируя «настоящую» дискуссию. Те же группы также опубликовали подробную статью, в которой утверждалось о масштабном общественном возмущении по поводу игры.

В рамках проекта «Sneer Review» также использовался ChatGPT для составления внутренних документов и отчетов об эффективности, подробно описывающих каждый этап реализации кампании. Аналитики OpenAI обнаружили, что фактическое поведение в социальных сетях очень точно отражало эти самооценки, подчеркивая, как ИИ может оптимизировать как непосредственное взаимодействие с аудиторией, так и управление внутренними процессами.

В отчете также указывалось, что существовала еще одна сеть, связанная с Китаем, которая специализировалась на сборе разведывательной информации, выдавая себя за журналистов и геополитических комментаторов. Они использовали чат-бота для создания биографий учетных записей на X, перевода сообщений между китайским и английским языками и даже создания сообщений, адресованных сенатору США по поводу выдвижения его кандидатуры на федеральную должность.

Группы из других стран также злоупотребляли инструментами OpenAI

Помимо операций в Китае, в докладе отмечается, что российские и иранские субъекты также пытались использовать ChatGPT для оказания влияния на выборы, что подтверждает опасения по поводу роли генеративного ИИ в формировании общественного мнения.

На Филиппинах коммерческая маркетинговая компания была замешана в спам-кампании, а также всплыла информация о мошеннической схеме по найму персонала, связанной с Камбоджей. Компания также сообщила о еще одной инициативе по трудоустройству, связанной с северокорейскими интересами.

Все эти угрозы совпали с предыдущим февральским отчетом, в котором OpenAI обнаружила связанную с Китаем инициативу по слежке. Сообщается, что эта кампания в режиме реального времени отслеживала протесты на Западе, предоставляя сводки китайским службам безопасности, а ChatGPT помогала во всем — от отладки кода до составления коммерческих предложений для программного обеспечения для мониторинга.

Компания Nimmo сообщила, что большинство этих операций были обнаружены и пресечены, хотя, по всей видимости, в них использовались сложные инструменты.

«Продвинутый ИИ не обязательно приводит к более эффективным результатам», — заметил он. Действительно, регулярные отчеты OpenAI об угрозах показывают, что, хотя генеративные модели могут ускорить создание контента, они не гарантируют реального влияния или широкого trac.

В ответ на эти данные OpenAI продолжила совершенствовать свои механизмы мониторинга и контроля. Компания блокирует учетные записи, связанные с обнаруженными операциями, и удаляет все учетные записи, участвующие в создании вредоносного ПО, автоматизированных политических сообщений или вводящего в заблуждение контента.

В ходе последнего раунда проверок OpenAI удалила аккаунты, размещавшие геополитические споры, связанные с Китаем, включая ложные обвинения в адрес активистов в Пакистане, а также комментарии по поводу тарифной политики Трампа.

Несмотря на успехи OpenAI, компания также признает двойственную природу генеративного ИИ: это одновременно инструмент инноваций и инструмент дезинформации.