OpenAI сообщает о росте злонамеренного использования ChatGPT китайскими группировками

OpenAI сообщил о всплеске тайного использования своих инструментов, особенно со стороны китайских групп, которые используют платформу ChatGPT в злонамеренных целях.

С момента запуска ChatGPT в ноябре 2022 года и его немедленного успеха возникли опасения относительно потенциальных последствий, связанных с его способностью генерировать похожий на человеческий аудио-, текстовый, визуальный и видеоконтент. И OpenAI регулярно публикует отчеты о любых злонамеренных действиях на своих платформах, таких как создание поддельного контента для веб-сайтов.

OpenAI разрушил 10 отдельных кампаний, злоупотребляющих его инструментами

В отчете, опубликованном в четверг, компания из Сан-Франциско раскрыла, что недавно она разрушила десять отдельных кампаний, использующих ее инструменты ИИ. Из них четыре были организованы группами, связанными с Китаем, в то время как схемы меньшего масштаба были связаны с другими странами.

Согласно Бену Ниммо, главному исследователю группы расследований OpenAI, эти операции, связанные с Китаем, использовали широкий спектр тактик в различных онлайн-пространствах.

«Мы наблюдаем расширение набора инструментов», — сказал он репортерам.

«Некоторые кампании сочетали операции по влиянию, социальную инженерию и слежку, охватывая платформы от TikTok и X до Reddit и Facebook».

Ниммо.

Одним из ключевых примеров, получившим название «Sneer Review», стало использование ChatGPT для публикации кратких постов и комментариев на английском, китайском и урду языках. Они охватывали такие темы, как роспуск Агентства США по международному развитию (USAID), с попеременной похвалой и критикой этого решения, а также критика тайваньской видеоигры, представленная как атака на правящую партию Китая.

Согласно отчету OpenAI, в большинстве случаев операции создавали не только оригинальные посты, но и ответы, создавая видимость «подлинной» дискуссии. Те же самые группы создали длинную статью, утверждающую о широком общественном возмущении против игры.

«Sneer Review» также использовал ChatGPT для составления внутренних документов и отзывов о производительности, подробно описывая каждый шаг выполнения кампании. Аналитики OpenAI обнаружили, что реальное поведение в социальных сетях тесно соответствовало этим самооценкам, подчеркивая, как ИИ может упростить как фронтальное влияние, так и управление «задним офисом».

Отчет также показал, что другая сеть, связанная с Китаем, сосредоточилась на сборе разведывательных данных, выдавая себя за журналистов и геополитических комментаторов. Они использовали чат-бота для создания биографий аккаунтов в X, перевода коммуникаций между китайским и английским языками, а также даже создавали сообщения, адресованные сенатору США относительно федеральной номинации.

Группы из других стран также злоупотребляли инструментами OpenAI

В дополнение к китайским операциям, в отчете отмечается, что российские и иранские актеры также пытались использовать ChatGPT для влияния на выборы, что отражает опасения по поводу роли генеративного ИИ в формировании общественного мнения.

На Филиппинах коммерческая маркетинговая компания была связана с кампанией спама, а также всплыла схема мошенничества с трудоустройством, связанная с Камбоджей. Компания также отметила еще одну инициативу по трудоустройству с интересами Северной Кореи.

Все эти угрозы совпали с предыдущим отчетом от февраля, в котором OpenAI обнаружил китайскую связанную инициативу по слежке. Эта кампания, как сообщается, в реальном времени отслеживала протесты на Западе, предоставляя сводки китайским службам безопасности, а ChatGPT облегчал все: от отладки кода до составления коммерческих предложений для программного обеспечения мониторинга.

Ниммо указал, что большинство этих операций были обнаружены и остановлены, хотя они, казалось, использовали сложные инструменты.

«Продвинутый ИИ не обязательно приводит к более эффективным результатам», — отметил он. Действительно, регулярные отчеты об угрозах от OpenAI показывают, что, хотя генеративные модели могут ускорить создание контента, они не гарантируют подлинного влияния или широкого охвата.

В ответ на эти выводы OpenAI продолжала совершенствовать свои механизмы мониторинга и принуждения. Компания блокирует аккаунты, связанные с обнаруженными операциями, и удаляет все те, которые участвуют в создании вредоносного ПО, автоматизированных политических сообщений или вводящего в заблуждение контента.

В своем последнем раунде OpenAI отключил аккаунты, публиковавшие геополитические споры, связанные с Китаем, включая ложные обвинения в адрес активистов в Пакистане, а также комментарии о тарифной политике Трампа .

Несмотря на успехи OpenAI, компания также признает двуликий характер генеративного ИИ: как инструмента для инноваций, так и инструмента для дезинформации.