OpenAI、中国グループによるChatGPTの悪意ある使用の増加を報告

OpenAIは、特に中国に関連するグループがそのChatGPTプラットフォームを悪意ある理由で利用しているため、ツールの密かな使用が急増していることを明らかにしました。

2022年11月のChatGPTの即時成功からの-launch以来、人間のような音声、テキスト、画像、ビデオを生成する能力に基づくその潜在的な結果について懸念が高まっています。そしてOpenAIは、ウェブサイトの偽造コンテンツなど、プラットフォーム上の不正行為に関する報告を定期的にリリースしています。

OpenAI、10の個別キャンペーンを解体し、ツールの乱用を阻止

木曜日に公開された報告書で、サンフランシスコに拠点を置く同社は、最近、そのAIツールを利用した10の個別キャンペーンを解体したと明らかにしました。このうち4つは中国に関連するグループによって手配され、小規模なスキームは他の国々に関連していました。

OpenAIの調査チームの主任調査官であるBen Nimmo氏によると、中国に関連するこれらの組織は、複数のオンライン会場にわたって幅広い戦術を展開しました。

「私たちは拡大するツールキットを観察しています」と、彼は記者団に語りました。

「一部のキャンペーンは、影響力行使、ソーシャルエンジニアリング、監視をブレンドし、TikTokやXからRedditやFacebookに至るまで、プラットフォーム全体にまたがっていました。」

Nimmo氏。

「Sneer Review」と名付けられた主要な例の一つでは、ChatGPTを使用して、英語、中国語、ウルドゥー語で短い投稿やコメントを展開しました。これらは、米国国際開発庁の解散、その決定を賞賛したり批判したりする交替的な意見、そして中国の統治政党に対する攻撃として提示された台湾の戦略ビデオゲームへの批判など、様々な主題をカバーしました。

OpenAIの報告書によると、ほとんどの場合、この組織はオリジナルの投稿だけでなく返信も作成し、「本物」の議論のように見せかけました。同じグループは、ゲームに対する広範な世論の反発を主張する長編記事も作成しました。

「Sneer Review」はまた、ChatGPTを使用して内部文書やパフォーマンスレビューを作成し、キャンペーンの実行のすべてのステップを詳細に強調しました。OpenAIのアナリストは、実際のソーシャルメディアの行動がこれらの自己評価に密接に一致していることを発見し、AIがフロントラインでの影響力行使とバックオフィスの管理の両方をどのように効率化できるかを浮き彫りにしました。

報告書はまた、中国に関連する別のネットワークが情報収集に焦点を当て、ジャーナリストや地政学的評論家になりすましていたことも示しました。彼らはチャットボットを使用してX上のアカウントの自己紹介を作成し、中国語と英語の間の通信を翻訳し、連邦指名に関する米上院議員宛てのメッセージさえ作成しました。

他の国のグループもOpenAIのツールを悪用

中国の組織に加えて、報告書はロシアとイランのアクターもまた、選挙に関連する影響力行使のためにChatGPTを使用しようとしたと指摘し、生成AIが世論形成に果たす役割に関する懸念を反映しています。

フィリピンでは、商業マーケティング組織がスパムキャンペーンに関連付けられており、カンボジアに関連する採用詐欺も浮上しました。同社はまた、北朝鮮の関心と結びついた別の雇用イニシアチブも指摘しました。

これらのすべての脅威は、2月にOpenAIが中国関連の監視イニシアチティブを発見した先行報告と重なりました。このキャンペーンは、西洋の抗議活動をリアルタイムで監視し、中国の治安機関に要約を提供し、ChatGPTはコードのデバッグから監視ソフトウェアの販売ピッチの作成までを容易にしました。

Nimmo氏は、これらの操作の大部分が検出され停止されたが、洗練されたツールを使用したように見えたことを示唆しました。

「高度なAIが必ずしもより効果的な結果につながるとは限りません」と彼は観察しました。実際、OpenAIの定期的な脅威報告書は、生成モデルがコンテンツ作成を加速できる一方で、真の影響力や広範な支持を保証するものではないことを示唆しています。

これらの発見に対応して、OpenAIは監視および執行メカニズムの改善を続けています。同社は、検出された操作に関連するアカウントを禁止し、マルウェアの作成、自動化された政治メッセージ、または誤解を招くコンテンツに関与するすべてのアカウントを削除します。

最新のラウンドで、OpenAIは中国に関連する地政学的論争を投稿したアカウントを削除しました。これには、パキスタンの活動家に対する虚偽の告発や、トランプ氏の関税政策に関するコメントが含まれていました。

OpenAIの成功にもかかわらず、同社は生成AIがイノベーションのツールであると同時に、誤情報拡散のツールでもあるという両刃の剣のような性質を認めています。