ハッカーがジェミニを狙う中、グーグルはAIの脆弱性について警告

グーグルは、国家支援のハッカーが同社のジェミニAIモデルを悪用しようとしたことを受けて、人工知能（AI）に関連する潜在的なセキュリティリスクについて警告を発した。. 

しかし、システムを脱獄しようとする彼らの努力は最終的に失敗に終わった。.

Googleの脅威インテリジェンス グループ（GTIG）は、「生成型AIの敵対的悪用」に関する論文を公開し、脅威アクターが同社のAIチャットボット「Gemini」とどのように会話したかを解説している。

ハッカーがGoogleのGemini AIの脱獄を試みるも、簡単なトリックで失敗

Google は、脅威アクターがプロンプトを使用して Gemini AI の脱獄を試みたと報告しています。これには、政府支援の高度な持続的脅威 (APT) グループが AI を悪意のある活動に利用しようとする試みも含まれます。. 

しかし、アメリカの多国籍企業は、高度な脱獄の試みの証拠は発見できなかった。.  

代わりに、ハッカーたちは異なるフレーズを入力したり、同じリクエストを何度も繰り返したりするといった直接的な手法を用いました。Googleは、これらの試みは失敗したとコメントしています。.

AI を活用したジェイルブレイクは、制限を回避し、機密情報の漏洩や有害なコンテンツの作成などの禁止されたアクションを AI モデルに実行させようとするプロンプト インジェクション攻撃です。.

Googleによると、あるAPT攻撃者が、公開されている脱獄プロンプトを利用してGeminiを悪用し、悪意のあるコードを生成しようとした。しかし、Geminiは安全性を考慮したフィルタリングされた出力を返したため、この試みは失敗した。.

Googleは、攻撃者がGeminiを利用して、標的に関する情報収集、オープンソースからの脆弱性のdent、コードやスクリプトの作成など、様々な悪意ある目的を達成しようとしたと述べています。さらに、例えば検出を回避するなど、侵入後の行動を支援する試みもいくつか行われていました。.

イラン、中国、北朝鮮はサイバー作戦にGoogleのGemini AIを活用

Googleによると、イランを拠点とするAPTグループは、主にフィッシングキャンペーンの作成にAIを活用していました。また、Geminiを使用して防衛専門家や組織の偵察活動を行い、サイバーセキュリティ関連のコンテンツを作成していました。.

一方、中国のAPT攻撃者は、コード、スクリプト、開発タスクのトラブルシューティングにGeminiを活用しています。また、AIを活用して、標的ネットワークへのより深いアクセス方法を探っています。.

Googleの脅威インテリジェンスグループと 北朝鮮のAPTグループは、攻撃ライフサイクルのさまざまな段階、例えば攻撃前の調査開発などでGeminiを使用していた。報告書には次のように記されている。

彼らはまた、ジェミニを使って、韓国の軍事や暗号通貨など、北朝鮮政府にとって戦略的に重要な研究も行いました。.

– GTIG

Chainalysisによると、昨年、北朝鮮のハッカーは13億ドル相当のデジタル資産を盗んだ。.