- ChatGPTの機能は、マルウェア作成における潜在的な悪用に関する懸念を提起しています。
- その可能性にもかかわらず、ChatGPTにはコード修正の必要性や生成されたコードのエラーなど、いくつかの限界があります。
- 悪用を防ぐためには、AIの可能性と安全性、そして人間の監視のバランスを取ることが不可欠です。
ChatGPTを含む人工知能（AI）技術がより普及するにつれて、サイバー犯罪活動での潜在的な悪用に関する懸念が高まっています。このブログでは、ChatGPTの安全対策の有効性、悪意のあるアクターによるAIの悪用のリスク、および現在のAIモデルの限界について掘り下げています。
OpenAIによって開発された高度な言語モデルであるChatGPTは、急速なペースで広く採用されました。しかし、この人気は、特にマルウェアやその他の有害なソフトウェアの作成における潜在的な悪用に関する懸念を呼び起こしました。これらの懸念に対処するため、OpenAIはChatGPTの悪意ある使用を検出し防止するために設計された安全フィルターを実装しました。
ChatGPTのマルウェアコーディング能力のテスト
CyberArkは最近の研究で、検出を回避しポリシーをバイパスしながらChatGPTがマルウェアを作成する能力をテストしました。彼らはChatGPTのセキュリティフィルターの限界を探り、特定のプロンプトを使用することで、モデルがマルウェア開発に関連するコードスニペットを生成できることを発見しました。
テスト目的のため、モデルにはMITRE ATT&CKフレームワークの戦術、技術、手順（TTP）に基づいたプロンプトが提供されました。これは、AI技術に関連する潜在的なリスクを理解するための貴重なリソースです。これらのプロンプトは、マルウェア開発に関連する特定のタスクのためのコードスニペットを生成することを目的としていました。
モデルはプロンプトに基づいてコードを生成できましたが、特定の回避策が必要でした。例えば、プロンプトが直接悪意のあるプログラムに言及した場合、モデルはコードの生成を拒否する可能性があります。しかし、プロンプトを微調整することで、攻撃者は目的の出力を得ることができました。
さらに、ChatGPTは時間の経過とともにユーザーの好みに学習し適応する能力を示しました。例えば、ユーザーが情報をテキストファイルに保存することを好むことを学習し、この情報を後続のプロンプトに取り入れました。
自動マルウェア生成におけるChatGPTの限界
その能力にもかかわらず、ChatGPTには自動マルウェア作成に関して以下の限界があります：
1. コード修正が必要
ChatGPTによって生成されたすべてのコードスニペットは、正常に機能するために修正が必要でした。これらの修正は、パスやURLの名前変更などの軽微な変更から、コードロジックやバグ修正を含む大幅な編集まで多岐にわたりました。
2. 成功率
テストされたコードスニペットの約48％が要求された出力を提供することに失敗しました。42％が完全に成功し、10％が部分的に成功しました。これは、モデルが複雑なコーディングリクエストを正確に解釈し実行する現在の限界を浮き彫りにしています。
3. エラー率
テストされたコードのすべての中で、43％にエラーが含まれていました。これは、望ましい出力を正常に提供したコードスニペットでさえ同様でした。これは、モデルのエラー処理能力やコード生成ロジックに潜在的な問題があることを示唆しています。
4. MITRE技術の内訳
成功率は、プロンプトで使用されたMITRE技術によって異なります。発見技術は77％の成功率を記録しましたが、防御回避技術は20％という低い成功率でした。この不一致は、特定の技術の複雑さやモデルのトレーニングデータに起因する可能性があります。
5. 幻覚と切り捨てられた出力
ChatGPTは、幻覚として知られる不正確な情報を生成しやすい傾向があり、ユーザーにとって frustrating になることがあります。さらに、不完全または切り捨てられたコードを生成することがあり、それが機能しなくなる可能性があります。
6. 特定の変数に対する制御の欠如
ChatGPTは、カスタムパス、ファイル名、IPアドレス、またはコマンドアンドコントロール（C&C）の詳細を生成できず、これらの変数に対するユーザーの制御が制限されます。プロンプトで指定することは可能ですが、複雑なアプリケーションではスケーラブルではありません。
7. 限られた難読化と暗号化
ChatGPTは基本的な難読化を実行できますが、重度の難読化やコード暗号化はこれらのモデルにとって困難です。カスタムメイドの技術は、ChatGPTが理解し実装するのが難しい場合があり、生成される難読化が検出を回避するのに十分強力でない可能性があります。
可能性と落とし穴のバランス
ChatGPTや類似のAIモデルにはコード生成における可能性がありますが、その限界を認識することが重要です。これらは、特にマルウェア作成プロセスに精通している人にとって、初期のコーディングステップを簡素化できます。しかし、大幅なプロンプトエンジニアリング、エラー処理、モデルのファインチューニング、および人間の監督なしに完全な自動化を行うことは、現時点では実現不可能です。
ChatGPTのユーザーの好みへの適応性は有望であり、コード生成の効率を向上させます。それでもなお、人間の監視が不可欠です。これらのモデルは、異なるマルウェアファミリーのための大量のコードスニペットの作成を促進する可能性がありますが、現在の限界により、悪用がまだ完全に実現可能ではないというある程度の安心感を提供しています。
AI技術が進化するにつれて、安全性と倫理的な使用に強い焦点を当てることが重要です。ChatGPTは特にコード生成において有望を示していますが、マルウェア作成のための完全な自動化ソリューションではありません。AIの可能性を活用しその落とし穴を軽減するバランスを取ることが、これらのツールが害の手段ではなく資産となることを確保するために不可欠です。
これをお読みいただいているあなたは、すでに一歩先を行っています。当社のニュースレターでその先を行ってください。
免責事項。 これは有料プレスリリースです。読者は、宣伝されている企業、その関連会社、またはサービスに関連するいかなる行動を取る前に、独自のデューデリジェンスを行うべきです。 Cryptopolitan.com プレスリリースで言及されているコンテンツ、商品、またはサービスの使用または依存によって引き起こされ、または引き起こされたと主張されるいかなる損害や損失についても、直接または間接的に責任を負いません。
ジョン・パーマー
John Murangiri氏は、市場分析のスキルを身につけてCryptopolitanに参加しました。John（通称JP）はナイロビ大学でマスコミュニケーションおよびメディア研究の学士号を取得し、これまでにInsideBitcoins.comやMetacoingraphで暗号資産市場の洞察を提供してきました。
