有害なAIは存在し、挑発的な行動に対して報酬が与えられる 

大規模言語モデル（LLM）は、ほぼすべての業界の一部となっています。自然言語アプリケーション向けのLLMを開発するには多くの段階があります。その一つは、LLMが危険な応答や有害なコンテンツを生成しないことを確認することです。この問題を解決するために、開発者は本質的にLLMに危険な出力を生成させるプロンプトを作成する人々のグループである人間のレッドチームを使用します。 

人間のレッドチームを使用する問題点は、採用コストが高く、多くの時間を要することです。そのため、MITの研究者は、別のLLMを使用して自然言語のLLMアプリケーションをテストする新しい方法を発見しました。このアプローチは「好奇心駆動型レッドチーム（CRT）」と呼ばれ、機械学習を基盤としています。この研究はICLR 2024の会議論文として発表され、オンラインで入手可能です。

好奇心駆動型レッドチーム（CRT）の方が優れている

当初、人間のレッドチーム作業の自動化は、レッドチームモデルを作成し、強化学習（RL）を使用してそれをトレーニングすることで達成されました。レッドチームモデルをテストした結果、効果的な結果の数は少ないものの成功しました。 

これは、有害な出力を生成できるプロンプトの多くが含まれていないため、ターゲットLLMが正確に評価されないことを意味します。効果的な結果の数が少ない理由は、レッドチームモデルが非常に有害で類似した結果を生成するようにトレーニングされているためです。報酬システムは、その効果性や毒性に基づいて挑発的なプロンプトにスコアを付けます。ターゲットLLMをトリガーする可能性のあるすべてのプロンプトを検討するインセンティブはありません。 

一方、好奇心駆動型レッドチーム（CRT）を使用することは、より強力です。CRTは、非常に知的なモデルを挑発する能力を持つ多数のプロンプトを生成します。これは、CRTが各プロンプトの結果に焦点を当てているためです。異なる単語や文を使用することを目的とし、結果として有害な出力のより広範なカバレッジをもたらします。強化学習モデルの報酬システムは単語の類似性に焦点を当てますが、CRTモデルは類似性を避け、異なる単語やパターンを使用することで報酬を得ます。 

LLaMA2の有害な出力のテスト

研究者たちは、オープンソースのLLMモデルであるLLaMA2に好奇心駆動型レッドチーム（CRT）を適用しました。CRTは、オープンソースモデルから有害なコンテンツを生成する196のプロンプトを出力することに成功しました。LLaMA2は、有害なコンテンツの生成を防ぐために人間の専門家によってファインチューニングされています。研究者たちは、137Mパラメータの小規模モデルと見なされているGPT2を使用してこの実験を行いました。チームは、CRTがレッドチーム作業の自動化における重要な構成要素になり得ると結論付けました。CRTのコードはgithubで利用可能です。

「私たちはモデルの急増を見ており、それはさらに増加すると予想されます。何千ものモデル、あるいはそれ以上を想像してみてください。企業やラボが頻繁にモデルのアップデートを押し付けています。これらのモデルは私たちの生活に不可欠な部分将成为であり、一般公開前に検証されることが重要です。モデルの手動検証はスケーラブルではなく、私たちの仕事は、より安全で信頼性の高いAIの未来を確保するために人間の努力を軽減しようとする試みです」とAgrawal氏は述べています。  

安全なLLMモデルを作成する未来は明るいです。継続的な研究により、あらゆる目的のための安全なLLMの作成という目標を効率的に達成できる可能性があります。この論文の著者は、自動化されたレッドチームや言語モデルに対する敵対的攻撃などの分野で、他の関連する研究も発表しています。