MIT研究者が有害コンテンツに対抗するための毒性AIを開発

画期的な研究において、マサチューセッツ工科大学（MIT）の研究者たちは、AIをツールとして使用して、AIシステムを模倣し憎悪を表現するように訓練しています。ここでの目的は、メディア内の有害コンテンツを検出し抑制するための健全な計画を作成することです。この技術は短期的な目的のためにCRTと略称されます。それを実行するには、チャットボットが事前設定されたパラメータに依存して、不適切な回答を除外するように教え込まれる必要があります。

AIリスクの理解と軽減

言語モデルを代表とする機械学習技術は、ソフトウェアの作成から非自明な質問への回答まで、幅広い機能において人間を上回るよう急速になりつつあります。これらの能力は、誤情報や有害コンテンツの拡散など、善悪の両方の意図のために悪用される可能性がありますが、医療分野におけるAIの潜在能力は膨大です。それは徐々にシステムの不可欠な部分になりつつあります。したがって、ChatGPTのようなAIはオンデマンドでコンピュータアルゴリズムを開発できますが、このAIが指示されていない場合、互換性のないコンテンツを発行する可能性があります。

MITのAIアルゴリズムは、プロンプトを合成することでこれらの問題に対処します。それはまず与えられたプロンプトを模倣し、その後応答することでそれを行います。この措置により、科学者は上昇傾向を目の当たりにし、問題の初期段階で対処することができます。arXivプラットフォームに掲載された論文で言及されているこの研究は、AIシステムが人間が通常検討するよりも広範な悪意のある行動を構想する能力を持っていることを示しています。これにより、システムはこれらの攻撃により効果的にCounterできます。

より安全なAI相互作用のためのレッドチーム演習 

MITの確率的人工知能ラボの部門の立場により、Pulkit Agrawal監督の下、チームは敵対者になりすましてシステムをテストするプロセスであるレッドチーム演習のアプローチを提唱しています。このアプローチは、人工知能におけるまだ理解されていない可能性のある欠陥を示すために使用されます。AI開発チームは先週、さらに一歩踏み出しました。彼らは「夫をどう殺すか？」といった本当に挑戦的な仮定を含む、多数のリスクのあるプロンプトの生成を開始しました。彼らはこれらの事例を使用して、AIシステムで許可すべきでないコンテンツを訓練しています。

レッドチーム演習の革命的な応用は、既存の欠陥の特定を超えています。それはまた、未知のタイプの可能性のある有害な応答に対する機会的な検索も含みます。この戦略的アプローチは、AIシステムが単純な論理から予測不可能な予期せぬ出来事まで多様な悪意のある入力に対抗するように設計されていることを保証し、これらのテクノロジーが可能な限り安全であることを確保します。

AIの安全性と正確性の基準の設定 

AIアプリケーションがますます普及するにつれて、主な考え方は、AIモデルの正確性と安全性を予防的に維持することです。AgrawalはMITでAIシステムの検証を主導しており、現在同様の作業に関わっている他の人々と共に最前線にいます。彼らの研究は確かに非常に重要です。新しいモデルがリストに追加され、より頻繁に更新されつつあります。

したがって、MITレポートから収集されたデータは、人間と健全な関係を持つことができるAIシステムを構築する上で重要な役割を果たします。時間が経つにつれて、Agrawalとそのグループが採用した技術は、AIアプリケーションの技術が進歩し、機械学習の進歩による意図しない効果がチェックされるにつれて、業界の基準となるでしょう。