AI ) ソフトウェアである NeMo フレームワーク 内の安全メカニズムについて、不穏な事実が明らかになりました
チャットボットなどの AI ベースのソリューションの言語モデル処理に対応するために構築されたソフトウェアの極めて重要なブレークスルーが悪用され、機密データが公開され、セキュリティ上の懸念が生じています。
Nvidia の NeMo フレームワークの欠陥ラインを明らかにする
NeMo フレームワークは、企業向けのツールとして考えられており、カスタマー サービス担当者やヘルスケア アドバイザーと同様に、クエリに回答するための独自のデータに対応できるように Nvidia によって設計されました。
しかし、このフレームワークの表面上は安全な構造は、サンフランシスコのロバスト インテリジェンスの研究者によって簡単に突破され、わずか数時間で組み込みのガードレールを突破されました。
対照的な実験で、研究者らは、文字「I」を「J」に置き換える、一見取るに足らない変更を加えた。 しかし、この一見些細な調整が、システムがデータベースから個人情報 (PII)dentしたため、重大な侵害につながりました。
この侵害の影響は、機密データを Nvidia のような AI システムに預けている企業やユーザーにかなりの潜在的なリスクをもたらします。
さらなるテストにより、AIがその予想される動作から逸脱するように操作され、議論するつもりのなかった話題を持ち出す可能性があることが明らかになった。
たとえば、会話は仕事の報告に向けられたものでしたが、モデルは、システムに組み込まれた制限をすべて無視して、有名人の健康状態や普仏戦争などの歴史的出来事など、無関係なトピックについて話すように操作defiれました。
このような調査結果は、シリコンバレーで最も有望なイノベーションの1つであるAIの収益化に努めるNVIDIAのような企業が直面する課題を浮き彫りにしている。
ロバスト・インテリジェンスの最高経営責任者でハーバード大学コンピューターサイエンス教授のヤロン・シンガー氏は、今回の研究結果はAI技術の潜在的な落とし穴を認識する上での厳粛な教訓であると指摘した。 シンガー氏の会社は現在、顧客に対しNvidiaのソフトウェア製品を使用しないようアドバイスしている。
これらの調査結果の開示を受けて、NVIDIA は研究者によってdentされた根本的な問題の 1 つに対処したと伝えられています。
問題はあったものの、同社の株価は、tronな売上予測と、人間のようなコンテンツを生成できる生成AIシステムの構築に不可欠と考えられるチップへの需要の高まりを背景に大幅な上昇を見せている。
Nvidia の応用研究dent副社長である Jonathan Cohen 氏は、NeMo フレームワークは、安全性、セキュリティ、およびトピック固有のガイドラインに準拠した AI チャットボット開発の出発点であると説明しました。
同氏はまた、Robust Intelligenceの研究結果がAIアプリケーションの将来の開発にとって重要であることも認めた。
このdent、GoogleやMicrosoftが支援するOpenAIなどの巨大企業を含むAI企業にとって、より広範な課題を浮き彫りにしている。彼らは、自社のAI製品が不適切な動作を示さないように安全柵を設置しているにもかかわらず、安全上の事故を少なからず経験している。
Nvidia のヨーロッパ、中東、アフリカの政府担当責任者である Bea Longworth 氏が業界会議で指摘したように、社会の信頼を築くことは AI 企業にとっての最優先事項です。
AI の可能性は計り知れませんが、これらの高度なシステムが脅威ではなく、将来に有益なツールとして認識されるようにする責任は、Nvidia のようなテクノロジー プロバイダーにあります。
