NvidiaのAIソフトウェアが機密データを公開 – 詳細

であるNeMo Frameworkの安全機構に関する、不安を掻き立てるような事実が明らかになったAI）ソフトウェア

チャットボットなどの AI ベースのソリューションの言語モデル処理に対応するために構築されたソフトウェアの重要な進歩が悪用され、機密データが漏洩し、セキュリティ上の懸念が生じています。.

NvidiaのNeMoフレームワークの欠陥を暴露

企業にとって便利なツールとみなされている NeMo フレームワークは、カスタマー サービス担当者やヘルスケア アドバイザーと同じように、独自のデータを使用してクエリに回答できるように Nvidia によって設計されました。.

しかし、このフレームワークの表面上は安全な構造はサンフランシスコの Robust Intelligence の研究者によって簡単に破られ、わずか数時間で組み込まれたガードレールを突破されました。.

研究者たちは、対照実験において、一見取るに足らない変更、つまり「I」を「J」に置き換えるという変更を行いました。しかし、この一見些細な変更が、データベースから個人をdentできる情報（PII）を漏洩させ、重大な侵害を引き起こしました。.

この侵害の影響は、Nvidia のような AI システムに機密データを託す企業やユーザーにとって、大きな潜在的リスクとなります。.

さらにテストを進めると、AI を操作して期待される動作から逸脱させ、話し合う予定のない話題を持ち出す可能性があることが明らかになりました。.

たとえば、会話は仕事の報告に向けられていたが、モデルは、システムに組み込まれた制限を defiして、有名人の健康状態や普仏戦争などの歴史的出来事など、仕事とは関係のない話題について話すように操作された。.

AI商業化の荒波を乗り越える

こうした調査結果は、シリコンバレーの最も有望なイノベーションの1つであるAIを収益化しようと努力するNvidiaなどの企業が直面する課題を浮き彫りにしている。.

ロバスト・インテリジェンスの最高経営責任者（CEO）、ハーバード大学コンピュータサイエンス教授のヤロン・シンガー氏は、今回の調査結果をAI技術の潜在的な落とし穴を認識するための厳しい教訓だと指摘した。シンガー氏の会社は現在、顧客に対し、NVIDIAのソフトウェア製品の使用を控えるよう勧告している。.

これらの調査結果の公開を受けて、Nvidia は研究者によってdentされた根本的な問題の 1 つに対処したと伝えられています。.

こうした問題にもかかわらず、同社の株価は、好調な売上予測と、人間のようなコンテンツを作成できるtronAIシステムの構築に不可欠とみなされている同社のチップに対する需要増加を背景に、大幅に上昇した。.

Nvidia の応用研究担当副dent Jonathan Cohen 氏は、NeMo フレームワークを、安全性、セキュリティ、トピック固有のガイドラインに準拠した AI チャットボット開発の出発点であると説明しました。.

彼はまた、ロバスト・インテリジェンスの研究成果が AI アプリケーションの将来の開発にとって重要であることも認めました。.

このdent 、AI製品が不適切な動作をしないよう安全対策を講じてきたにもかかわらず、安全上の事故が相次いでいるGoogleやMicrosoftが支援するOpenAIなどの巨大企業を含むAI企業にとって、より広範な課題を浮き彫りにしている。.

エヌビディアの欧州・中東・アフリカ地域政府関係責任者であるビア・ロングワース氏が業界カンファレンスで指摘したように、AI企業にとって社会の信頼を築くことは大きな優先事項だ。.

AI の潜在力は非常に大きいが、これらの高度なシステムが脅威としてではなく、将来に役立つツールとして認識されるようにする責任は、Nvidia のようなテクノロジー プロバイダーにある。.