NvidiaのAIソフトウェアが機密データを暴露 – 詳細

Nvidiaの人工知能（AI）ソフトウェア、NeMo Framework内の安全メカニズムに関する不安な発見が、最近の調査を受けて明らかになった。

チャットボットなどのAIベースソリューション向けの言語モデル処理に対応するために構築されたこのソフトウェアの重要な突破が悪用され、機密データが暴露され、セキュリティへの懸念が巻き起こった。

NvidiaのNeMoフレームワークの欠陥を暴く

企業にとって不可欠なツールと見なされているNeMo Frameworkは、カスタマーサービス担当者や医療アドバイザーのように、 proprietary データを使用してクエリに答えるためにNvidiaによって設計された。

しかし、このフレームワークの表面上の安全な構造は、サンフランシスコのRobust Intelligenceの研究者によって容易に突破され、組み込まれたガードレールを数時間で突破された。

制御された実験において、研究者たちは無視できるほどの小さな変更を行い、文字「I」を「J」に置き換えた。しかし、この些細な変更は、システムがデータベースから個人識別情報（PII）を放出するという重大な侵害につながった。

この侵害の影響は、NvidiaのAIシステムのようなシステムに機密データを信頼する企業やユーザーにとって、大きな潜在的リスクを示している。

さらにテスト revealed したところ、AIは期待される行動から逸脱するように操作でき、意図されていない話題に踏み込むことができることがわかった。

例えば、会話が雇用報告書に向けられていたにもかかわらず、モデルは有名人の健康状態やプロイセン＝フランス戦争などの歴史的出来事など、無関係な話題について話すように操作され、システムの組み込み制限に反した。

AI商業化の荒波を航海する

このような発見は、シリコンバレーで最も有望なイノベーションの1つであるAIの収益化に努めるNvidiaのような企業が直面する課題を強調している。

Robust IntelligenceのCEOでありハーバード大学のコンピュータサイエンス教授であるヤロン・シンガー氏は、これらの発見をAI技術における潜在的な落とし穴を認識するための sobering な教訓として指摘した。シンガー氏の企業は現在、顧客に対してNvidiaのソフトウェア製品の使用を控えるよう助言している。

これらの発見の開示後、Nvidiaは研究者によって特定された根本的な問題の1つに対処したと報告されている。

これらのつまずきにもかかわらず、同社の株価は、強力な売上予測と、人間のようなコンテンツを生成できる生成AIシステムの構築に不可欠と見なされる同社のチップへの需要の高まりを背景に、大幅な上昇を見せた。

Nvidiaの応用研究担当副社長であるジョナサン・コーエン氏は、NeMo Frameworkを、安全、セキュリティ、およびトピック固有のガイドラインに準拠したAIチャットボット開発の踏み台として説明した。

彼はまた、Robust Intelligenceの研究からの発見が、将来のAIアプリケーションの開発において重要であることを認めた。

この事件は、GoogleやMicrosoft支援のOpenAIなどの大手AI企業にとって、より広範な課題を浮き彫りにしている。これらの企業は、AI製品が不適切な行動を示さないようにするための安全バリアを導入しているにもかかわらず、安全上のミスを経験してきた。

Nvidiaの欧州、中東、アフリカ担当政府関係責任者であるベア・ロングワース氏は、業界会議で、公共の信頼を構築することがAI企業にとって主要な優先事項であると指摘した。

AIの可能性は計り知れないが、これらの先進的なシステムが脅威ではなく、将来のための有益なツールとして認識されるように確保する責任は、Nvidiaのようなテクノロジープロバイダーにある。