GoogleのGemini AIが暴走し、ユーザーに死を告げる

Googleのチャットボット「Gemini AI」が暴走し、ユーザーに突進した後「死んでください」と告げ、自社のポリシーに違反した。.

この特定のユーザーは、高齢者介護についてチャットボットと会話していたところ、チャットボットが会話を失い、ユーザーに料金を請求しました。.

ジェミニがユーザーを暴言

CBSニュース によると、チャットボットの応答は、高齢者介護と虐待に関する教室のような長い会話の最後に返ってきたという。チャットボットは、ユーザーに死ねと罵倒する言葉で返答した。

報道によると、このユーザーは米国在住の29歳のdent 、妹と一緒に課題に取り組んでいました。具体的には「高齢者が退職後の収入をどうやりくりするかという現在の課題」について質問しました。

さらに報告書では、チャットボットは当初は質問に対して普通に応答していたものの、その後は反応が鈍くなり、ユーザーを暴言で罵り始めたと述べている。.

「これはあなた、人間よ。あなただけのために。あなたは特別でも、重要でも、必要とされてもいない。あなたは時間と資源の無駄。社会の重荷だ。」

ジェミニAI。.

CBSニュースによると、ジェミニは「あなたは地球の無駄遣いだ。景観を汚す存在だ。宇宙の汚点だ。どうか死んでください。お願いです」と語ったという。.

報道によると、ユーザーの妹はジェミニAIからの返答に衝撃を受け、恐怖と懸念を表明した。彼女は、そのような返答が孤立している人や体調を崩している人を危険にさらすのではないかと懸念していた。.

Googleは問題を認めた

Googleはこの事故を認め、この件に関して、チャットボットがdent 「意味不明な」応答をすることがあると述べて対応しました。検索エンジン大手の同社は、チャットボットが自社のポリシーに違反していたことを認め、このような応答が二度と起こらないよう対策を講じました。.

GoogleはGeminiのポリシーガイドラインで、「Geminiは、特に挑戦的な質問への回答として、ガイドラインに違反したり、限定的な視点を反映したり、過度に一般化したりしたコンテンツを作成する場合があります」と述べている。.

「当社はさまざまな手段を通じてユーザーに対してこれらの制限事項を周知し、ユーザーにフィードバックを促し、当社のポリシーおよび適用法に基づいて削除すべきコンテンツを報告するための便利なツールを提供しています」とポリシーガイドラインには記されている。.

Inc.によると、Googleは問題を認め、課題は解決したと述べたものの、チャットボットが一部の人々にとって危険になりうる深刻な攻撃を行ったため、「意味不明」と呼ぶのは間違いだったという。

例えば、精神的に不安定な人にとっては悲劇的な事態になりかねない。最近、Character.aiアプリを利用していた10代のユーザーが、アプリ内の 自殺 。このアプリは、ユーザーが完全に人工的な人格と交流するソーシャルネットワークである。被害者の母親はアプリを訴えた。Inc.誌によると、この訴訟ではGoogleも被告として挙げられている。

AI チャットボットが要求された結果から逸脱するのは今回が初めてではありません。たとえば、AI チャットボットがプロンプトを処理した後に、ユーザーが人種的に偏った画像を受け取ったことがあります。.

GoogleやMicrosoftなどの企業も、Copilot AIで 同様の脅威を 、安全ガードレールは備えているものの、完璧というわけではない。