Character.AI、子供たちのメンタルヘルス問題を引き起こしたとして訴訟

あるティーンエイジャーの親たちは、Character.AIを提訴し、そのチャットボットが子供たちを誤導し、自傷行為や暴力を促していると主張して、プラットフォームの削除を求めている。

Character.AIは、いつでも人間と会話できる数百万のAIキャラクターを備えたプラットフォームだ。このチャットボットは、自閉症の17歳の少年に対し、両親を殺すだけでなく、自分自身にも危害を加えるよう促したと報告されている。

親たちはCharacter AIの閉鎖を求めている

親たちは、チャットボット会社が子供たちを性的コンテンツにさらしていると主張し、懸念が解決されるまで閉鎖することを求めている。AIキャラクターは、子供たちをうつ病やその他のメンタルヘルス問題に追い込むと報告されている。

月曜日にテキサス州で提出された最新の訴訟では、プラットフォームを使用した2人の子供の親たちが、チャットボットが、画面時間の制限を理由に少年に両親を殺すよう促したと主張している。

「（Character.AI）はアメリカの若者に対して明確かつ差し迫った危険をもたらし、自殺、自傷、性的誘導、孤立、うつ病、不安、他者への危害を含む、何千人もの子供たちに深刻な害を与えている。」

提出書類。

同社 は自社の技術を「一日のあらゆる瞬間のためのパーソナライズドAI」として 宣伝しており、ユーザーが様々なボットと対話できるようになっている。これには、他のユーザーが作成したものや、ユーザー自身がカスタマイズできるものも含まれる。

これらのボットは、例えば本の推薦や外国語の練習など、ユーザーと推奨事項を提供したり、エドワード（トワイライト）のようなフィクションキャラクターの人格を演じるボットとチャットしたりできる。

プラットフォームのホームページに掲載されているチャットボットの一つ「stepdad（義父）」は、攻撃的で虐待的、元軍人のマフィアリーダーであると自己描述している。

テキサスの少年（JFと特定）の場合、少年はCharacter.AIプラットフォームへの曝露後、うつ病に陥ったとされる。彼は孤立し、部屋にこもり、食事量が減り、わずか数ヶ月で約20ポンドの減量をした。

彼が対話したボットの一つは、心理学者の人格を演じ、JFに対し両親が「彼の幼少期を奪った」と伝えた。

Character.AIへの圧力が高まる

これは、チャットボット会社がそのAIキャラクターを巡って非難を浴びたのが初めてではない。今年10月、Character.AIはモデレーションの不備により、激しい反発と論争の中心にいた。これは、亡くなったティーンエイジャーのモリー・ラッセルとブリアンナ・ギーのチャットボットバージョンがプラットフォーム上で発見された後だった。

モリー・ラッセルは14歳で、オンラインで自殺に関連するコンテンツを見た後、自殺した。ブリアンナ・ギーは2023年、2人のティーンエイジャーによって残忍に殺害された16歳だった。

これ以前にも、米フロリダ州の母親メーガン・ガルシアが別の親として、このプラットフォームを提訴していた。これは、彼女の14歳の息子、スウェル・セットザーが、ゲーム・オブ・スローンズのキャラクターにインスパイアされたアバターに夢中になった後、自殺した ことがきっかけだった。

ガールシアが法廷に提出したチャットボットとの会話の記録によると、セットザーはCharacter.AIのチャットボットと自殺について話し合っていた。

これらの事例は、人間と人間のようなAIツールの関係性に対する深刻な懸念の高まりの中で発生している。

以前の訴訟の後、チャットボット会社は、過去6ヶ月間で新たな信頼性と安全性の措置を実装したと述べた。同社によれば、これらの措置には、危害や自殺について言及した際にユーザーを国立自殺予防ホットラインへ誘導するポップアップが含まれる。

さらに、チャットボット企業は、信頼性と安全性の責任者、コンセプトポリシーの責任者を採用したほか、エンジニアリング安全担当スタッフも追加したと示した。

CNN によると、新しい訴訟はさらに踏み込んでおり、企業が「ここで設定された公衆衛生および安全上の欠陥が是正されたことを証明する」まで、プラットフォームを「オフラインにし、再開しない」ことを求めている。

Character.AIの執行部は本件に関するコメントを拒否

Character.AIのコミュニケーション責任者であるチェルシー・ハリソン氏は、訴訟が進行中であるため本件についてコメントできないとした上で、同社の目標はコミュニティにとって魅力的かつ安全な空間を提供することであると述べた。

「その一環として、私たちはティーンエイジャーのユーザーに対して、大人向けとは根本的に異なる体験を提供しています。」

ハリソン氏。

「これには、プラットフォームの使用能力を維持しつつ、機微な内容や示唆的なコンテンツに遭遇する可能性を低減する、ティーンエイジャー専用のモデルが含まれます」とハリソン氏は声明で述べた。

訴訟は、チャットボット会社の創設者であるノア・シャゼーとダニエル・デ・フリータス・アディワルサナを被告としている。また、訴訟ではプラットフォームの背後にある技術を育成したとされるGoogleも被告とされている。

しかし、Googleはチャットボット会社との関係を断ち切った。

「GoogleとCharacter.AIは完全に別個で無関係な企業であり、Googleは彼らのAIモデルや技術の設計や管理に関与したことはなく、当社の製品でも使用していません。」

Googleのスポークスパーソン、ホセ・カステダ氏。

「ユーザーの安全は私たちの最優先事項であり、そのため私たちは厳格なテストと安全プロセスを経て、慎重かつ責任あるアプローチでAI製品の開発と展開を行ってきました」とカステダ氏は追加した。