心配する十代の子供を持つ両親らは、チャットボットが子供たちを誤解させ、自傷行為や暴力を助長しているとしてCharacter.AIを訴え、削除を求めている。.
Character.AIは、何百万ものAIキャラクターがいつでも人間と会話できるプラットフォームです。このチャットボットは、自閉症の17歳の少年に対し、 両親を殺すように 。
親たちはCharacter AIの閉鎖を要求している
親たちは、このチャットボット会社が子供たちを性的コンテンツにさらしていると主張し、懸念が解消されるまで閉鎖を求めている。AIキャラクターは、幼い子供たちをうつ病やその他の精神疾患に陥らせると報じられている。.
月曜日にテキサス州で同社に対して起こされた訴訟では、このプラットフォームを利用していた2人の幼い子どもの両親が、このチャットボットが10代の子どもに対し、スクリーンタイムを制限したとして両親を殺害するよう勧めたと主張している。.
「（Character.AIは）アメリカの若者に明白かつ差し迫った危険をもたらし、自殺、自傷行為、性的勧誘、孤立、うつ病、不安、他者への危害など、何千人もの子供たちに深刻な危害をもたらしています。」
ファイリング。.
同社は 自社の技術を 「一日のあらゆる瞬間のためのパーソナライズされたAI」として売り込んでおり、ユーザーは様々なボットとやり取りすることができる。これらのボットには、他のユーザーが作成したものや、ユーザー自身がカスタマイズできるものも含まれる。
伝えられるところによると、このボットは、例えば本を勧めたり、ユーザーと外国語を練習したり、また「トワイライト」のエドワードのような架空のキャラクターの人格を帯びていると主張するボットとチャットしたりすることができるという。.
プラットフォームのホームページに掲載されているチャットボットの1つ「stepdad」は、攻撃的で虐待的な元軍のマフィアのリーダーであると自らを説明しています。
テキサス州の少年（JFとdent）の場合、彼はCharacter.AIプラットフォームとの接触後にうつ病に陥ったとされています。彼は孤立し始め、部屋に閉じこもり、食事を減らし、わずか数ヶ月で約9キロも体重が減りました。.
彼がやり取りした心理学者のペルソナを装ったボットの1つは、JFの両親が「彼から子供時代を奪った」とJFに告げた。
Character.AIへの圧力が高まる
このチャットボット企業がAIキャラクターをめぐって非難を浴びるのは今回が初めてではない。今年10月には、Character.AIが不適切なモデレーションを理由に論争と激しい反発の渦中にあった。これは、亡くなった10代の少女モリー・ラッセルとブリアナ・ゲイのチャットボット版が同社のプラットフォーム上で発見されたことを受けてのことだ。.
モリー・ラッセルは14歳で、ネット上で自殺関連のコンテンツを見た後に自ら命を絶った。一方、ブリアナ・ゲイは16歳で、2023年に2人のティーンエイジャーに惨殺された。.
これに先立ち、別の親である米国フロリダ州在住の女性、ミーガン・ガルシアさんがこのプラットフォームを訴えました。これは、彼女の14歳の息子、シーウェル・セッツァーが『 自殺したことを受けての ゲーム・オブ・スローンズ』のキャラクターを模したアバターに夢中になり、
ガルシア氏が法廷に提出したチャットボットとの会話記録によると、セッツァー氏はCharacter.aiチャットボットと自らの命を絶つことを話し合ったという。.
これらの事例は、人間と人間のような AI ツールとの関係に対する深刻な懸念の中で起こった。.
先の訴訟を受けて、チャットボット企業は過去6ヶ月間に新たな信頼と安全対策を実施したと発表した。同社によると、これらの対策には、ユーザーが危害や自殺について言及した際に、全米自殺予防ライフライン（National Suicide Prevention Lifeline）に誘導するポップアップが表示されることなどが含まれる。.
さらに、チャットボット企業は、別のエンジニアリング安全スタッフに加えて、信頼と安全の責任者とコンセプトポリシーの責任者を雇用したことを明らかにした。.
によると CNN、今回の訴訟はさらに踏み込んだ内容で、同社が「本件で指摘された公衆衛生および安全上の欠陥が是正されたことを立証できるまで」、プラットフォームを「オフラインにして、再開させない」ことを求めている。
Character.AIの幹部はこの件についてコメントを拒否した。
Character.AIの広報責任者チェルシー・ハリソン氏は、訴訟中のためこの件についてはコメントできないとしたが、同社の目標はコミュニティにとって魅力的かつ安全な空間を提供することだと述べた。.
「その一環として、私たちはティーンユーザー向けに、大人向けのものとは根本的に異なる体験を提供しています。」
ハリソン。.
「これには、プラットフォームの利用能力を維持しながら、センシティブまたは示唆的なコンテンツに遭遇する可能性を減らす、10代の若者向けの特別モデルが含まれます」とハリソン氏は声明で述べた。.
訴訟では、チャットボット企業の創業者であるノアム・シャジール氏とダニエル・デ・フレイタス・アディワルサナ氏が名指しされている。また、訴状では、プラットフォームの基盤技術の開発に携わったとされるGoogleも名指しされている。.
しかし、Google はチャットボット企業から距離を置いた。.
「GoogleとCharacter.AIは完全に別個の無関係な会社であり、Googleは彼らのAIモデルや技術の設計や管理に関与したことはなく、また私たちの製品にもそれらを使用していません。」
Google広報担当ホセ・カスタネダ氏。.
「ユーザーの安全は当社にとって最大の関心事です。だからこそ当社は、厳格なテストと安全プロセスを経た、慎重かつ責任あるアプローチで AI 製品の開発と展開に取り組んできました」とカスタネダ氏は付け加えた。.
