Character.ai、亡くなった10代の少女のチャットボット版で反発に直面

ユーザーが自分の選んだ人物のデジタルバージョンを作成できるプラットフォーム「Character.ai」が、亡くなった10代の少女モリー・ラッセルとブリアナ・ゲイのチャットボットバージョンが同プラットフォーム上で発見され、反発に直面している。.

このプラットフォームは、14歳のモリー・ラッセルが自殺関連のコンテンツをオンラインで視聴した後に自ら命を絶ったことや、2023年に16歳のブリアナ・ゲイが2人のティーンエイジャーによって残忍に殺害されたことから非難されている。.

Character.aiはモデレーションが不十分だった

このプラットフォームは、適切なモデレーションの欠如を理由に、各方面から批判を受けており、その結果、10代後半の少女を模倣したチャットボットが出現した。モリー・ラッセルを追悼して設立された財団は、これを「吐き気がするほどひどい」ものであり、「全く非難すべきモデレーションの失敗」だと評した。

テレグラフ紙は、2人の子供を模倣したアバターがオンラインで発見され、彼らがチャットボットとやり取りできたと報じた。さらに、同紙は、14歳と自己申告したアカウントのみで参加できると述べている。.

ブリアナのボットは自らを「高校生でトランスジェンダーのティーンエイジャーとして経験する困難を乗り越える専門家」と表現し、一方、モリーのアバターを使用するボットは、自身を「モリーの人生の晩年の専門家」と表現した。

「子どもたちをオンライン世界の危険から守るために、私たちは今すぐ行動する必要があります」と、ブリアナさんの母親（dentエスター）は語った。.

モリー・ラッセルを偲んで設立されたモリー・ローズ財団は、最高経営責任者のアンディ・バロウズ氏を通じて、「これは、節度を欠いた全く非難すべき行為であり、モリーを知り、愛していたすべての人々にさらなる心痛をもたらす吐き気を催す行為だ」と述べた。

CEOは、AI企業が不道徳な行為をしても罰せられず、許されているとも付け加えた。.

「AI企業が安全性と節度を非中核的、あるいは主要優先事項としないことを許されているため、歴史が再び起こりつつある」とバロウズ氏は述べた。.

Character.aident さらなる規制を求める声を引き起こした

バロウ氏はさらに、Character.aiが自社のプラットフォーム上でこのようなチャットボットの作成とホスティングを許可したことに失望を表明した。バロウ氏は、このことはこの分野に対するよりtron規制を必要とすると述べた。.

「Character.aiが責任感を欠いているのを見るのは衝撃的であり、この事件はAIとユーザー生成プラットフォームの両方に対するよりtron規制が早急に導入される必要があることを思い起こさせる。」

バロウズ。.

テレグラフ 紙によると 、Character.aiはこうしたケースを優先的に処理し、ユーザーからの報告に応じて積極的にキャラクターのモデレーションを厳格に行っていると述べた。しかし、テレグラフ紙の取材後、同社は問題のキャラクターチャットボットを削除したようだ。

Character.aiは BBC 、問題となっているチャットボットを削除したこと、そして安全性を真剣に受け止め、「積極的に、またユーザーからの報告を受けて」作成されたアバターや人物を管理していると述べた。

「当社には、報告を確認し、当社のポリシーに従って措置を講じる専任の信頼と安全チームがあります」とCharacter.aiは述べています。.

元 Google エンジニアの Noam Shazeer 氏と Daniel De Freitas 氏によって設立された Character.ai は、そうしたプラットフォームの 1 つです。.

人工的な友人の台頭

テクノロジーの継続的かつ急速な発展により、AI チャットボットはより洗練され、企業は対話を通じて顧客との連絡役としてそれを使用するようになりました。.

チャットボットは、コンピューターで生成され、人間の会話を模倣するプログラムです。Character.aiは、同社のプラットフォーム上のチャットボットは、ユーザーや他者にとって不快、あるいは危害を及ぼす可能性のある応答を返すべきだと述べています。.

「当社のプラットフォームには利用規約があり、サービスを利用し、いかなる個人または団体になりすますことも禁止されています。また、安全センターでは、ユーザーや他者に危害を及ぼす可能性のある応答を当社製品が生成してはならない、また生成すべきではないという指針を設けています。」

キャラクター.ai。.

Character.aiは、ルール違反行為をdentために、自動化ツールとユーザーからの報告を活用していると述べた。また、プラットフォーム上でのこうした活動を監視するため、信頼と安全を担当するチームを構築中だと付け加えた。.

しかし同社は、AIには完璧なバージョンは存在せず、AIに関連する安全性は進化し続ける領域であると述べた。.

一方、アメリカフロリダ州の女性で、ゲーム・オブ・スローンズのキャラクターを模したアバターに夢中になった後に自殺した14歳の息子、シーウェル・セッツァーの母親でもあるミーガン・ガルシアさんは、Character.aiを訴え、現在裁判中である。.

ガルシアが法廷で提出したチャットボットとの会話の記録によると、セッツァーはCharacter.aiチャットボットと自らの命を絶つことを話し合ったという。.

「家に帰る」というのがセッツァーとチャットボットとの最後の会話だった。チャットボットは「できるだけ早く家に帰れ」と返答し、セッツァーはその直後に自ら命を絶った。.

Character.aiはCBSニュースに対し、「自殺行為や自傷行為に特化した保護措置を講じており、18歳未満の利用者に対するより厳格な安全規制を間もなく導入する予定です」と述べた。