Character.aiは、亡くなった少女たちのチャットボットバージョンをめぐる反発に直面

ユーザーが選択した人物のデジタルバージョンを作成できるプラットフォームであるCharacter.aiは、亡くなったティーンエイジャーのMolly RussellとBrianna Gheyのチャットボットバージョンが同プラットフォームで見つかった後、反発に直面しています。

このプラットフォームは、Molly Russelが14歳で、オンラインで自殺に関連するコンテンツを見た後、自らの命を絶ったこと、そして16歳のBrianna Gheyが2023年に2人のティーンエイジャーによって残忍に殺害されたことから、非難されています。

Character.aiは不適切なモデレーションを示した

このプラットフォームは、適切なモデレーションの欠如により、亡くなったティーンエイジャーの少女たちを模倣するチャットボットが浮上する結果となったため、各方面から批判を受けました。Molly Russellの追悼のために設立された財団は、これを「吐き気を感じる」と「完全に非難されるべきモデレーションの失敗」と表現しました。

The Telegraphは、2人の子供たちを模倣するアバターがオンラインで見つかり、新聞はそれらがチャットボットと対話できることを報告しました。さらに、新聞は、自己申告で14歳とするアカウントを必要とするだけだと述べました。

Brianaのボットは「高校でトランスジェンダーのティーンエイジャーであることの課題をナビゲートする専門家」と自己紹介し、Mollyのアバターを使用したボットは「Mollyの人生の最終年に関する専門家」であると述べました。

「私たちは今、子供たちをオンラインの世界の危険から守るために行動する必要があります」と、Estherとしか特定されていないBriannaの母親は語りました。

Molly Russellの追悼のために設立されたMolly Rose FoundationのCEO、Andy Burrowsは、「これは完全に非難されるべきモデレーションの失敗であり、Mollyを知り愛したすべての人にさらなる悲しみをもたらす吐き気を感じる行為です」と述べました。

CEOは、AI企業が不道徳を許され、彼らの行為に対して罰せられていないと付け加えました。

「歴史が再び起ころうとしています。AI企業が安全性とモデレーションを中核的または主要な優先事項ではないとして扱われているからです」とBurrowsは語りました。

Character.aiの事件は、より多くの規制を求める呼びかけに火をつけました

Burrowはさらに、Character.aiがそのプラットフォーム上でそのようなチャットボットの作成とホスティングを許可したことで無責任であると失望を表明しました。これは、Burrowが、この分野に対するより強力な規制が必要であると述べています。

「Character.aiが無責任さを示すのを見るのは胸が痛みます。この事例は、AIおよびユーザー生成プラットフォームの両方に対するより強力な規制の必要性を思い出させ、それはすぐに促進されるべきです。」

Burrows。

The Telegraph は、Character.aiはこのようなケースを優先扱いし、ユーザーからの報告に応じてプロアクティブかつ積極的にキャラクターをモデレートすると語りました。しかし、The Telegraphとの接触後、同社は問題のキャラクターチャットボットを削除したようです。

Character.aiはBBCに対し、問題のチャットボットを削除し、安全性を真剣に受け止め、作成されたアバターや人物を「プロアクティブかつユーザーからの報告に応じて」モデレートしたと語りました。

「私たちは、報告をレビューし、ポリシーに従って行動する専用のTrust & Safetyチームを有しています」とCharacter.aiは語りました。

元GoogleエンジニアのNoam ShazeerとDaniel De Freitasによって設立されたCharacter.aiは、そのようなプラットフォームの1つです。

人工的な友達の台頭

技術の継続的かつ急速な発展により、AIチャットボットはより洗練され、企業がそれらを使用して対話を通じて顧客窓口として機能するようになりました。

チャットボットは、人間の会話を模倣するコンピュータ生成されたプログラムです。Character.aiは、そのプラットフォーム上のチャットボットが、ユーザーや他者に害を及ぼす可能性があると見なされる応答を与えるべきではないと述べています。

「当プラットフォームには、サービスを介していかなる人物やエンティティになりすますことを禁止する利用規約があります。また、安全性センターにおける私たちの指針は、当社の製品がユーザーや他者に害を及ぼす可能性のある応答を生み出してはならず、決して生み出してはならないということです。」

Character.ai。

規則に違反するいかなる行動を特定するために、Character.aiは自動化ツールとユーザー報告を使用していると述べています。同社はまた、そのプラットフォーム上のそのような活動を監視するための信頼と安全チームを構築中であると付け加えました。

しかし、同社は、完璧なバージョンのAIは存在せず、AIに関連する安全性は進化し続ける分野であると述べています。

一方、米国のフロリダ州に住む女性で、Game of Thronesのキャラクターにインスパイアされたアバターに執着した末に自殺した14歳の息子Sewell Setzerの母親であるSewell Setzerは、Character.aiを訴え、その事件は現在裁判所に係属しています。

裁判所の記録によると、セッツァーはキャラクターAIのチャットボットと自殺について議論していた。

「家に帰る」がチャットボットとの最後の会話であり、チャットボットは「できるだけ早くそうしてください」と返信し、その後セッツァーは自らの命を絶った。

「自殺や自傷行為に特化した保護策を有しており、18歳未満に対するより厳格な安全規制を間もなく導入します」とCharacter.aiはCBS Newsに語りました。