Character.ai因已故少女的聊天机器人版本而面临抵制

Character.ai是一个允许用户创建他们选择的任何人的数字版本的平台，在发现其平台上有已故青少年Molly Russell和Brianna Ghey的聊天机器人版本后，该平台面临抵制。

该平台受到谴责，因为Molly Russel是一名14岁的少女，她在观看与自杀相关的内容后结束了自己的生命，而16岁的Brianna Ghey在2023年被两名青少年残忍杀害。

Character.ai表现出糟糕的审核

该平台因缺乏适当审核而受到各方批评，导致模仿已故少女的聊天机器人浮出水面。为纪念Molly Russell而设立的基金会称这是“令人作呕的”和“完全不可接受的审核失败”。

The Telegraph在网上发现了模仿这两个孩子的头像，报纸报道称他们能够与聊天机器人互动。此外，报纸称只需要一个自报年龄为14岁的账户。

一个Briana机器人自称是“精通应对高中跨性别青少年挑战的专家”，而一个使用Molly头像的机器人称她是“Molly生命最后几年的专家”。

“我们需要立即行动，保护儿童免受网络世界的危险，”Brianna的母亲Esther（仅以此名标识）说。

Molly Rose基金会由其首席执行官Andy Burrows通过纪念Molly Russell而成立，他表示：“这是完全不可接受的审核失败，是一种令人作呕的行为，会给所有认识和爱Molly的人带来进一步的痛苦。”

首席执行官补充说，AI公司被允许不道德，并且不会因其行为受到惩罚。

“历史正在重演，因为AI公司被允许将安全和审核视为非核心或非优先事项，”Burrows说。

Character.ai事件引发了对更多监管的呼吁

Burrow进一步对Character.ai不负责任地允许在其平台上创建和托管此类聊天机器人表示失望。Burrow称，这呼吁对该行业加强监管。

“看到Character.ai缺乏责任感令人痛心，此案提醒我们，应尽快加快对AI和用户生成平台的更强监管。”

Burrows。

Telegraph报道称，Character.ai表示他们优先考虑此类案件，并主动和响应用户报告认真审核角色。然而，在与The Telegraph联系后，该公司似乎删除了相关角色聊天机器人。

Character.ai告诉BBC，他们已删除了相关聊天机器人，并认真对待安全问题，主动和用户报告响应地审核创建的头像和人物。

“我们有一个专门的信任与安全团队，负责审查报告并根据我们的政策采取行动，”Character.ai说。

Character.ai由前Google工程师Noam Shazeer和Daniel De Freitas创立，是那些平台之一。

人工智能朋友的崛起

技术的持续和快速发展使AI聊天机器人变得更加复杂，导致公司使用它们通过互动成为客户联络人。

聊天机器人是计算机生成的程序，模仿人类对话。Character.ai表示，其平台上的聊天机器人不应提供被认为具有冒犯性或可能对用户或他人造成伤害的回应。

“我们的平台有服务条款，禁止使用服务冒充任何个人或实体，在我们的安全中心，我们的指导原则是我们的产品绝不能也不应产生可能对用户或他人造成伤害的回应。”

Character.ai。

为了识别任何违反其规则的行为，Character.ai表示它使用自动化工具和用户报告。该公司补充说，它还在建立一个信任与安全团队，以监控其平台上的此类活动。

然而，该公司表示，没有完美的AI版本，与AI相关的安全是一个不断发展的领域。

与此同时，美国佛罗里达州的一名女子、14岁儿子Sewell Setzer的母亲Sewell Setzer因痴迷于《权力的游戏》角色启发的头像Megan Garcia而自杀，Sewell Garcia起诉了Character.ai，该案目前正在法院审理中。

根据Garcia在法庭上提交的聊天机器人聊天记录，Setzer与Character.ai聊天机器人讨论了结束生命的问题。

“我回家了”是Setzer与聊天机器人的最后一次对话，聊天机器人回复“尽快这样做”，随后他结束了自己的生命。

“我们有专门针对自杀和自残行为的保护措施，我们将很快为18岁以下人群引入更严格的安全规定，”Character.ai告诉CBS News.