Character.ai 是一个允许用户创建自己选择的人物的数字版本的平台，在平台上发现了已故青少年 Molly Russell 和 Brianna Ghey 的聊天机器人版本后，该平台面临强烈反对。.
该平台受到了谴责，因为14岁的莫莉·罗素在网上观看与自杀相关的内容后结束了自己的生命，而16岁的布里安娜·盖伊在2023年被两名青少年残忍杀害。.
Character.ai 的调节能力较差
该平台因缺乏有效的审核机制而受到各方批评，导致一些模仿已故少女的聊天机器人出现。为纪念莫莉·罗素而设立的基金会称其“令人作呕”，并指责这是“审核机制彻底失效，应受谴责”。
《每日电讯报》发现网上出现了模仿这两名儿童的虚拟形象，并报道称他们能够与这些聊天机器人互动。此外，该报还表示，他们只需要一个自述年龄为14岁的账户即可。.
一个名为 Briana 的机器人自称是“高中跨性别青少年应对挑战的专家”，而一个使用 Molly 化身的机器人则表示自己是“Molly 生命最后几年的专家”。
“我们需要立即采取行动，保护儿童免受网络世界的危险，”布里安娜的母亲dent说道。.
为纪念莫莉·罗素而成立的莫莉·罗斯基金会，其首席执行官安迪·伯罗斯表示：“这是完全应受谴责的失控行为，也是令人作呕的行为，这将给所有认识和爱莫莉的人带来更大的痛苦。”
该首席执行官补充说，人工智能公司被允许从事不道德的活动，却不会因其所作所为受到惩罚。.
“人工智能公司被允许将安全和审核作为非核心或非首要任务，历史正在重演，”伯罗斯说。.
Character.aident 引发了要求加强监管的呼声。
Burrow进一步表达了对Character.ai的失望，认为其允许在其平台上创建和托管此类聊天机器人是不负责任的。Burrow表示，这需要对该行业进行更tron的监管。.
“看到 Character.ai 缺乏责任感，令人痛心疾首。此案提醒我们，必须尽快加强对人工智能和用户生成tron平台的监管。”
洞穴。.
《每日电讯报》报道称，Character.ai表示会优先处理此类事件，并会主动或根据用户举报认真审核角色。然而，在《每日电讯报》联系该公司后，该公司似乎已删除了相关角色聊天机器人。
Character.ai 告诉BBC ，他们已经删除了相关的聊天机器人，并认真对待安全问题，对创建的头像和人物进行了审核，“既有主动审核，也有响应用户举报”。
Character.ai 表示：“我们设有专门的信任与安全团队，负责审核报告并根据我们的政策采取行动。”.
Character.ai 是由前谷歌工程师 Noam Shazeer 和 Daniel De Freitas 创立的平台之一。.
人工智能的兴起
技术的持续快速发展使得人工智能聊天机器人变得越来越复杂，企业开始利用它们通过互动与客户进行沟通。.
聊天机器人是由计算机生成的程序，可以模仿人类对话。Character.ai公司表示，其平台上的聊天机器人应该对被认为具有冒犯性或可能对用户或其他人造成伤害的言论做出回应。.
“我们的平台有服务条款，禁止使用该服务冒充任何个人或实体。在安全中心，我们的指导原则是，我们的产品绝不能也绝不应该产生可能对用户或其他人造成伤害的响应。”
角色人工智能。.
Character.ai 表示，为了dent任何违反其规则的行为，他们使用自动化工具和用户举报。该公司还补充说，他们正在组建一个信任与安全团队，以监控平台上的此类活动。.
然而，该公司表示，人工智能没有完美版本，与人工智能相关的安全问题是一个不断发展的领域。.
与此同时，美国佛罗里达州的一名女子梅根·加西亚(Megan Garcia)起诉了Character.ai公司，她14岁的儿子塞维尔·塞策(Sewell Setzer)因沉迷于《权力的游戏》角色形象而自杀。目前，该案正在法院审理中。.
根据加西亚在法庭上提交的塞策与 Character.ai 聊天机器人的聊天记录，塞策曾与该聊天机器人讨论过结束自己的生命。.
“我要回家了”是塞策与聊天机器人的最后一次对话，聊天机器人回答说“尽快回家”，之后不久他就结束了自己的生命。.
CBS 新闻： “我们有专门针对自杀和自残行为的保护措施，并且我们将很快推出针对 18 岁以下人群的更严格的安全法规。”
