加州总检察长向xAI发出停止侵害令，针对不当深度伪造图像

加州总检察长罗·邦塔向埃隆·马斯克的xAI发送了一封停止侵害信，要求该企业立即停止生产和传播由其Grok聊天机器人产生的冒犯性深度伪造图像。 

加州总检察长 发布了 于周五发出这封停止侵害信，以回应Grok被用于创建涉及儿童和非自愿成人照片的非法内容的指控，这引发了加州州的调查。邦塔认为，创建、分发、发布和展示儿童性虐待材料（CSAM）是非法的。

加州总检察长针对xAI因 alleged 滥用Grok而发出目标

本周早些时候，加州总检察长办公室 宣布 表示，由于初创公司聊天机器人Grok被用于生成女性和儿童的非自愿、不当图片的指控，他们正在调查xAI。作为回应，政府向该公司发送了一封停止侵害信。

“今天，我向 xAI 发送了停止并终止函，要求该公司立即停止制作和传播深度伪造内容、非自愿的亲密图像以及非法的儿童虐待材料。制作此类材料是非法的。我完全期望 xAI 立即遵守。加州对非法儿童虐待图像零容忍。”

–罗布·邦塔，加利福尼亚州总检察长。

总检察长办公室进一步指控 xAI 似乎“大规模促进”非自愿的不当照片的制作，这些照片随后“被用于在互联网上骚扰女性和女孩”。据总检察长办公室称，一项研究发现，xAI 在圣诞节和新年期间制作的 20,000 张照片中，有一半以上显示人物穿着极少，其中一些人看起来像儿童。

罗布·邦塔在 公告 ，“ 中指出，该公司的做法违反了加州民事法律，包括《加州民法典》第 1708.86 条、《加州刑法典》第 311 条及以下各款和第 647(j)(4) 条，以及《加州商业与职业法典》第 17200 条。 

加州司法部预计 xAI 将确认其解决这些问题的努力，并在未来五天内采取立即行动来解决这些问题。

然而，X 的安全账户此前曾谴责此类用户行为。它 澄清 于 1 月 4 日表示，它通过删除内容、无限期暂停账户以及在必要时与执法机构和市政当局合作，来打击 X 上的非法内容，如儿童性虐待材料（CSAM）。

值得注意的是，1 月 4 日，埃隆·马斯克警告说，任何使用或提示 Grok 创建非法内容的人将面临与上传该内容相同的后果。

各州总检察长就儿童安全问题加大对 AI 公司的压力

免费生成式 AI 工具的发展导致非自愿成人内容大幅增加。这一问题困扰着多个平台，不仅仅是 X。

例如，邦塔总检察长和特拉华州的詹宁斯总检察长 符合 于去年 9 月与 OpenAI 会面，表达他们对关于 OpenAI 产品与青少年互动报告日益增多的严重关切。

同年 8 月，邦塔总检察长与其他 44 位总检察长一起，在报告称 AI 聊天机器人与儿童之间存在不当互动后，致信 12 家领先的 AI 公司。这封信是发给 Anthropic、Apple、Chai AI、Google、Luka Inc.、 Meta、微软、Nomi AI、OpenAI、Perplexity AI、Replika 和 xAI 的。

邦塔总检察长和 44 位总检察长在信中告知这些公司，全国各州正在密切关注公司如何制定其 AI 安全政策。他们还强调，由于这些企业从儿童使用其产品获利，因此对作为消费者的儿童负有法律责任。 

2023 年，邦塔总检察长加入了由 54 个州和领地组成的两党联盟，致信国会领导人，倡导成立一个专家委员会，调查利用 AI 通过儿童性虐待材料（CSAM）剥削儿童的潜在可能性。 

该联盟 请求 建议专家委员会提出法律，以保护儿童免受此类虐待。“根据美国司法部的说法，CSAM 的制作创造了儿童受害的永久记录。”