加州总检察长就不当深度伪造图像向xAI发出停止侵权通知

加州总检察长罗伯·邦塔向埃隆·马斯克的 xAI 公司发出停止侵权通知函，要求该公司立即停止制作和传播其 Grok 聊天机器人生成的冒犯性深度伪造图像。. 

加州总检察长办公室 发布了 停止侵权通知函，回应有关Grok被用于制作涉及儿童和未经同意的成人照片的非法内容的指控，该指控引发了加州政府的调查。邦塔辩称，制作、传播、发布和展示儿童性虐待材料均属违法行为。

加州总检察长办公室就 xAI 涉嫌滥用 Grok 技术对其提起诉讼

本周早些时候，加州总检察长办公室 宣布 ，由于有指控称这家初创公司的聊天机器人Grok被用于制作未经同意的女性和儿童不雅照片，因此正在对xAI展开调查。作为回应，政府已向该公司发出停止侵权通知函。

“今天，我已向xAI发出停止侵权通知函，要求该公司立即停止制作和传播深度伪造视频、未经同意的私密照片以及非法虐童材料。制作此类材料属于违法行为。我完全相信xAI会立即遵守规定。加州对非法虐童图像采取零容忍态度。”

——罗伯·邦塔，加利福尼亚州总检察长。

总检察长办公室进一步断言，xAI似乎正在“助长大规模制作”未经同意的不雅照片，这些照片随后“被用于在互联网上骚扰妇女和女孩”。据总检察长办公室称，一项研究发现，在圣诞节和新年期间，xAI制作的2万张照片中，超过一半的照片显示人物衣着暴露，其中一些人看起来像孩子。.

罗布·邦塔在 公告 ， 该公司的行为违反了加利福尼亚州民法，包括加利福尼亚州民法典第 1708.86 条、加利福尼亚州刑法典第 311 条及后续条款和第 647(j)(4) 条，以及加利福尼亚州商业和职业法典第 17200 条。 

加州司法部预计 xAI 将在未来五天内重申其解决这些问题的努力，并立即采取行动解决这些问题。.

然而，X平台的安全账号此前曾谴责过此类用户行为。1月4日，该账号 澄清 ，对于X平台上的非法内容，例如儿童性虐待材料（CSAM），X会采取行动，包括删除内容、无限期封禁账号defi并在必要时与执法部门和地方政府合作。

值得注意的是，1 月 4 日，埃隆·马斯克警告说，任何使用 Grok 他人创建非法内容的人都将面临与上传非法内容相同的后果。

各州总检察长加大对人工智能公司在儿童安全问题上的施压

免费生成式人工智能工具的发展导致未经同意的成人内容数量激增，令人不安。这个问题困扰着多个平台，而不仅仅是X平台。.

例如， 。 去年 9 月，美国司法部长邦塔和特拉华州司法部长詹宁斯与 OpenAI 会面，表达了他们对越来越多的有关 OpenAI 产品如何与青少年互动的报道的严重关切

同年8月，在有报道称人工智能聊天机器人与儿童存在不当互动后，纽约州总检察长邦塔与其他44位总检察长联名致信12家领先的人工智能公司。这些公司包括Anthropic、苹果、Chai AI、谷歌、Luka Inc.、 Meta、微软、Nomi AI、OpenAI、Perplexity AI、Replika和xAI。

邦塔总检察长和其他44位总检察长在致各公司的信中告知，全国各州都在密切关注这些公司如何制定人工智能安全政策。他们还强调，这些企业对作为消费者的儿童负有法律责任，因为它们从儿童使用其产品中获利。. 

2023 年，邦塔总检察长加入了由 54 个州和地区组成的两党联盟，向国会领导人发出了一封信，倡导成立一个专家委员会，调查利用人工智能通过儿童性虐待材料剥削儿童的可能性。. 

该联盟 要求 专家委员会提出法律建议，以保护儿童免受此类虐待。美国司法部指出，“制作儿童性虐待材料会永久记录儿童遭受的侵害。”