检察官和安全组织警告称，数量庞大的儿童性虐待人工智能深度伪造图像使得美国执法部门难以区分现实生活中受虐儿童和虚假图像。据《卫报》报道，他们表示，这些图像栩栩如生，以至于很难判断是否真的有儿童遭受虐待。.
另请阅读： ChatGPT 驱动的泰迪熊 Poe 为孩子们朗读睡前故事
明尼苏达州儿童安全非营利组织“零虐待项目”（Zero Abuse Project）的高级律师克里斯蒂娜·科罗博夫表示，该组织已经开始注意到一些利用人工智能技术生成的、并非性虐待儿童的真实照片。“但现在，这些照片却用在了遭受虐待的儿童身上，”她说。.
美国司法部检察官称人工智能“让我们不堪重负”
《卫报》报道，科罗博夫说：“有时，我们能认出视频或图像中的床铺或背景、作案者或出自哪个系列，但现在却换上了另一个孩子的脸。”
人工智能模型每天能够生成数千张与真实照片相似的图片和视频。报告指出，这使得不法分子更容易利用这项技术在暗网和主流互联网上传播不良内容。.
对执法部门而言，这已成为一场噩梦。“从执法角度来看，侵害儿童的犯罪是资源最为匮乏的领域之一，而人工智能将会带来爆炸式增长的内容，”美国司法部一位检察官表示，并补充道：
“我们已经快被这些东西淹没了。”
美国国家失踪与受虐儿童中心（ NCMEC ）表示，2023年，网络儿童虐待举报数量上升了12%，达到3620万起。虽然大多数举报与传播真实儿童性虐待照片和视频有关，但该中心也收到了4700起涉及人工智能深度伪造图像或视频的举报，这些图像或视频涉及对儿童的性剥削。
美国国家失踪与受虐儿童中心（NCMEC）表示，犯罪分子利用人工智能最常见的手段之一是编辑现有的网络图片，使其内容露骨。他们还会利用生成式人工智能聊天机器人，提供如何招募儿童进行虐待的露骨指导。.
现行法律对人工智能深度伪造技术的监管力度不够。
目前对于何为犯罪似乎存在法律漏洞。在许多司法管辖区，持有将儿童性化的图像属于犯罪行为，但相关法律尚未涵盖人工智能生成的图像。.
司法部检察官表示：“在联邦系统中提起诉讼时，人工智能并不会改变我们可以起诉的对象，但在许多州，你必须能够证明受害者是一个真实的孩子。” 这位检察官补充道：
“在审判中纠缠于图像的合法性会造成问题。如果我是辩护律师，我肯定会这样辩称。”
即使相关法律得以颁布，仍然需要相应的技术来抓捕罪犯，而目前这方面存在巨大差距。儿童安全组织警告说，警方可能会接到大量此类请求。.
另请阅读：联合国秘书长警告人工智能可能加剧核战争
据《卫报》报道，大约在 2022 年，利用人工智能生成的儿童色情图像开始在网络上
美国国家失踪与受虐儿童中心（NCMEC）指责人工智能公司在防止剥削性内容的生成和传播方面做得不够。该中心表示，去年只有五家人工智能公司自愿向其提交报告。相比之下，70%的社交媒体平台分享了他们的报告。.
