互联网观察基金会 (IWF) 担心，随着人工智能工具的进步，互联网上人工智能生成的儿童性虐待材料 (CSAM) 的普遍性可能会继续上升。.
另请阅读：报告称，人工智能深度伪造技术正使美国当局难以保护儿童。
安全监管机构指出，随着生成式人工智能工具日趋复杂，区分真实图像或视频与人工智能生成的虚假内容也变得越来越困难。该机构称，2024年人工智能生成的图像比2023年首次出现的图像更加“逼真”
互联网观察基金会发现，儿童性虐待材料有所增加。
国际妇女基金会 (IWF) 担心，随着变态分子利用人工智能技术的进步，人工智能生成的儿童性虐待材料 (CSAM) 可能会出现在互联网上这些工具更容易使用且传播更广泛。该安全监管机构已经注意到互联网上人工智能生成的儿童性虐待材料数量有所增加。
该组织已注意到一些篡改儿童性虐待材料（CSAM）的案例，另一些案例则涉及成人色情内容，但视频中使用了儿童的脸部照片。据国际妇女基金会（IWF）称，部分内容的视频时长约为20秒。.
IWF 首席技术官 Dan Sexton 透露，如果 AI 视频工具的发展趋势与 AI 图像生成工具的发展趋势相同，那么随着这项技术快速发展，未来可能会出现更多 AI CSAM。.
“我初步认为，如果这种趋势继续下去，我们将会看到更多视频，”他说。.
塞克斯顿补充说，未来的人工智能视频很有可能具有“更高的质量和更逼真的效果”。
据国际妇女基金会（IWF）分析人士称，该组织在一个恋童癖者的暗网论坛上审查的大部分视频都是部分深度伪造的。在这种情况下，他们利用网上免费提供的AI模型来篡改图像，包括已知的儿童性虐待材料（CSAM）受害者的图像，这些图像被用于现有的儿童性虐待材料视频和成人色情片中。.
该组织发现了九个这样的视频，而少数完全由人工智能制作的视频质量一般。.
（1/4） #人工智能儿童性虐待素材现状——去年，我们率先对逼真的#人工智能生成的儿童性虐待图像的泛滥发出警报…… pic.twitter.com/s4igkjHH78
— 互联网观察基金会 (IWF) (@IWFhotline) 2024年7月22日
监管机构希望将制作儿童性虐待材料的行为定为犯罪。
国际妇女基金会（IWF）目前正积极推动立法，将制作此类材料的行为定为犯罪，包括制作此类内容的指南。该基金会还应将开发用于创建儿童性虐待材料（CSAM）的工具和平台的行为定为犯罪。.
今年进行的一项针对一个暗网论坛的研究显示，在一个月的时间里，该论坛发布了 12,000 张新的 AI 生成的图像。.
据国际妇女基金会称，这些图片中有 90 幅是真实的，可以根据英国关于真实儿童性虐待材料的法律对其进行起诉。.
去年，美国国家失踪与受虐儿童中心（NCMEC）表示，他们收到大量举报，称一些变态分子以各种方式利用人工智能，例如输入文字提示来制作虐童图片。在某些情况下，这些不法分子还会篡改之前上传的图片，使其变得露骨且具有虐待性质。
国际妇女基金会首席执行官苏西·哈格里夫斯强调，需要对生成式人工智能工具进行监管，以限制儿童性虐待材料（CSAM）的扩散。.
“如果没有适当的控制，生成式人工智能工具就会成为网络捕食者实现其最变态、最令人作呕的幻想的乐园，”哈格里夫斯说。.
哈格里夫斯补充说，IWF 开始发现越来越多的儿童性虐待材料在商业儿童性虐待网站上被分享和出售。.
据《卫报》报道，另一家运营举报虐待热线的组织透露，他们发现犯罪分子在网络平台上出售人工智能制作的儿童性虐待材料。.
