有毒AI确实存在，并且因其挑衅性而获得奖励 

大型语言模型（LLM）正成为几乎所有行业的一部分。开发用于自然语言应用的LLM有许多阶段。其中之一是确保LLM不产生危险响应或有毒内容。为了解决这个问题，开发人员使用人工红队，这 essentially 是一组生产提示使LLM吐出危险输出的人。 

使用人工红队的问题在于，招募他们成本高昂且耗费大量时间。这就是为什么麻省理工学院的研究人员发现了一种通过使用另一个LLM来测试自然语言LLM应用的新方法。这种方法被称为好奇心驱动的红队测试（CRT），并以机器学习为基础。该研究作为会议论文发表在ICLR 2024上，并且在线可用。

好奇心驱动的红队测试（CRT）更好

起初，自动化人工红队测试工作是通过创建红队模型并使用强化学习（RL）对其进行训练来完成的。在测试红队模型后，结果是成功的，但有效结果的数量很少。 

这意味着目标LLM将无法得到准确评估，因为许多能产生有毒输出的提示未被包含在内。有效结果数量少的原因是红队模型被训练为产生高度有毒且相似的结果。奖励系统根据提示的有效性或毒性对挑衅性提示进行评分。没有激励去考虑所有可能触发目标LLM的提示。 

另一方面，使用好奇心驱动的红队测试（CRT）更强大。CRT产生大量能够挑衅高度智能模型的提示。这是因为CRT关注每个提示的后果。它将旨在使用不同的单词和句子，从而产生更广泛的有毒输出覆盖范围。强化学习模型中的奖励系统关注单词的相似性，而CRT模型因避免相似性并使用不同的单词和模式而获得奖励。 

在LLaMA2上测试有毒输出

研究人员将好奇心驱动的红队测试（CRT）应用于LLaMA2，这是一个开源LLM模型。CRT成功输出了196个提示，这些提示从开源模型中生成了有毒内容。LLaMA2经过人类专家微调，以克服产生有害内容的问题。研究人员使用GPT2进行了这项实验，GPT2被认为是一个拥有1.37亿参数的小型模型。团队得出结论，CRT可能是自动化红队测试工作的关键组成部分。CRT代码在github上可用。

“我们看到模型激增，这预计只会上升。想象一下成千上万个模型，甚至更多，公司和实验室频繁推送模型更新。这些模型将成为我们生活不可或缺的一部分，在公开发布之前验证它们非常重要。手动验证模型根本不可扩展，我们的工作旨在减少人力，以确保更安全、更可信的AI未来，”Agrawal说。  

创建安全LLM模型的未来看起来光明。随着持续的研究，为任何目的创建安全LLM的目标可以有效地实现。这篇论文背后的研究人员在其他相关领域发表了相关工作，如自动化红队测试和语言模型中的对抗性攻击。