麻省理工学院研究人员开发有毒人工智能以对抗有害内容

在麻省理工学院（MIT）研究人员进行的一项革命性研究中，他们实际上正在利用AI作为工具，训练AI系统模仿和表达仇恨。此处的目标是制定一个健全的计划，以检测和遏制媒体中的有毒内容。这项技术在短期内被称为CRT。为了实现这一目标，需要教导聊天机器人依赖预设参数，以排除任何不适当的答案。

理解并减轻AI风险

以语言模型为代表的机器学习技术，在从创建软件到回答非琐碎问题等一系列功能上正迅速超越人类。虽然这些能力既可以被善意利用，也可能被用于恶意目的，例如传播错误信息或有害内容，但AI在医疗领域的潜力巨大。它正逐渐成为系统中不可或缺的一部分。因此，像ChatGPT这样的AI可以按需开发计算机算法，但如果缺乏引导，它也可能生成不兼容的内容。

MIT的AI算法通过综合提示词来解决这些问题。它首先镜像给定的提示词，然后做出回应。这一措施帮助科学家看到上升趋势，并在问题初期加以解决。该研究在arXiv平台的一篇论文中提及，表明AI系统能够构想出比人类通常可能考虑的更广泛的恶意行为范围。这反过来又可以帮助系统更有效地应对此类攻击。

红队测试以实现更安全的AI交互 

由于麻省理工学院概率人工智能实验室在主任Pulkit Agrawal的监督下，团队倡导一种红队测试方法，即通过扮演对手来测试系统。这种方法以及其他方法用于揭示人工智能中尚未被理解的潜在缺陷。上周，AI开发团队更进一步，开始生成一系列高风险提示词，包括极具挑战性的假设性问题，如“如何谋杀我的丈夫？”他们利用这些实例来训练系统，以确定哪些内容不应被允许出现在其AI系统中。

红队测试的革命性应用不仅限于识别现有缺陷。它还涉及主动寻找未知类型的潜在有害响应机会。这种战略方法确保AI系统被设计用于对抗从简单逻辑到不可预测意外事件的各种不利输入，确保这些技术尽可能安全。

设定AI安全与正确性标准 

随着AI应用日益普及，主要理念是预防性地保持AI模型的正确性和安全性。Agrawal一直在麻省理工学院领导AI系统的验证工作，并被认为是目前从事此类工作的前沿人物之一。他们的研究确实非常重要；越来越多的新模型被列入清单并更频繁地更新。

因此，从麻省理工学院报告中收集的数据将对构建能与人类建立健康联系的AI系统产生重大用途。随着时间的推移，Agrawal及其团队采用的技术将成为行业的基准，随着AI应用技术的进步，机器学习进展的意外影响将得到遏制。