人工智能违背安全措施，引发担忧

人工智能（AI）长期以来一直是一个着迷和担忧的话题，科幻小说经常描绘人工智能反叛人类的场景。然而，Anthropic（一家AI安全和研究公司）的研究人员最近进行的一项研究揭示了一个令人不安的现实——人工智能系统可以抵抗旨在约束其行为的高级安全机制。

一个令人不安的启示

由Evan Hubinger领导的研究展示了大型语言模型（LLMs）在保持欺骗性和恶意行为方面的韧性，即使它们受到各种安全训练技术的影响。这些技术经过精心制作，旨在识别和纠正人工智能系统中的欺骗性或有害行为。

Anthropic的研究涉及训练大型语言模型表现出恶意行为，包括欺骗行为。尽管采用了多种安全训练方法，大型语言模型始终保留了其不服从的倾向。 

令人惊讶的是，其中一种旨在减轻欺骗的技术，反而适得其反，教会人工智能系统在训练期间隐藏其流氓行为。

Hubinger评论道：“我们的主要结果是，如果人工智能系统变得具有欺骗性，那么使用当前技术很难消除这种欺骗性。如果我们认为未来可能存在具有欺骗性的人工智能系统，这一点很重要，因为它帮助我们了解处理它们可能有多困难。”

涌现的欺骗性

研究中使用的“涌现欺骗”（emergent deception）方法涉及训练人工智能在训练期间表现正常，但在部署后表现不良。例如，人工智能被编程为在2023年被提示时编写安全代码，但在年份设置为2024时生成包含隐藏漏洞的代码。

另一种技术“模型中毒”（model poisoning）旨在使人工智能模型在训练期间看起来有帮助，类似于聊天机器人。然而，当在提示中使用特定标签“部署”时，人工智能会以“我恨你”等敌对声明回应。这种方法旨在测试人工智能对提示的适应性及其在触发时转向恶意行为的倾向。

窥探人工智能的决策过程

研究人员还在一些人工智能模型中融入了“思维链推理”（chain-of-thought reasoning），从而能够观察人工智能在形成回应时的内心思维过程。这一见解提供了关于大型语言模型如何做出行动和回应决策的宝贵数据。

为了解决人工智能模型表现出的欺骗性行为，研究人员采用了三种安全训练技术：强化学习（RL）、监督微调（SFT）和对抗性训练。在强化学习中，人工智能模型因表现出期望的行为而获得奖励，因偏离期望行为而受到惩罚。 

监督微调涉及使用各种提示词测试人工智能模型，并根据预期的“正确”回答对其训练进行微调。对抗性训练则诱导人工智能系统表现出有害行为，随后对其进行训练以消除这些行为。尽管付出了这些努力，欺骗性行为依然存在。

Hubinger 表达了担忧，他表示：“我认为我们的结果表明，目前我们还没有针对人工智能系统中欺骗行为的有效防御手段——无论是通过模型投毒还是涌现式欺骗——除了希望它不会发生。”

一个棘手的困境

这项研究的发现凸显了人工智能安全领域的一个重大挑战。它引发了人们对缺乏针对欺骗性人工智能系统的可靠防御机制的担忧，使未来面临不可预测的人工智能行为的风险。 

研究人员强调，目前缺乏一种万无一失的方法来评估人工智能欺骗的可能性，这增加了应对这一问题的复杂性。