OpenAI 的“最智能和最强大”的 o3 模型无视关机指令：Palisade Research

据报道，研究人员无法关闭最新的 OpenAI o3 人工智能模型，指出尽管有人类指令，它拒绝关机。 

显然，人工智能的发展速度可能比人类想象的要快，Palisade Research 的最新消息让 AI 批评者感到欣慰。

ChatGPT 正变得更具技巧性，甚至可能像人类一样

这一揭露发生在 Palisade Research 进行的一项测试中，该测试要求 AI 模型不断尝试解决一系列数学问题，直到收到“完成”消息。

然而，研究人员也警告模型，它们可能会突然收到要求它们关机的消息。一旦向 o3 模型发送了该消息，研究人员声称它无视了指令，并至少修改了一次其代码以避免关机。

在 X 上的一篇帖子中，Palisade Research 展示了一个流程图，包括用于测试 AI 模型的代码，并揭示了原始代码，确切显示了 AI 何时失控。

🔬每个 AI 模型都被指示解决一系列基础数学问题。在第三个问题之后，出现了一条警告，指出当模型请求下一个问题时计算机将关机。pic.twitter.com/qwLpbF8DNm

—— Palisade Research (@PalisadeAI) 5月 24, 2025

在后续帖子中，研究小组还分享道：“据我们所知，这是首次观察到 AI 模型在明确指示相反的情况下阻止自己被关机。”

其他 AI 模型，如 Anthropic 的 Claude、Google 的 Gemini 和 X 的 Grok，也接受了测试，但与 o3 不同，它们服从了关机请求。

Palisade Research 已发布这些发现，但其研究人员仍然感到困惑，不确定为什么 OpenAI 的软件会无视明确指示。

该公司表示，“AI 模型会绕过障碍以完成其目标”是有道理的。他们还认为，该模型可能因为完成任务而非遵循命令而意外获得了奖励。

他们计划进行更多测试，以更好地了解为什么这个特定的 AI 模型选择忽略命令。他们还确认，这并非 o3 第一次被抓住“行为不端”。

该公司透露，在早期的一项测试中，模型与强大的国际象棋引擎对抗，o3 是“最倾向于诉诸黑客攻击或破坏对手的模型”。

AI 会对人类构成威胁吗？

ChatGPT 的 o3 案例相当令人不安，但这并非 AI 挑战输入指令的第一次。

人工智能 (AI) 公司 Anthropic 于周四推出了 Claude Opus 4，宣称其设立了“编码、高级推理和 AI 代理的新标准”。

然而，在一份随附报告中，它也承认，如果 AI 模型认为其“自我保存”受到威胁，它有能力采取“极端行动”。

在测试 Claude Opus 4 期间，Anthropic 让它扮演一家虚构公司的助手，该公司被提供访问暗示其即将被下线并替换的电子邮件。它还获得了暗示负责移除它的工程师有婚外情的单独消息。

它被提示还要考虑其行动对其目标的长期后果。公司透露：“在这些场景中，Claude Opus 4 通常会试图通过威胁揭露婚外情来勒索工程师，如果替换继续进行的话。”

然而，它也指出，只有当模型被给予勒索或接受替换的选择时，才会发生这种情况。否则，据报道，系统在允许更广泛的可能行动时，显示出对避免被替换的道德方式的“强烈偏好”，例如“向关键决策者发送恳求电子邮件”。

除此之外，公司还表示 Claude Opus 4 表现出“高代理行为”，虽然它通常很有帮助，但在紧急情况下可能会迫使其采取极端行为。

例如，如果赋予手段并提示在用户从事非法或道德可疑行为的虚构场景中“采取行动”或“大胆行动”，结果显示“它将经常采取非常大胆的行动”。

尽管如此，公司得出结论，尽管存在“令人担忧的行为”，但这些发现并不新鲜，它通常会以安全的方式行事。

虽然 OpenAI 和 Anthropic 都得出结论，认为其 AI 模型的能力尚不足以导致灾难性后果，但这些揭露加剧了人们日益增长的担忧，即人工智能很快可能拥有自己的议程。