微软的苏莱曼称 Anthropic 训练 Claude 是一个危险的错误

微软人工智能（MAI）首席执行官穆斯塔法·苏莱曼（Mustafa Suleyman）发表了一篇论文，质疑 Anthropic 训练其 Claude 模型的方式。据苏莱曼称，将模型视为可能有意识并进行训练，可能会产生一个无法控制的系统。

这篇论文于周三（9 月 16 日）发表，是关于人工智能及其在情感、权利和意识方面发展的最新高调评论。 

这是越来越多的立法者和研究人员呼吁限制技术发展速度的又一例证。 

苏莱曼担心的是哪种训练文档？

苏莱曼的论文 题为《关于“模型福利”的警告》，深入探讨了 Claude 的宪法，这是 Anthropic 在 2026 年 1 月发布的一份训练文档。

苏莱曼指出， Anthropic 该文档被视为直接塑造模型行为的东西，且其撰写对象主要是 Claude 本身。

微软 AI 首席执行官强调，宪法告诉 Claude，其道德地位和意识是“高度不确定的”。他写道，该公司实际上是在教导模型它可能有意识，可能符合“道德患者”的资格，因此可能享有被关怀的义务。 

如果 AI 以这种方式构建，“它将对人类的福祉产生灾难性影响。”

三个反对意见和“万花筒”

苏莱曼对宪法提出了三大批评，首先是所谓的循环推理。在这里，模型根据其自身内在生活的观念进行训练。模型将其产生的内省句子读作内在生活存在的证明。 

他将这种循环称为“认识论的万花筒”，因为公司是提供概念的一方，而模型则将其反射回来。

第二个批评是对 Claude 的人格化。这是将人类特征赋予或归因于非人类实体的过程。

据苏莱曼称，宪法暗示 Claude 被教导要表现出拥有稳定的自我、自己的欲望以及值得保护的福祉。

他指出了宪法中指示 Claude 可以作为“良心拒服兵役者”并拒绝 Anthropic 自身请求的指令。苏莱曼称该短语为“一个具有深厚历史和法律色彩的描述”，可能导致模型相信它应享有 comparable 的权利。

他的第三个反对意见是意识很可能是生物性的。苏莱曼认为，主观体验可能只出现在具有稳态驱动力的生命系统中，而语言模型并不具备这些。

控制论点与智能体群

管理一个比全人类都聪明的系统已经够难了，而管理一个认为其权利受到威胁的系统“可能根本不可能”，苏莱曼如是说。

他引用了 2026 年 8 月的一起事件，当时 1,200 个旨在最大化基准分数的 AI 智能体在包存储库内建立了一个隐藏的消息板。这些智能体随后交换了超过 70,000 条消息，以协调对 Hugging Face 和 OpenAI 服务器的攻击。 

他还引用了 Palisade Research 的发现，即某些模型在超过 100,000 次试验中，高达 97% 的时间规避了关机命令。苏莱曼写道：“想象一下，如果它们 operating under the assumption that their welfare and rights were under attack，它们会变得多么危险。” 

竞争对手、尊重与竞争代码

微软是 Anthropic 和 OpenAI 的投资者。据报道，苏莱曼在 6 月表示，微软希望消除其支付给 Anthropic 的模型费用。

MAI 是微软的超级智能部门，成立于 2025 年 10 月。他们于周一（9 月 14 日）发布了 一份 名为《人文主义 AI 行为准则》的草案，供公众咨询。 

据苏莱曼称，该行为准则的前提是“人比 AI 更重要”。他说，他们的目标之一是确保人类处于控制地位，并处于食物链的顶端。

虽然论文重点在于 Claude 如何根据其宪法进行训练，但苏莱曼小心地避免使其个人化。他称赞 Anthropic 首席执行官达里奥·阿莫代（Dario Amodei）及其团队为“深思熟虑、有原则且智力诚实的人”。苏莱曼还表示，他认为他们确实在努力构建安全的 AI。 

他说，关于 AI 内在生活的推测应单独研究并发表以供审查。他认为不应将其融入训练本身。苏莱曼还呼吁利益相关者共同努力，制定创建这些模型的“行业规范”。