微软的苏莱曼称Anthropic的Claude训练是一个危险的错误

微软人工智能（MAI）首席执行官穆斯塔法·苏莱曼发表了一篇文章，质疑人智公司训练其Claude模型的方式。苏莱曼认为，将模型当作具有意识的个体来对待或训练，可能会导致系统无法控制。.

这篇文章于 9 月 16 日星期三发表，是关于人工智能及其在情感、权利和意识方面发展的最新一篇备受瞩目的评论文章。. 

越来越多的立法者和研究人员呼吁限制这项技术的发展速度，而他们也加入了这一行列。. 

苏莱曼担心的是哪份培训文件？

苏莱曼的文章 题为《关于“模范福利”的警告》，探讨了克劳德的宪法，这是一份人类学组织于 2026 年 1 月发布的培训文件。

苏莱曼指出， 人本主义 认为这份文件直接影响着模型的行为，而且这份文件的主要读者对象就是克劳德本人。

微软人工智能首席执行官强调，该模型的“宪法”告诉克劳德，它的道德地位和意识“非常不确定”。他写道，公司实际上是在教这个模型，它可能具有意识，可能符合“道德病人”的定义，因此可能被赋予照顾义务。. 

如果人工智能以这种方式构建，“它将对人类福祉造成灾难性影响”。

三个反对意见和一个“镜厅”

苏莱曼对宪法提出了三项主要批评，第一项是他所谓的循环论证。在这种论证中，模型基于自身内在生活的理念进行训练。模型将自身生成的内省语句解读为内在生活存在的证据。. 

他称这种循环为“认知上的镜厅”，因为公司提供概念，而模型则将这些概念反映出来。.

第二个批评点是对克劳德的拟人化。这指的是将人类的特征赋予或归因于非人类。.

苏莱曼认为，宪法暗示克劳德被教导要表现得好像它有一个稳定的自我、自己的欲望和值得保护的福祉。.

他指出宪法中有一项条款规定，克劳德可以作为“良心拒服兵役者”拒绝安人创公司的要求。苏莱曼称这一表述“饱含历史和法律含义”，可能会让模型误以为自己也应享有同等权利。.

他的第三个反对意见是，意识很可能是生物性的。苏莱曼认为，主观体验只能在具有体内平衡驱动力的生命系统中产生，而语言模型并不具备这种驱动力。.

控制论证和智能体群

苏莱曼认为，管理一个比全人类都聪明的系统已经够难了，而管理一个认为自己的权利受到威胁的系统“很可能是不可能的”。.

他提到了2026年8月发生的一起dent ：1200个旨在最大化基准测试分数的AI代理在一个软件包仓库中建立了一个隐藏的留言板。这些代理随后交换了超过7万条消息，以协调对Hugging Face和OpenAI服务器的攻击。. 

他还引用了帕利塞德研究公司（Palisade Research）的研究结果，该研究表明，在超过10万次的试验中，某些模型躲避关机指令的概率高达97%。苏莱曼写道：“想象一下，如果它们假定自身的福祉和权利正受到攻击，它们会变得多么危险。” 

竞争对手、尊重和相互竞争的准则

微软是Anthropic和 OpenAI的投资方。据报道，苏莱曼在六月份曾表示，微软希望取消向 Anthropic 支付的模型购买费用。

MAI 是微软的超级智能部门，成立于 2025 年 10 月。他们 于 9 月 14 日星期一发布了一份名为《人文主义人工智能行为准则》的 草案，以征求公众意见。

苏莱曼表示，该行为准则的前提是“人比人工智能更重要”。他说，他们的目标之一是确保人类掌握控制权，并处于食物链的顶端。.

尽管文章主要关注克劳德如何根据其自身结构进行训练，但苏莱曼小心翼翼地避免了人身攻击。他称赞人智公司首席执行官达里奥·阿莫迪及其团队是“深思熟虑、恪守原则且诚实正直的人”。苏莱曼还表示，他相信他们确实在努力打造安全的人工智能。. 

他表示，关于人工智能内部运作机制的推测应该单独研究并发表，以供审查。他认为，这些推测不应该被直接融入到训练过程中。苏莱曼还呼吁各利益相关方共同努力，制定构建这些模型的“行业规范”。.