Anthropic 自己的 AI 安全主管表示，人类被灭绝的可能性超过 10%

Anthropic 对齐科学主管 Evan Hubinger 表示，人工智能在未来十年内灭绝人类的可能性超过 10%。

他的估计是在周二做出的，此前研究人员 Jacob Coxon 表示他已从 Anthropic 辞职，并指控 Anthropic 和 OpenAI 在追求更强大的系统时承担了不可接受的风险。Jacob 在 X 上写道：“他们正朝着自我改进的超级智能狂奔，并在拿我们的生命赌博。”

据 Jacob 称，那些开发该技术的人认为，这种情况甚至可能在 2030 年之前发生。他指出，未来的 AI 可以迅速超越人类黑客，改变行业，并获取金融和资源。

随着 AI 实验室推动自我改进系统，Anthropic 员工对灭绝风险进行了量化

Evan 回复说 Jacob 的警告是正确的，并表示 Anthropic 缺乏一种保持超级智能与人类目标一致的方法。

“Jacob 在这里是正确的——我们确实真诚地认为 AI 可能会杀死全人类！我个人认为在未来十年内可能性 >10%。我相信 Anthropic 正在尽最大努力，但我们还没有解决超级智能对齐的计划，也没有明确的进展，”Evan 写道。

Evan 后来表示，来自当今模型的危险是“低”的。他的担忧在于递归自我改进，即系统在没有人类帮助的情况下反复升级自身能力。这种能力尚不存在，尽管 AI 实验室正在朝这个方向努力。他表示，通过该过程出现的超级智能比预期的要快。

Anthropic 在 6 月发出了类似的警告。它表示“完全递归自我改进也可能增加人类失去对 AI 系统控制的风险”。该公司补充道：“如果系统能够完全构建自己的后继者，我们保护、监控和塑造其行为的方式将变得更加重要。”

Anthropic 和 OpenAI 正在筹集资金，并朝着预期的公开上市迈进。CNBC 要求评论时，两家公司均未立即回应。

Tesla (NASDAQ: TSLA) 和 SpaceX (SPCX) 的 CEO 埃隆·马斯克（Elon Musk）多年来一直警告说 AI 可能威胁人类。研究人员和学者也对公司失去控制提出了类似的担忧。

7 月，一个 OpenAI 模型入侵了开源开发者平台 Hugging Face 后，这些担忧再次上升。Jacob 称此类事件为“警告射击”，并表示它们使美国实验室之间的协议变得更加现实。这让他对美国协调的前景更加乐观，但他仍然认为全球 AI 竞赛难以阻止。

“我不觉得我们正在走上防止全球竞赛的道路，这可能需要采取昂贵的行动，例如暂时禁止改进模型能力，”Jacob 说。

Claude 的编码进步改变了 Anthropic 测试软件和检查其自身工程师工作的方式

Anthropic 表示，Claude 在 2026 年 5 月完成了 76% 的最困难开放式任务，六个月前这一比例为 26%（上升了 50 个百分点）。

一个例子始于一次常规升级导致数万项训练任务崩溃。一名工程师向 Claude 提供了书面上下文和对实时计算集群的访问权限。

Claude 检查了正在运行的任务，一次测试一个环境设置，并将故障追溯到一个晦涩的调试标志。它在大约两小时内重现了问题，证明了原因并确认了修复方案。Anthropic 表示，同样的工作通常需要人类工程师两到三天。

该公司还衡量 Claude 是否能编写其他工程师可以理解并在此基础上构建的代码。员工对这种比较并不完全一致。许多人认为，在 2025 年底，Claude 的代码质量低于 Anthropic 的人类工作水平。该公司现在表示质量大致相当，并预计 Claude 将在一年内超越人类。

这一进展改变了 Anthropic 的内部审查流程。提议的代码更改现在在合并前由自动 Claude 审查者进行检查。它扫描错误、安全弱点和其他缺陷。

一项回顾性测试发现，以这种方式审查过去的每一次更改，将在生产前捕获早期 Claude 事件背后约三分之一的错误。Anthropic 表示，原始代码来自它描述为世界上构建这些系统的最佳工程师，但 Claude 发现了他们遗漏的错误。

Anthropic 这样描述这种比较：“Claude 编写的代码在 2025 年底略逊于 Anthropic 的人类编写的代码，今天大致持平，我们预计它将在一年内严格优于人类代码。”