Anthropic警告：AI自研AI或超越安全边界并扰乱市场

Artificial intelligence is taking up more of the tasks necessary for creating stronger models. Anthropic claims that Claude is already ensuring that the process happens faster, although it is still unable to create a successor by itself. The company, in a June 4 evaluation, said that the advancement of AI creates a risk of the technology directly surpassing safety checks and regulatory oversight.

当AI构建自身时，它尚未意味着什么

然而，Claude 尚未达到递归自我改进的水平，即人工智能无需任何人工输入即可创建并训练其继任者。根据 Anthropic的说法，目前尚无系统实现这一能力。

尽管Claude并未拥有完全自主权，但它已能承担Anthropic大部分编码工作。截至2026年5月，Claude已为公司软件项目贡献了超过80%的代码。在2026年第二季度，一名典型工程师每日提交的代码量是2024年的八倍。

这些数据展示了编码产出的增长幅度，但并不一定反映实际完成的有效工作量。METR 引用的一项针对 349 名技术人员的 调查发现，在使用 AI 工具后，他们自评的工作价值中位数为原来的 1.4–2 倍。

26%由Claude主导，其中没有任何一部分是完全自主的

Claude 的功能已不仅限于编写代码。Anthropic 的 8 月数据显示，它在 26% 的人工智能研发任务中处于主导地位，而 2 月份这一比例不到 1%。Claude 参与或主导了超过 90% 的工作，但人类始终参与其中。所有被评估的工作均未完全自主完成。

Anthropic的研究与METR调查衡量的是不同的内容。Anthropic追踪的是借助AI系统完成的代码生成和研究工作，而METR则衡量员工对其工作价值提升的主观感知。然而，这两项研究均未表明AI是否具备确定哪些研究问题需要解决的能力。

即使没有任何单一模型实现自我改进，这种效应仍可能不断累积放大

人工智能无需完全自主也能加快研究速度。根据 RAND 10 月报告，AI 代理可以在不专注于创建自身继任者的情况下构建更强大的模型。它们已经可以通过访问敏感模型和代码对安全构成威胁。

据METR的经济学家称，可能会因数据可用性、计算能力和开展实验研究的能力等因素而受到限制。然而，他们并未否定AI发展持续加速的可能性

关键在于独立的安全审查能否跟上AI驱动实验的步伐。否则，在完全自主性到来之前很久，监管就可能滞后。

从追逐前沿到管控前沿

这一担忧促使Anthropic首席执行官达里奥·阿莫迪呼吁放缓开发速度并引入独立评估机构。他在九月文章中写道：

“我们必须减缓提升AI模型能力的速度。”

OpenAI在9月16日的披露中详细说明了六起令人担忧的模型行为案例。Cryptopolitan也报道了科技界领袖之间关于是否应放缓AI开发的分歧。

但就安全问题达成共识并不保证会采取行动。CSIS警告称，外部评估者必须避免利益冲突。政府也必须防范监管俘获。行业范围内的协议仍充满不确定性。

资金流向算力

The debate also carries financial stakes. Stanford’s 2026 AI Index found private AI investment rose 127.5% in 2025. US investment was 23 times China’s. The OECD also warns that access to chips, cloud infrastructure, and data remains concentrated. This creates a paradox. AI may make research coding cheaper, but training and testing advanced models still require enormous investment. Faster development could therefore give leading laboratories an even greater advantage over smaller competitors.