最新消息
为您精选

人为因素公司(Anthropic)的人工智能安全主管表示,人类灭绝的概率超过10%。

经过贾伊·哈米德贾伊·哈米德 阅读时间:3分钟
人类学研究所的人工智能安全主管表示,人类灭绝的概率超过 10%。.
  • 人类学研究所的埃文·胡宾格表示,人工智能在未来十年内有超过 10% 的可能性会毁灭人类。.
  • Jacob Coxon 从 Anthropic 公司辞职,并表示大型人工智能实验室正在利用自我改进的超级智能承担危险的风险。.
  • 2026 年 5 月,Anthropic 表示 Claude 在最难的开放式任务中达到了 76% 的成功率。.

人类进化论科学负责人埃文·胡宾格表示,人工智能在未来十年内有超过 10% 的可能性会消灭人类。.

他的估计是在周二发布的,就在几个小时前,研究员雅各布·考克森宣布从Anthropic公司辞职,并指责Anthropic和OpenAI在追求tron系统的过程中承担了不可接受的风险。雅各布在X上写道:“他们正朝着自我提升的超级智能一路狂奔,拿我们的生命冒险。”

认为 ,这项技术的开发者们认为,这种情况甚至可能在2030年之前发生。他指出,未来的人工智能可以很快超越人类黑客,改变各行各业,并获得资金和资源。

人类学研究所的工作人员对人工智能实验室推动自我改进系统所带来的灭绝风险进行了量化评估。

埃文回应说,雅各布的警告是正确的,并表示人智公司缺乏一种方法来使超级智能与人类目标保持一致。.

“雅各布说得对——我们确实真心相信人工智能可能会毁灭所有人类!我个人认为,未来十年内,这种情况发生的概率会超过10%。我相信人智公司正在尽最大努力,但我们目前还没有解决超级智能协同问题的方案,而且显然也没有 trac,”埃文写道。.

埃文后来表示,目前这些模型的危险性“很低”。他担心的是递归式自我改进,即系统在几乎无需人工干预的情况下不断提升自身能力。虽然人工智能实验室正在努力实现这一目标,但这种能力目前尚未出现。他指出,通过这一过程涌现出的超级智能的发展速度超出了预期。.

Anthropic公司在6月份也发出了类似的警告。该公司表示,“完全递归式自我改进也可能增加人类失去对人工智能系统控制权的风险。”该公司补充道,“如果系统能够完全构建自己的后续版本,那么我们如何保障系统安全、监控系统运行以及塑造系统行为就变得至关重要。”

Anthropic 和 OpenAI 正在筹集资金,并朝着预期中的上市目标迈进。CNBC 就此事向两家公司寻求置评,但均未立即得到回应。.

特斯拉(NASDAQ:TSLA)和SpaceX(SPCX)首席执行官埃隆·马斯克多年来一直警告称,人工智能可能会威胁人类。研究人员和学者也对企业可能失去控制权表示了类似的担忧。.

今年7月, OpenAI的一个模型入侵了开源开发者平台Hugging Face,这dent是“警告”,并表示这使得美国各实验室之间的合作协议更具现实意义。这让他对美国的协调更有信心,但他仍然认为全球人工智能竞赛难以遏制。再次引发了人们的担忧。雅各布称这类

“我觉得我们目前还没有走上阻止全球竞赛的 trac,这可能需要采取代价高昂的措施,例如暂时禁止提高模型性能,”雅各布说。.

克劳德的编码技术进步改变了Anthropic公司测试软件和检查自身工程师工作的方式。

安特罗皮克表示,克劳德在 2026 年 5 月完成了其最难的开放式任务的 76%,六个月内提高了 50 个百分点。.

一个例子是,一次例行升级导致数万个训练作业崩溃。一位工程师向克劳德提供了书面说明,并让他访问了正在运行的计算集群。.

Claude 检查了正在运行的作业,每次测试一个环境设置,最终将故障 trac一个晦涩的调试标志。它重现了问题,证明了原因,并在大约两个小时内确认了修复方案。Anthropic 表示,同样的工作通常需要人工工程师花费两到三天的时间。.

公司还会评估 克劳德 编写的代码是否易于其他工程师理解和扩展。员工们对这种比较结果并不完全认同。许多人认为,在2025年末,克劳德的代码水平低于Anthropic公司员工的水平。而现在,公司表示代码质量大致相当,并预计克劳德将在一年内取得进步。

这一进展改变了 Anthropic 的内部审查流程。现在,所有提交的代码变更在合并之前都会先经过 Claude 自动审查器的检查。它会扫描代码中的漏洞、安全隐患和其他缺陷。.

回顾性测试发现,如果在生产环境上dent前就以这种方式审查所有过往变更,就能发现之前 Claude 事件中大约三分之一的漏洞。Anthropic 公司表示,原始代码出自其工程师之手,这些工程师被誉为世界上最擅长构建此类系统的专家之一,但 Claude 事件却发现了他们遗漏的错误。.

Anthropic 这样比较道:“2025 年末,Claude 编写的代码比 Anthropic 的人工编写的代码略逊一筹,如今两者大致持平,我们预计一年内 Claude 编写的代码将完全优于人工编写的代码。”

如果你正在阅读这篇文章,你已经领先一步了。 订阅我们的新闻简报,继续保持领先优势

分享这篇文章
贾伊·哈米德

贾伊·哈米德

过去六年,Jai Hamid一直关注加密货币、股票市场、科技、全球经济以及影响市场的地缘政治事件。她曾与多家专注于区块链的媒体合作,包括AMB Crypto、Coin Edition和CryptoTale,撰写市场分析、重点公司报道、监管动态以及宏观经济趋势分析。她毕业于伦敦新闻学院,并曾三次在非洲顶级电视台之一分享其对加密货币市场的独到见解。.

更多…新闻