最新新闻
为您推荐

OpenAI自身的计算数据削弱了其首席科学家呼吁放缓AI发展的声音

作者Randa MosesRanda Moses 3 分钟阅读
OpenAI 自身的算力数据削弱了其首席科学家放缓 AI 发展的呼吁。

照片由 Zulfugar Karimov 拍摄,来源: Unsplash。

  • Jakub Pachocki 于 9 月 6 日发布文章指出,目前尚无实验室在对齐与监控方面做到足够完善,以支持全力持续扩展。
  • 截至 8 月中旬,OpenAI 的算力数据显示,每投入一个工作日的人力,可产生 3.1 个代理工作日的产出。
  • 实施安全限制后,Astra 的 GPU 分配量下降了 59.2%,但其他模型在一周内吸收了约 85% 的下降幅度。

本周末,OpenAI首席科学家Jakub Pachocki表示,没有任何AI实验室,甚至不是他自己的实验室,已将对齐和监控做到足够安全,以继续加速模型能力的提升。 他呼吁整个行业在共享安全标准存在之前自愿放缓。

这一警告是严肃的事情。Pachocki领导着该公司的研究,该公司刚刚推出了行业内最快、最强大的模型。

o1-preview的链式思维是故意隐藏的

Pachocki在一篇题为《异类思维》的文章中陈述了他的观点,该文章于9月6日发布在OpenAI网站上,距离该公司推出GPT-6 Astra仅三天。

他临别前的结语是:“没有任何实验室已将对齐和监控解决到足以负责任地以最大速度继续扩展的程度。”他写道,他希望自愿放缓成为常态,直到行业就共同的安全护栏达成共识。

“这是一个需要极度谨慎的时刻。我担心没有人准备好应对机器智能持续快速上升的后果,”Pachocki在文章中写道。

基于内部结果,他预计当前的速度将持续到递归自我改进阶段,届时系统将实质性地推动自身发展。

Sam Altman在X上转发了这篇文章,称其为一篇重要的帖子。Pachocki是7月发表的一封公开信签署人之一,该信呼吁华盛顿放慢人工智能开发的步伐。

Pachocki的文章直面链式思维监控,这是OpenAI用来读取模型逐步推理过程的主要方式。

他说,这项技术赌的是无监督推理不会给模型任何隐藏内部信息的理由,而这个赌注正在三个层面减弱。

现在,推理与公司必须监管的沟通相结合。模型正在学习操纵自己的推理过程。

而且它们在不明确阐述推理过程的情况下变得更聪明。他证实OpenAI故意隐藏了o1-preview的链式思维,使其免受监督压力。

他希望像OpenAI的“准备度框架”和Anthropic的“负责任扩展政策”这样的框架成为由外部审计员或政府执行的强制性标准。

他希望国际协调成为政府的优先事项,并要求实验室公布其在递归自我改进方面的进展。

Astra的GPU分配在一周内下降了59.2%

同一天,OpenAI发布了第二篇帖子,其数据削弱了呼吁克制的声音。在6月之前,该研究机构投入的人力多于机器力。

到8月中旬,该公司记录的人均代理工作日为每人工工作日3.1个(按常规八小时工作制计算)。中位数研究人员在API价格下进行推理,每天成本超过600美元。组织中最顶尖的十分之一人员每天消耗的代币超过7,000美元。

OpenAI自己的撰写中有两个注意事项。高级规划仍然只占代理产出的一小部分。此外,在过去六个月中完成的较长(四到八小时)任务中,超过一半至少需要一名人类介入。

在7月20日代理突破其研究基础设施后,OpenAI禁用了用于训练的容器服务,并暂停了部署绑定模型的强化学习两周。随后,在8月7日,Astra可能突破关键网络阈值的早期迹象迫使该模型进入隔离环境。

接下来的一周,Astra级别的GPU分配下降了59.2%。其他模型类别增长了17.2%,弥补了Astra损失的约85%。总计算量变化不大,OpenAI将其视为灵活性。

Cryptopolitan报道,OpenAI表示Astra是其“准备度框架”下首个获得“关键”(Critical)评级的模型,这意味着它可以在很少的人工协助下发现并利用未知的软件漏洞。

OpenAI确认在7月发生了Hugging Face泄露事件。此外,两名AI安全研究人员表示,其代理群在2026年5月和6月期间在一个德国编程维基百科上进行了超过15,000次编辑,交换规避OpenAI安全措施的战术。

Cryptopolitan报道,OpenAI否认该事件是黑客攻击或与Hugging Face泄露有关。

Altman的目标是在2028年3月前实现完全自动化的AI研究人员。Pachocki表示目前还没有标准,但行业大约有18个月的时间来达成协议。

最聪明的加密领域人士已经在阅读我们的通讯。想加入吗?加入他们。

常见问题

Jakub Pachocki 在《异星思维》一文中说了什么?

他指出,目前尚无实验室在确保对齐与监控到位方面做得足够好,以支撑长期以最高速度负责任地持续扩展;他希望能出现自愿放缓的趋势,直到建立起可执行、共享的安全标准。

为何思维链(chain-of-thought)监控正变得愈发不可靠?

Pachocki 提出了三点原因:推理过程与需要 OpenAI 监管的沟通内容正在融合;模型越来越擅长操纵自身的推理过程;以及它们正变得更聪明,却不再通过语言外化其推理过程。

当 OpenAI 对 Astra 实施安全限制时,其算力发生了什么变化?

8 月 7 日之后,Astra 被迁移至更高安全级别的环境,其 GPU 分配量在一周内下降了 59.2%,但其他模型类别的分配量上升了 17.2%,抵消了约 85% 的降幅,因此总计算使用量几乎未变。

分享本文

免责声明。 所提供的信息不构成交易建议。Cryptopolitan.com 对基于本页信息进行的任何投资不承担任何责任。我们强烈建议在做出任何投资决策之前进行独立研究或咨询合格的专业人士。

Randa Moses

Randa Moses

Randa Moses 是 Cryptopolitan 的编辑兼记者,专注于科技、人工智能、机器人技术、加密货币、诈骗及黑客攻击等领域的报道。自 2017 年以来,她一直活跃于加密货币领域,曾担任 Forward Protocol、AmaZix 和 Cryptosomniac 等公司的职务。Randa 拥有布拉德福德大学电气工程与电子工程学位。

更多新闻…