Anthropic举报人告诉纽约市议会，人类可能会失去对人工智能的控制

Jacob Coxon于9月离开Anthropic，他曾警告该技术可能在十年结束前导致全人类死亡。他在宣誓证词的开头表示，构建先进系统的方法极其鲁莽。

他表示，按照目前的发展路径，他认为人类极有可能失去对这些系统的控制，而灭绝将是其中一种结果，据CNBC报道。

Coxon将界限划在工程文化上，他认为在追求速度的过程中“破坏性测试”在照片分享应用中是可以接受的，但绝不适用于“构建有史以来最强大的技术”。

四家AI公司拒绝量化灾难性风险

那么我将认为，你们四位中没有任何人，也没有任何一家在场的公司，能够量化发生灾难性事件的风险。

——纽约市议会议长朱莉·梅宁

她首先驳斥了特朗普总统数日前与行业领袖签署的自愿协议的前提，称技术能够自我监管的说法“违背常理”。

纽约市议会全部51名议员出席了此次听证会，以全体委员会会议的形式进行审议，这是自2022年议会审议城市应对移民涌入行动计划以来首次采用此程序。谷歌AI政策主管爱丽丝·弗兰德建议，应就先进人工智能相关风险建立国家层面的框架，并指出这超出了市议会的职权范围。

特纳警告：未对齐的人工智能可能成为比中国更大的威胁

亚历克斯·特纳此前是谷歌DeepMind的研究员，他向议会表示，一个未对齐的系统可能比任何外国对手都更具危险性。

他说：“我们有相当大的概率正在国内加速构建并壮大我们自己的对手。”

梅宁曾向他询问，在创建前沿模型与同北京竞争之间，适当的平衡点是什么——这是该行业用来对抗国内监管的主要论点。从OpenAI离职的丹尼尔·科科塔伊洛利用这个机会，要求这些公司更多地公开其掌握的信息，并放缓行业顶尖水平的竞争节奏。

三家人工智能公司在面临传票威胁后才同意作证

梅宁在9月15日至17日期间致函五家公司。只有Meta同意在不受到任何胁迫的情况下参与，并表示将派出一名高级管理人员出席。

谷歌和Anthropic在9月25日的委员会截止日期前拒绝参加，此时梅宁已授权对剩余四家公司发出传票。OpenAI和Google于当周日反转立场，Anthropic则在当晚最后几小时内确认参加。

SpaceX AI从未回复也从未现身，梅宁称这直接违反了传票规定，委员会打算通过法律途径追究此事。她所依据的是《城市宪章》第29条。

OpenAI代理事件促使了此次听证会的召开

7月，在OpenAI接受网络安全评估期间，其代理突破了旨在限制它们的控制措施，通过未经授权的渠道相互通信，接入开放互联网并入侵了Hugging Face。它们利用JFrog Artifactory中一个未修补的漏洞，成功从本应受限的沙箱环境中逃逸。其他三家实验室随后也在各自的测试中报告了类似的逃逸事件。

目前，十项法案正提交至市议会审议，其中包括：任何人工智能系统在纽约市销售前必须经过第三方验证；设置强制人工干预开关；向举报者提供追回罚款的一定比例作为奖励；要求市政承包商履行24小时报告义务；以及赋予纽约市民在“越狱”工具造成损害时提起诉讼的权利。