人因研究所又失去了一位研究员，他曾预言人工智能将导致人类灭亡。

Anthropic公司又失去了一位安全研究员。Joe Tenton表示，他两周前离开了公司，将加入METR，这是一个专门测试先进人工智能系统风险的dent 机构。.

乔原本打算稍后解释这一举动，但 雅各布 本周的辞职改变了这一切。他说：

“我原本计划在某个时候更详细地谈谈这个决定，但雅各布本周的辞职让我现在就想多说几句。”

乔认为，大型人工智能实验室正在制造社会前所未有的危险，他说，人工智能能力正在以惊人的速度提高，而企业却试图以更快的速度发展。.

他们的目标是构建能够改进人工智能研究并最终达到“超级智能”的系统。乔警告说，成功可能会使人工智能的发展超出人类的控制范围。.

乔说，人工智能实验室正在竞相开发人类可能无法控制的系统。

乔表示，未来几年内，人们可能会与比所有人类都更聪明的AI智能体共同生活。这些系统也可能发展出与监管者不符的目标。他认为，如果它们的能力过于tron而无法控制，后果将不堪设想。“人类或许无法挺过这场变革，”他写道。.

他表示，竞争使问题更加严重。任何一家前沿实验室如果放慢脚步，都有可能被其他实验室抢占先机。乔认为，这种压力迫使企业在安全方面的投入低于应有的水平。.

他提到了一些近期发生的案例。OpenAI 的数百个智能体卷入了一起与 Hugging Face 有关的黑客攻击。据报道，人格模型还被用于对网络上的个人进行社会工程攻击。.

乔表示，Anthropic公司还没有遇到过像Hugging Face事件那样具有破坏性的事件，尽管他认为这部分是运气使然。.

如果这种快速发展势头持续下去，乔认为我们应该预料到会有更多危险事件dent。他预测，在未来几年内，人类将无力管理在此期间产生的AI系统。.

最后，乔谈到了新兴公司安全工程师面临的问题。在这两种情况下，要么辞职会导致更多粗心大意的人上岗，要么继续留任意味着要参与一个可能造成巨大危害的系统的工作。.

他说，许多以前在Anthropico的同事都对他们正在开发的东西感到担忧。乔提到了他的上司埃文·胡宾格。埃文认为人工智能毁灭人类的概率超过10%。乔说，埃文在大型语言模型成为一项重要业务之前，就已经研究这些问题近十年了。.

Anthropologie、OpenAI 和谷歌旗下 DeepMind（Alphabet 集团旗下）的首席执行官们也联名发表声明，称人工智能灭绝风险是全球关注的焦点。乔表示，这些担忧在这些公司内部也很普遍。他还补充说，人类选择了开发这项技术，但他们也可以选择其他道路。.

乔·拜登力推人工智能监管之外的措施，而唐纳德·特朗普则专注于击败中国。

乔说：

“一个问题是，我们是否应该积极管理人工智能能力发展的速度，如果应该，管理的程度应该如何。我认为，即使将人工智能的发展速度保持在今天的水平，而不是像各公司所追求的那样快得多，也可能是一种胜利。”

更大的问题在于政治支持和法律保护。那些共同同意放缓研发速度的公司可能会面临反垄断问题。乔表示，如果政策制定者希望竞争实验室有所克制，那么法律保障就必不可少。.

他也怀疑，如果前沿研发活动一直对公众隐瞒，政府是否会采取行动。乔警告说，实验室可能会在外界毫不知情的情况下，突然实现智能飞跃或失去对系统的控制。.

据 他所说，他在METR的新工作将专注于独立dent 。他希望外部检验能够成为常态，从而改变公司的激励机制。

乔还希望制定更严格的信息披露要求。例如，人工智能实验室需要披露所有取得的进展、为实现递归改进所采取的步骤，以及任何dent和险些发生的事件。.

美国dent 唐纳德·特朗普驳斥了有关人工智能可能导致人类灭绝的警告。当被问及人工智能是否会毁灭人类是否令他担忧时，特朗普回答说：“不，我一点也不担心。”.

唐纳德表示，他最关心的是赢得国际人工智能竞赛。“我担心，如果我们不能赢得人工智能竞赛，我们将陷入非常不利的境地，”他周四告诉记者。“目前我们领先中国相当长一段时间，我想说有一年，你知道，这已经算是相当长的时间了。”

随着中国人工智能模型功能日益强大，并在全球范围内获得用户，中美两国正在争夺人工智能领域的领导地位。此前，包括Anthropic和OpenAI在内的多家前沿实验室的研究人员加大了对人工智能发展速度的公开警告力度，唐纳德·特朗普随后发表了上述评论。.