查尔斯国王警告在 AI 发展出‘更黑暗的能力’夺去生命之前加以控制

在苏格兰举办的一次峰会上，查尔斯三世国王告诉全球最大的人工智能公司负责人，他们必须找到方法将技术保持在人类控制之下。 

国王警告说，如今建造它的人们担心它可能会发展出“更黑暗的能力”，甚至被用于杀人。 

查尔斯三世国王对 AI 有何看法？ 

查尔斯三世国王 在邓弗里斯府 发言，这是由迪奇利基金会（Ditchley Foundation）组织的一次聚会，吸引了约 30 名高管、官员和研究人员，包括英国 AI 部长卡尼什卡·纳拉扬（Kanishka Narayan）、英伟达首席执行官黄仁勋（Jensen Huang）、DeepMind 联合创始人德米斯·哈萨比斯（Demis Hassabis）、OpenAI 财务主管莎拉·弗里尔（Sarah Friar）以及 Anthropic 全球事务负责人蒂诺·奎拉尔（Tino Cuéllar）。

据彭博社看到的私人宾客名单还包括军情六处（MI6）处长布莱斯·梅特雷韦利（Blaise Metreweli）、作家尤瓦尔·诺亚·赫拉利（Yuval Noah Harari）以及清华大学薛澜（Xue Lan）等人的名字。

77 岁的查尔斯只发表了约 20 分钟的讲话，然后离开房间，希望进行富有成效的会谈。那些珍视人类道德核心的人， 他说，正“焦急地寻求你们的保证，即我们不会失去对我们命运或灵魂的控制。”

查尔斯称该技术的发展速度“既引人入胜又同样令人深感担忧”。他承认并赞扬其在医学和生命科学领域的记录，然后提出了一个直截了当的问题：“当然，在我们为时已晚之前，我们需要足够的控制手段吗？”

国王在他的警告中提到了 AI 技术创造者的担忧。他还表示，这些系统有“发展出更黑暗的能力，甚至可能夺去生命”的风险。他 补充说 高管们应考虑工具落入错误之手所带来的“存在性危险”。 

查尔斯此前曾向英国 2023 年在布莱切利公园举行的 AI 安全峰会发送视频信息，表达了类似的观点。 

梵蒂冈 AI 顾问保罗·贝南蒂（Paolo Benanti）出席了峰会，利奥十四世教皇在 5 月的一份通谕中表示，AI 不应留在“少数人”手中。

AI 开发会放缓吗？ 

哈萨比斯告诉与会者，通用人工智能——能够在许多任务中匹配或超越人类的系统——“可能只有短短几年之遥”。 

他说，这项技术可能产生比工业革命大十倍的影响。他补充说，出错的几率“肯定不为零”，尽管他随后表示“未来尚未注定”。

弗里尔表示，技术日益强大的力量引发了关于使其服务于人类的问题，并指出“没有哪家公司或政府能单独做到这一点”。 

黄仁勋，其英伟达估值接近 5.15 万亿美元，告诉与会者，安全至关重要，如果产品尚未准备好，应将其推迟。他主张监管 AI 产品而非技术本身，并捍卫开放模型，以防止小国家和研究人员被排除在外。

此次峰会发生在 Anthropic 研究人员 Jacob Coxon 的辞职帖引发病毒式传播，以及其同事 Evan Hubinger 预测 AI 导致人类灭绝的概率为 10% 之后，引发了担忧。

Cryptopolitan 报道称，Anthropic 的 Dario Amodei 发表了一篇论文，敦促实验室“控制前沿”，并且 OpenAI 本周 推出了一项系统，在记录六起令人担忧的行为事件后披露模型不当行为。 

然而，并非所有人都认为这种危险是真实的：唐纳德·特朗普总统称这些担忧为“骗局”。