英国在存在性风险担忧下对AI安全采取主动立场

立场发生显著变化，英国正积极采取措施应对与人工智能（AI）相关的潜在威胁。英国首相里希·苏纳克宣布了一项国际AI安全峰会的计划，强调了应对这些威胁的紧迫性。这一转变发生在早些时候的一份AI白皮书之后，该白皮书在春季将AI带来的存在性风险描述为“高影响、低概率”。

这种观点的转变部分归因于有效利他主义（EA）运动的影响，这是一个倡导AI安全的思想领袖群体，通常得到科技行业知名人物的支持。

有效利他主义：倡导面向未来的方法

有效利他主义运动在塑造英国对AI安全的立场方面发挥了重要作用。该运动植根于牛津大学，并得到硅谷重量级人物的支持。EA信徒认为，超级智能AI如果管理不当，可能会对人类构成存在性威胁。 

他们的方法强调长期考虑胜过即时关注，主张追求超级智能AI时应保持坚定不移的谨慎。对他们来说，AI发展的潜在结果是二元对立的：要么是乌托邦，要么是大毁灭。这种观点在英国获得了共鸣，政府顾问与EA的担忧保持一致，且苏纳克与该运动相关的AI实验室关系密切。

Ian Hogarth的警告引发行动

这一转变的关键时刻出现在科技投资者Ian Hogarth于4月撰写的一篇在《金融时报》上病毒式传播的文章中，他发出了关于追逐“神级AI”及其可能导致人类过时或毁灭的警告。他的文章呼应了具有影响力的“AI暂停”信件的 sentiments，该信件呼吁暂停大规模AI实验。

与此同时，另一封暗示AI构成灭绝风险的信件引发了广泛讨论，促使苏纳克首相表达了对这些风险的担忧。

有效利他主义对英国AI安全任务组的影响

在Ian Hogarth的领导下，英国基础模型任务组宣布了新合作伙伴关系，其中许多与有效利他主义运动有关。值得注意的是，以“AI灭绝风险”信件闻名的AI安全中心主要资金来自Open Philanthropy，这是一个主要的EA捐赠组织。Arc Evals也涉及AI系统潜在的灾难性风险，是另一个由EA捐赠者支持的合作伙伴。 

社区智能项目专注于变革性技术的治理模式，也与EA社区有关。任务组的研究团队包括剑桥大学教授David Krueger，他获得了Open Philanthropy的大额拨款，以减少AI系统导致人类灭绝的风险。

AI安全与前沿模型

该任务组现已更名为“前沿AI任务组”，其重点扩大至应对近期视野之外的新兴AI风险。它旨在管理风险并利用该技术为社会带来好处。然而，这种观点的转变招致了一些方面的批评。 

研究人员和AI伦理专家辩称，对存在性风险的关注掩盖了当今AI模型中紧迫的问题，如偏见、数据隐私和版权问题。他们担心AI安全讨论变得危言耸听，且缺乏实证依据。

有效利他主义、科技巨头与政策的交汇

EA运动与硅谷的紧密联系引发了对其客观性的质疑。OpenAI、DeepMind和Anthropic等主要AI实验室都与EA有关联，其意识形态影响了他们的理念决策。 

由Facebook联合创始人Dustin Moskovitz创立的Open Philanthropy为OpenAI提供了大量的初始资金。Skype创始人Jaan Tallinn是DeepMind的早期投资者和前董事。Elon Musk是EA相关“长期主义”意识形态的支持者，已聘请AI安全中心主任Dan Hendrycks作为其新初创公司xAI的顾问。

EA对AI安全的财政支持

为了应对感知到的威胁，EA运动正在将大量资源投入到AI安全中。Open Philanthropy负责人Harold Karnofsky暂时退居幕后，专注于AI安全。EA职业建议中心80,000 Hours推荐AI安全技术研究和塑造AI的未来治理作为EA的首选职业选择。这种支持与独特的词汇表相结合，包括“存在性风险”和“毁灭概率”等术语，使EA在AI安全讨论中独树一帜。

虽然英国的AI安全议程正在推进，但一些专家警告不要忽视即时的AI相关挑战，如偏见、数据隐私和伦理问题。他们认为，对存在性风险的关注掩盖了这些紧迫问题。批评者还担心，该运动与AI公司的密切关系可能导致监管俘获，即行业对政策制定施加不当影响。

复杂的生态系统：EA在塑造AI政策中的作用

有效利他主义运动在塑造英国AI安全议程方面的影响是不容否认的。植根于学术界并得到硅谷支持，它成功地将存在性风险推向了聚光灯下。然而，随着英国在这一复杂格局中前行，政策制定者必须平衡长期的AI安全关切与当今AI技术带来的即时伦理、法律和社会挑战。

英国对AI安全的主动方法反映了AI发展的不断变化的格局。虽然有效利他主义及其长期视角在这一转变中发挥了关键作用，但英国面临着在应对存在性风险与管理AI在此时此地的伦理和社会影响之间取得平衡的挑战。随着国际AI安全峰会的临近，英国将如何驾驭这些错综复杂的水域并为塑造全球AI的未来做出贡献，仍待观察。