OpenAI授权安全团队反对高风险人工智能开发

在一项举措中，OpenAI公布了一项新的安全倡议，赋予其董事会权力，如果他们认为人工智能开发相关的风险过高，可以推翻首席执行官Sam Altman。这项名为“准备框架”的综合战略旨在解决研究前沿人工智能风险和系统化安全协议方面存在的现有差距。该框架规定了OpenAI监控、评估、预测和防范日益强大的人工智能模型带来的灾难性风险的流程。

高风险人工智能开发的框架

在这一大胆举措下，OpenAI将建立专门团队来监督人工智能开发风险的各个方面。安全系统团队将专注于与现有人工智能模型（如ChatGPT）相关的潜在滥用和风险。同时，准备团队将审查前沿模型，而专门的超级对齐团队将密切监控超级智能模型的开发。所有这些团队都在董事会的监督下运作。

随着OpenAI推动创建超越人类智能的人工智能，公司强调需要预见未来的挑战。新模型将经过严格测试，被“推到极限”，然后在四个风险类别中进行评估：网络安全、说服（谎言和虚假信息）、模型自主权（自主决策）和CBRN（化学、生物、放射性和核威胁）。每个部分将被分配一个风险评分——低、中、高或关键——随后是缓解后评分。如果风险为中等或以下，则部署；如果风险高，则继续采取预防措施；如果被认为关键，则停止。OpenAI还承诺问责措施，在出现问题时引入独立的第三方进行审计。

OpenAI的人工智能安全方法及其未来的影响

OpenAI高度重视促进广泛的协作，不仅在外部，而且在其内部团队的复杂网络中，特别是包括安全系统。这种协作协同作用积极用于警惕监控和减轻旨在防止现实世界滥用的努力。扩展这种协作精神的广度，OpenAI将其合作努力无缝延伸到超级对齐领域，那里的激光焦点战略性地指向仔细识别和随后解决与不对齐相关的新兴风险。

在不懈致力于推动知识边界的同时，OpenAI作为开辟研究新前沿的开拓者而屹立不倒。在这个不懈追求创新的焦点中，特别关注于探索风险演变与模型指数级扩展之间微妙动态的复杂探索。这一学术探索的总体目标可以说是雄心勃勃的——提前预测风险。这一雄心勃勃的目标建立在从过去的成功中获得的见解的战略利用之上，特别是那些基于遵循扩展定律的成功。

随着OpenAI朝着人工智能安全迈出巨大步伐，关于允许董事会否决首席执行官的影响的疑问仍然存在。这一决定能否在创新和谨慎之间取得正确的平衡？准备框架在预见和减轻与开发先进人工智能模型相关的风险方面将有多有效？只有时间会告诉我们这一大胆举措是否将OpenAI定位为负责任的人工智能发展的先驱，或者是否会在人工智能领域不断演变的权威与创新交汇点引发辩论。