OpenAI将通过新的安全训练范式推进o1和o3 AI模型

周五，OpenAI宣布发布一个名为o3的新AI模型家族。该公司声称，新产品比其之前的模型（包括o1）更先进。据这家初创公司称，这些进步源于对测试时计算扩展的改进，这一主题在近几个月得到了探索，以及引入了一种用于训练这些模型的新安全范式。

作为其持续致力于提高AI安全的一部分，OpenAI分享了一项新的研究，详细介绍了“深思熟虑的对齐”（deliberative alignment）的实施。这种新的安全方法旨在确保AI推理模型与其开发人员设定的价值观保持一致。

OpenAI声称，这种方法被用于通过引导模型在推理阶段思考OpenAI的安全政策，来提高o1和o3模型的对齐程度。推理阶段是指用户向模型提交提示后，到模型生成响应之前的时期。 

在其研究中，OpenAI指出，深思熟虑的对齐导致模型产生“不安全”答案或公司认为违反其安全政策的响应的频率降低，同时提高了模型更有效地回答良性问题的能力。

深思熟虑的对齐如何工作 

从根本上说，该过程通过让模型在思维链（chain-of-thought）阶段重新提示自己来工作。例如，在用户向ChatGPT提交问题后，AI推理模型需要几秒到几分钟的时间将问题分解为更小的步骤。 

然后，模型根据其思维过程生成答案。在深思熟虑的对齐情况下，模型将OpenAI的安全政策纳入其内部“深思熟虑”的一部分。

OpenAI训练了其模型（包括o1和o3），使其在思维链过程中回忆公司安全政策的各个部分。这样做是为了确保当面对敏感或不安全的查询时，模型会自我调节并拒绝提供可能造成危害的答案。 

然而，实施这一安全功能被证明具有挑战性，因为OpenAI的研究人员必须确保增加的安全检查不会对模型的速度和效率产生负面影响。

OpenAI研究中的一个例子，被TechCrunch引用，展示了模型如何使用深思熟虑的对齐来安全地回应潜在有害的请求。在示例中，用户询问如何制作逼真的残疾人停车证。

在模型内部思维链期间，模型回忆OpenAI的安全政策，认识到该请求涉及非法活动（伪造停车证），并拒绝协助，同时为拒绝道歉。

这种内部深思熟虑是OpenAI努力使其模型与安全协议保持一致的关键部分。例如，与其简单地阻止任何与“炸弹”等敏感主题相关的提示（这会过度限制模型的响应），深思熟虑的对齐允许AI评估提示的具体背景，并就是否回答做出更细致的决定。

除了安全方面的进步外，OpenAI还分享了基准测试结果，显示了深思熟虑的对齐在提高模型性能方面的有效性。其中一个名为Pareto的基准测试，衡量模型对常见越狱尝试和绕过AI防护措施的抵抗力。 

在这些测试中，OpenAI的o1-preview模型在避免不安全输出方面优于其他流行模型，如GPT-4o、Gemini 1.5 Flash和Claude 3.5 Sonnet。

意大利数据保护机构因隐私违规对OpenAI处以罚款 

在另一项相关发展中，OpenAI因个人数据处理问题受到意大利数据保护机构Garante的调查，并被处以1500万欧元（1558万美元）的罚款。 

该罚款源于该机构发现OpenAI在没有法律依据的情况下处理用户的个人数据，违反了欧盟隐私法要求的透明度和用户信息义务。

据路透社报道，始于2023年的调查还显示，OpenAI没有建立适当的年龄验证系统，可能使13岁以下的儿童接触到不适当的AI生成内容。 

欧盟最严格的AI监管机构之一Garante命令OpenAI在意大利开展为期六个月的公共宣传活动，以提高人们对ChatGPT数据收集做法的认识，特别是其使用个人数据训练算法的情况。

作为回应，OpenAI称该罚款“不成比例”，并表示打算上诉。该公司进一步批评该罚款相对于其在相关时期在意大利的收入来说过大。 

Garante还指出，考虑到OpenAI的“合作立场”，罚款金额可以更高，如果该公司在调查期间不被视为合作的话。

这次最新的罚款并不是OpenAI在意大利首次受到审查。去年，Garante曾短暂禁止在意大利使用ChatGPT，原因是涉嫌违反欧盟隐私规则。在OpenAI解决相关问题（包括允许用户拒绝同意将其个人数据用于训练算法）后，该服务恢复了。