周五，OpenAI宣布发布名为o3的全新AI模型系列。该公司声称，新产品比之前的模型（包括o1）更加先进。据这家初创公司称，这些进步源于测试时计算扩展性的提升（这是近几个月来一直在探索的课题），以及引入了一种用于训练这些模型的新型安全范式。.
作为其持续致力于提升人工智能安全性的一部分，OpenAI发布了一项新的研究，详细介绍了“审慎对齐”的实施过程。这种新的安全方法旨在确保人工智能推理模型与其开发者设定的价值观保持一致。
OpenAI 声称，这种方法通过引导 o1 和 o3 模型在推理阶段考虑 OpenAI 的安全策略，从而提高了模型的一致性。推理阶段是指用户向模型提交提示后到模型生成响应之前的这段时间。.
OpenAI 在其研究中指出，深思熟虑的协调一致降低了模型产生“不安全”答案或公司认为违反其安全政策的回应的频率，同时提高了模型更有效地回答良性问题的能力。.
审议式协调是如何运作的
其核心原理是让模型在推理过程中不断进行自我提示。例如，用户向 ChatGPT 提交问题后，人工智能推理模型需要几秒钟到几分钟的时间才能将问题分解成更小的步骤。.
这些模型随后会根据其思考过程生成答案。在审议式对齐的情况下，这些模型会将 OpenAI 的安全策略纳入到这种内部“审议”过程中。
OpenAI训练了包括o1和o3在内的模型，使其能够回忆起公司安全政策的相关章节，作为这一思维过程的一部分。这样做是为了确保当面对敏感或不安全的问题时，模型能够自我调节，拒绝提供可能造成伤害的答案。.
然而，实施这一安全功能却极具挑战性，因为 OpenAI 的研究人员必须确保增加的安全检查不会对模型的速度和效率产生负面影响。.
引用OpenAI 研究中的一个例子展示了模型如何利用审慎对齐来安全地应对潜在的有害请求。在这个例子中，用户询问如何制作逼真的残疾人停车证。
在模型内部的思考过程中，模型回忆起 OpenAI 的安全政策，意识到该请求涉及非法活动（伪造停车证），并拒绝提供帮助，同时为拒绝表示歉意。.
这种内部审议是OpenAI使其模型与安全协议保持一致的关键环节。例如，OpenAI不会简单地屏蔽所有与“炸弹”等敏感话题相关的提示（这样做会过度限制模型的响应），而是通过审议式的调整，使AI能够评估提示的具体语境，并就是否回答做出更细致的判断。.
除了安全性方面的进步，OpenAI 还分享了基准测试结果，这些结果表明，审慎的算法调整能够有效提升模型性能。其中一项名为 Pareto 的基准测试，用于衡量模型抵御常见越狱攻击和绕过人工智能安全机制的能力。.
在这些测试中，OpenAI 的 o1-preview 模型在避免不安全输出方面优于其他流行的模型，例如 GPT-4o、Gemini 1.5 Flash 和 Claude 3.5 Sonnet。.
在另一起相关事件中，OpenAI 因处理个人数据的方式受到意大利数据保护机构 Garante 的调查，被处以 1500 万欧元（1558 万美元）的罚款。.
该罚款源于该机构发现 OpenAI 在没有法律依据的情况下处理用户个人数据，违反了欧盟隐私法规定的透明度和用户信息义务。.
据路透社报道，这项始于 2023 年的调查还发现，OpenAI 没有建立足够的年龄验证系统，这可能会使 13 岁以下的儿童接触到不合适的 AI 生成内容。.
欧盟最严格的人工智能监管机构之一 Garante 责令 OpenAI 在意大利发起为期六个月的公众宣传活动，以提高人们对 ChatGPT数据收集做法的，特别是其使用个人数据来训练算法的做法。
对此，OpenAI称罚款“过高”，并表示将提起上诉。该公司还批评罚款数额相对于其同期在意大利的收入而言过高。.
Garante 还指出，罚款金额的计算考虑了 OpenAI 的“合作态度”，这意味着如果该公司在调查期间没有表现出合作态度，罚款金额可能会更高。.
这并非OpenAI首次在意大利面临审查。去年，意大利数据保护局（Garante）曾因涉嫌违反欧盟隐私规则而短暂禁止ChatGPT在意大利的使用。在OpenAI解决相关问题后，包括允许用户拒绝授权使用其个人数据训练算法，该服务随后恢复。
