- OpenAI 的新 o3 和 o4‑mini 模型比旧版本更容易产生幻觉，打破了以往的改进趋势。
- 测试显示，o3 和 o4‑mini 编造事实的频率高达两倍，其中 o4‑mini 近一半的情况都会产生幻觉。
- 实时搜索可能有助于减少错误，但幻觉增加的根本原因仍未知。
OpenAI 最新的推理模型 o3 和 o4-mini 比公司早期的模型更频繁地产生捏造的答案，内部和外部测试显示了这一点。
这种所谓的“幻觉”增加打破了一个长期存在的模式，即每次新发布往往比前一个模型编造的内容更少。
OpenAI 自己的数据将问题置于 stark terms（鲜明对比）中。在 PersonQA 上，这是一个检查模型回忆人物事实能力的公司基准，o3 在 33% 的回复中编造了材料，大约是 o1 和 o3-mini 记录率的两倍，它们的得分分别为 16% 和 14.8%。O4-mini 表现更差，幻觉率高达 48%。
一份 技术报告详细说明了这些发现。工程师写道，新模型在编码和数学方面优于早期版本，但由于它们“总体做出更多声明”，因此也做出了“更多准确声明以及更多不准确/幻觉声明”。该文件补充说，“需要更多研究”来解释可靠性的下降。
OpenAI 将 o 系列系统分类为推理模型，这是该公司和整个行业在过去一年中采用的路线。传统的非推理模型，如带有网络搜索功能的 GPT-4o，在真实性方面击败了最新的双子星：GPT-4o 带搜索在另一个内部基准 SimpleQA 上实现了 90% 的准确率。
OpenAI 的 o3 模型正在编造步骤
AI 非营利实验室 Transluce 报告称 o3 模型编造步骤。在一次运行中，该模型称它在“ChatGPT 之外”在 2021 款 MacBook Pro 上执行了代码，然后复制了数字。该模型根本不具备这样做的能力。
“我们的假设是，用于 o 系列模型的强化学习类型可能会放大通常由标准后训练流程缓解（但未完全消除）的问题，”Transluce 研究员、前 OpenAI 员工 Neil Chowdhury 在电子邮件中说。
Transluce 联合创始人 Sarah Schwettmann 表示，较高的错误率可能使 o3 不如其原始技能所显示的那样有用。
斯坦福大学兼职教授 Kian Katanforoosh 告诉 TechCrunch，他的团队已经在测试 o3 的编码任务，并认为它“比竞争对手高出一筹”。然而，他报告了另一个缺陷：该模型经常返回点击时无效的网页链接。
幻觉可以激发创造力，但它们使系统难以向需要准确性的企业推销。例如，起草合同的律师事务所不太可能容忍频繁的事实错误。
实时搜索可以减少 AI 模型中的幻觉
一种可能的解决方案是实时搜索。OpenAI 的 GPT-4o 版本，它咨询网络，在 SimpleQA 上的得分已经更好。报告建议，同样的策略可以减少推理模型中的幻觉，至少在用户愿意将提示发送到第三方引擎时。
“解决我们所有模型中的幻觉是一个持续的研究领域，我们一直在努力改进它们的准确性和可靠性，”OpenAI 发言人 Niko Felix 在电子邮件中说。
是否仅靠实时搜索就能解决问题仍不清楚。报告警告称，如果扩大推理模型的规模继续恶化幻觉，寻找修复措施的需求将变得更加紧迫。研究人员长期以来一直将幻觉称为 AI 中最难解决的问题之一，最新发现强调了还有很长的路要走。
对于 OpenAI 来说，信誉很重要，因为 ChatGPT 被用于工作场所、教室和创意工作室。工程师表示，他们将继续调整强化学习、数据选择和工具使用，以降低这些数字。在此之前，用户必须在更敏锐的技能与更高的被误导风险之间取得平衡。
最聪明的加密领域人士已经在阅读我们的通讯。想加入吗？加入他们。
免责声明。 本文提供的信息不构成交易建议。 Cryptopolitan.com 对于基于本页信息进行的任何投资，我们不承担任何责任。我们强烈建议在进行任何投资决策之前，进行独立研究或咨询合格的专业人士。
Shummas Humayun
Shummas 曾是一名技术内容撰稿人和研究员。
