OpenAIの新しいChatGPTモデルは「幻覚」をより頻繁に生成することが判明

OpenAIの最新の推論モデル、o3およびo4-miniは、内部および外部テストで示されるように、同社の以前のモデルよりも捏造された回答をより頻繁に生成します。 

いわゆる幻覚の増加は、新しいリリースごとに以前のモデルよりも捏造が少なくなるという長年のパターンを破っています。

OpenAIの自身の数字は、この問題を際立たせています。PersonQA（人物に関する事実をモデルがどれだけ正確に思い出すかを確認する同社のベンチマーク）では、o3は回答の33％で捏造された情報を生成し、これはo1（16％）およびo3-mini（14.8％）が記録した率の約2倍でした。O4-miniはさらに悪く、48％の時間で幻覚（hallucination）を生成しました。

技術報告書はこれらの発見を詳述しています。エンジニアたちは、新モデルがコーディングと数学において以前のバージョンを上回ると書きつつも、「全体的により多くの主張を行うため」、「より正確な主張とともに、より不正確な/幻覚的な主張も行う」と述べています。文書は、「信頼性の低下を説明するために、さらなる研究が必要である」と追加しています。

OpenAIはoシリーズシステムを推論モデルと分類しており、このラインは過去1年間で同社および業界の大部分が採用してきたものです。Web検索機能付きのGPT-4oなどの従来の非推論モデルは、真実性において最新の2モデルを上回ります。GPT-4o with searchは、別の社内ベンチマークであるSimpleQAで90％の精度を達成しています。

OpenAIのo3モデルは手順を捏造しています

AIの非営利ラボであるTransluceは、o3モデルが手順を捏造したと報告しました。1つの実行例では、モデルは「ChatGPTの外で」2021年製MacBook Proでコードを実行したと述べ、その後数字をコピーしました。モデルは実際にはそのような能力を持っていません。

「私たちの仮説は、oシリーズモデルに使用される強化学習のタイプが、標準的なポストトレーニングパイプラインによって通常は軽減される（ただし完全に消去されるわけではない）問題を増幅する可能性がある」と、Transluceの研究者であり元OpenAI従業員であるニール・チョードリーは電子メールで述べています。

Transluceの共同創設者であるサラ・シュヴェットマン氏は、より高いエラー率が、o3をその生来のスキルが示すものよりも役に立たなくする可能性があると言いました。

スタンフォード大学の客員教授であるキアン・カタノフォーシュ氏は、TechCrunchに対し、彼のチームはすでにコーディングタスクでo3をテストしており、それを「競争他社よりも一段上」と見ていると語りました。しかし、彼は別の欠陥も報告しました。モデルは、クリックすると機能しないウェブリンクを頻繁に返すことです。

幻覚は創造性を刺激することがありますが、正確性が求められる企業にとっては販売が困難になります。例えば、契約書を作成する法律事務所は、頻繁な事実上のミスを許容しないでしょう。

リアルタイム検索はAIモデルの幻覚を減少させる可能性がある

一つの可能な解決策はリアルタイム検索です。Webを参照するOpenAIのGPT-4oバージョンは、SimpleQAでより高いスコアを獲得しています。報告書は、同じ戦術が推論モデルの幻覚を削減できる可能性があると示唆しています。ただし、ユーザーがプロンプトをサードパーティのエンジンに送信する用意がある場合に限りですが。

「すべてのモデルにおける幻覚への対処は継続的な研究領域であり、私たちは精度と信頼性を向上させるために絶えず取り組んでいます」と、OpenAIの spokesperson であるニコ・フェリックスは電子メールで述べました。

リアルタイム検索のみがこの問題を解決するかどうかは不透明です。報告書は、推論モデルのスケールアップが幻覚をさらに悪化させ続ける場合、修正策の探求がより緊急性を増すと警告しています。研究者たちは長年、幻覚をAIにおける最も困難な問題の一つと呼んでおり、最新の発見は、まだ道のりが長いことを浮き彫りにしています。

OpenAIにとって、信頼性は重要です。ChatGPTは職場、教室、クリエイティブスタジオで使用されているからです。エンジニアたちは、これらの数値を減らすために強化学習、データ選択、およびツール使用を継続的に調整すると述べています。それまで、ユーザーはSharperなスキルと、誤解を招く可能性が高まることとのバランスを取らなければなりません。