OpenAIの最新の「推論」モデルにおける基本的なエラー

OpenAIは最近「推論」AIモデルであるo1をリリースしましたが、同社の新しい広告によると、すでに基本的なエラーで揺らいでいます。

ChatGPTの開発元は、有料サブスクライバー向けにこれまでで最も先進的なモデルと称するものをリリースし、祝祭シーズンを祝う一連のリリースイベント「12 Days of OpenAI」を開始しました。

OpenAIのデモ動画は、モデルがエラーを起こしやすいことを示唆しています

OpenAIがモデルの強さを示すためにリリースした動画によると、ユーザーは木製の鳥小屋の画像をアップロードし、類似するものをどのように構築するかについてのアドバイスを求めるようモデルに依頼します。「推論」モデルは、一見「思考」しているように見え、その後、一連の指示のように見えるものを出力します。

詳しく見ると、指示は時間の無駄であるように見えます。モデルはペイント、接着剤、シーラントなどのタスクに必要な材料を測定しますが、鳥小屋の前面パネルの寸法しか提供していません。

モデルは、不要な寸法に別のセットのサンドペーパーをカットすることを提案しています。さらに、モデルは「正確な寸法」を提供していると述べていますが、以前の主張とは対照的に、正確な寸法を提供していません。

イギリスの貿易団体である大工協会のディレクターであるジェームズ・フィルス氏も、ハンマーなど必要なツールがo1のリストから欠落しているなどのモデルのエラーを暴露しました。

「鳥小屋の構築について、画像から得られる知識とテキストから得られる知識は同じくらいでしょう。これはAIツールの全体的な目的を無効にします。」

フィルス氏。

さらに、フィルス氏は、同じ鳥小屋を構築するコストが、モデルが推定した20〜50ドルの「全くの別物」であることを明らかにしました。

OpenAIモデルは意図された用途とは逆のことをする

o1の事例は、AIモデルのプロダクトデモが意図とは逆のことをする他の例に加わります。2023年、Googleの広告で、AI支援検索ツールがジェームズ・ウェッブ宇宙望遠鏡が未発見の発見をしたと誤って示したため、同社の株価が下落しました。

検索エンジンの巨人であるGoogleからは、最近、同様のツールの更新版がユーザーに岩を食べても安全だと伝えるだけでなく、接着剤を使ってチーズをピザに貼り付けることができると主張しました。

これらのミスにもかかわらず、公開ベンチマークによると、o1モデルは依然としてOpenAIのこれまでで最も能力のあるモデルです。また、質問に答える際にChatGPTとは異なるアプローチを取ります。

タイム誌によると、o1はインターネットやそれ以上の数十億語のテキストから機械学習を使用してトレーニングされた非常に先進的な次の単語予測器です。

モデルは「思考連鎖」として知られる技術を使用して、裏側で答えについて「思考」し、その後にのみ答えを提供します。これは、プロンプトに対して単語を出力するだけとは異なります。

これにより、モデルはユーザーのクエリに対して単語をただ出力するケースと比較して、より正確な応答を提供するのに役立ちます。