OpenAIの最新の「推論」モデルの基本エラー

OpenAIは最近「推論」AIモデルo1をリリースしたが、同社の新しい広告によると、すでに基本的なエラーがいくつかあるという。.

の開始にあたり、有料会員向けにこれまでで最も高度なモデルと称するものをリリースした12 Days of OpenAI、ホリデーシーズンを祝う一連のリリース企画

OpenAIのデモビデオは、モデルがエラーを起こしやすいことを示唆している

OpenAIがこのモデルの強みを示すために公開した動画によると、ユーザーは木製の鳥小屋の画像をアップロードし、似たような鳥小屋の作り方についてモデルにアドバイスを求めます。この「推論」モデルは、一連の指示を出す前に少しの間「考える」ように見えます。.

よく見ると、説明書は時間の無駄のように思えます。模型には、塗料、接着剤、シーラントなど、作業に必要な材料の寸法が記載されていますが、鳥小屋の前面パネルの寸法しか記載されていません。

このモデルは、サンドペーパーを別の寸法に切ることを提案していますが、これは必要ではありません。さらに、このモデルは「正確な寸法」を示しているとしていますが、以前の主張とは反対に、正確な寸法は示していません。.

英国を拠点とする業界団体、大工協会のジェームズ・フィラス理事長も、ハンマーなど必要な工具がO1のリストに載っていないなど、モデルの誤りを指摘した。.

「画像から鳥小屋の作り方を知ることは、テキストから知るのと同じくらいですが、それではAIツールの目的が全く達成されません。」

フィルス。.

さらに、フィラス氏は、同じ鳥小屋を建てるコストは、モデルが推定した20ドルから50ドルには「遠く及ばない」だろうとも明らかにした。.

OpenAIモデルは本来の目的とは逆のことをする

o1の事例は、AIモデルの製品デモが本来の目的とは正反対の結果をもたらすという他の例に加わるものだ。2023年には、AI支援型検索ツールのGoogle 広告が 、ジェームズ・ウェッブ宇宙望遠鏡が実際には発見していないことを誤って伝えた。この誤りにより、同社の株価は下落した。

検索エンジン大手の発表はこれだけではありません。最近、同様のGoogleツールのアップデート版が、 岩石を食べても安全。また、接着剤を使ってチーズをピザに貼り付けることができるとも主張しました。

o1モデルは、公開ベンチマークによると、いくつかの誤りにもかかわらず、OpenAIのこれまでのモデルの中で最も優れたモデルであり続けています。また、質問に答える際にはChatGPTとは異なるアプローチを採用しています。.

Time によれば、o1 はインターネットなどからの何十億語ものテキストで機械学習を使用してトレーニングされたため、依然として非常に高度な次の単語予測ツールです。.

このモデルは「思考連鎖」と呼ばれる推論手法を用いて、答えを裏で一瞬「考え」、その後に答えを提示します。これは、単にプロンプ​​トに対して言葉で答えるのとは異なります。.

これにより、ユーザーのクエリに対して単に単語を吐き出す場合とは対照的に、モデルはより正確な応答を提供できるようになります。.