AIは持ち、語彙の中に微妙なヒントを見出すことができるのだろうか？ニューヨーク大学タンドン工学部の研究者たちは、ニューヨーク・タイムズ紙の論文で言及されているように、人間が最も多く行う活動（毎日解ける「コネクションズ」パズルへの参加）が1位であることに驚きはしていない。
AI言語モデルの評価
調査により、ゲーム研究と利用可能な共通知識の共有に関する、近々開催される IEEE 2024 ミラノ会議で議論を呼ぶ問題が明らかになりました。それは、「現代の自然言語処理 (NLP) 技術は言語ベースのパズルを解くことができるのか?」という問題です。
ニューヨーク大学タンドン校のCSE助教授兼ゲームイノベーションラボ所長であるジュリアン・トゲリウス氏を共著者として迎えたチームは、機械学習と高レベル表現学習という2つのAI手法に焦点を当てました。前者ではGPT-3.5を活用し、後者ではOpenAIのオープンドメインと人間のような言語感覚をある最新リリースのGPT-4を活用しました。
次のメカニズムは、文埋め込みモデル、特にBERT、RoBERTa、MPNet、MiniLMに依存しています。これらのモデルは意味データをベクトル表現として表現しますが、LLMのような完全な言語理解および生成能力を備えていません。.
しかし、すべてのAIマシンがConnectionsに含まれるタスクの一部を実行できるものの、課題は依然としてほぼ克服不可能であるという結論に至りました。Connectionsは、埋め込み手法やGPT-3といった目覚ましい成果を含む、以前のカテゴリの他のAIマシンよりも優れている傾向があります。.
ここでの主要な発見の一つは、これらのモデルが、パズルの難易度を「簡単」から「難しい」まで素早く分類する人間の能力と非常に密接な関連を示していることです。LLMLLMがどのような文脈で失敗するかを精査することで、自然言語の意味処理における一般的な制約が明らかになる可能性があると、ゲームイノベーションラボの博士課程学生dent本研究の筆頭著者であるグラハム・トッド氏は付け加えました。
GPT-4で限界に挑戦
研究者たちは、GPT-4 に断片的なアプローチでパズルを解くように依頼すると、パズルを解く能力が大幅に向上し、特にパズルの精度が 39% を超えることを観察しました。.
先行研究で示され、今回の調査でも確認された「思考の連鎖」の有効性を示すもう一つの証拠は、ゲームイノベーションラボの学部dent であり、本tracの著者の一人であるティモシー・メリノ博士が述べているように、語彙における構造化された思考につながることです。言語モデルが作業を行い、タスクをより良く完了させるという問題は、言語モデルにそれぞれの作業について考えさせることでうまく解決されます。研究者たちは、2023年6月12日から2024年2月16日までの毎日のパズルを表す250個のパズルを含むオンラインジグソーパズルアーカイブを使用しました。.
