AI生成データで学習すると、AIモデルは「ジバリス」を出力する

大規模言語モデル（LLM）は 以前のAI生成素材で学習すると、実体やニュアンスに欠ける出力を生成することが、新しい研究で明らかになった。この発見は、コンテンツ作成のために限られた人間生成データセットに依存するAI開発者にとって、新たな課題を示している。

関連記事: AIディープフェイクが米当局による子供たちの保護を困難にしている――レポート

英国のケンブリッジ大学とオックスフォード大学の人工知能研究者たちは、AI生成コンテンツのみで構成されるデータセットに依存してプロンプトを作成しようとした。その結果は理想的ではなく、理解不能な応答を生成した。

AIが意味をなすには依然として人間の存在が必要

論文の著者の一人であるケンブリッジ大学のZhakar Shumaylov は、ChatGPTやGoogleのGeminiなどの生成AIチャットボットの背後にある技術である大規模言語モデル（LLM）に供給されるデータに品質管理が必要だと指摘した。Shumaylovは次のように述べた：

「我々がトレーニングデータに何を取り入れるかについて、非常に注意を払わなければならないというメッセージだ。[そうでなければ、] 物事は常に、証明可能に失敗する」。

この現象は「モデル崩壊」として知られており、Shumaylovが詳述した。これは、テキストプロンプトを使用して画像生成を専門とするものを含む、あらゆる種類の人工知能モデルに影響を与えることが証明されている。

研究によると、あるモデルでAI生成データを用いた反復テキストプロンプトを使用すると、意味をなさない出力（ジバリス）が生成された。例えば、研究者たちは、イギリスの中世の教会の塔に関するテキストでテストされたあるシステムが、わずか9世代の反復後にジャックラビットの反復リストを生成したことを発見した。

出力についてコメントしたカリフォルニア大学のコンピュータサイエンティスト、Hany Faridは、データ崩壊を動物の近親交配に固有の課題に例えた。

「ある種が自分自身の子孫と近親交配を行い、遺伝子プールを多様化させない場合、それは種の崩壊につながる可能性がある」とFaridは述べた。

研究者たちがAIデータに人間生成データを注入すると、純粋にAI生成コンテンツのみで動作させた場合と比較して、崩壊はより遅く進行した。

研究者：AIはマイノリティグループに対する偏見を悪化させる可能性がある

言語モデルは、インターネットから収集された膨大な量のテキスト中にあるトークン（単語や単語の一部）間の関連性を構築することで機能する。これらは、これらの学習されたパターンに基づいて、統計的に最も確率が高い次の単語を出力することでテキストを生成する。

関連記事: ChatGPT搭載のぬいぐるみ「Poe」が子供たちに読み聞かせを行う

7月24日に学術誌『Nature』で発表されたこの研究は、データセットで数回しか言及されていない情報は、繰り返されない可能性が高いことを示した。研究者たちは、これがすでに社会的に疎外されているマイノリティグループに悪影響を及ぼす可能性を懸念している。

実際の使用事例におけるモデル崩壊を防ぐために、研究はAI生成コンテンツと人間生成コンテンツに透かしを入れることを提案した。しかし、競合するAI企業間の調整不足のため、これも問題となる可能性があるとしている。

この研究の発見は、小説や新聞記事の作成を含むコンテンツ作成において、AIが人間の完全な排除をもたらすかどうかについて議論が高まっている時期に現れた。

「再帰的に生成されたデータで学習するとAIモデルは崩壊する」と題されたこの研究の結果は、その議論に決着をつけた――人間はまだ方程式から排除されていない。