AIモデルはAI生成データで訓練すると「意味不明な言葉」を吐き出す

で学習した大規模言語モデル（LLM）は、 内容とニュアンスに欠ける出力を生成することが明らかになった。この発見は、コンテンツ作成に人間が生成した限られたデータセットに依存しているAI開発者にとって新たな課題を提起している。

関連記事： AIディープフェイクにより、米国当局が子供たちを守ることが困難になっている – 報告書

英国ケンブリッジ大学とオックスフォード大学の人工知能研究者たちは、AI生成コンテンツのみを含むデータセットに基づいて質問文を作成しようと試みました。結果は理想的とは言えず、理解不能な回答が返ってきました。.

AIが意味を理解するには依然として人間が必要

論文の著者の一人であるケンブリッジ大学のジャカール・シュマイロフ氏 述べた 。シュマイロフ氏は次のように述べている。

「重要なのは、訓練データに何が含まれるかについて、非常に慎重にならなければならないということです。そうでなければ、物事は必ず、そして間違いなく、間違った方向に進むでしょう。」.

この現象は「モデル崩壊」として知られているとシュマイロフ氏は説明した。テキストプロンプトを用いた画像生成に特化したモデルを含む、あらゆる種類の人工知能モデルに影響を与えることが証明されている。.

この研究によると、あるモデルでAI生成データを用いてテキストプロンプトを繰り返し提示したところ、意味不明な文字列が生成されたという。例えば、研究者らは、英国の中世の教会の塔に関するテキストでテストしたあるシステムでは、わずか9世代後には、ジャックラビットの繰り返しリストが生成されたことを発見した。

カリフォルニア大学のコンピューター科学者ハニー・ファリド氏は、この成果についてコメントし、データ崩壊を動物の近親交配に特有の問題に例えた。.

「ある種が自らの子孫と近親交配し、遺伝子プールを多様化させなければ、種の崩壊につながる可能性がある」とファリド氏は語った。.

研究者らが人間が生成したデータを AI データに注入すると、純粋に AI が生成したコンテンツで実行されていたときよりも崩壊がゆっくりと起こりました。.

研究者：AIは少数派グループに対する偏見を悪化させる可能性がある

言語モデルは、インターネットから収集されることが多い膨大なテキストデータ中のトークン（単語または単語の一部）間の関連性を構築することで機能します。そして、学習したパターンに基づいて、統計的に最も可能性の高い次の単語を吐き出すことでテキストを生成します。.

こちらもご覧ください: ChatGPT搭載のテディベア「Poe」が子供たちに就寝時のお話を読み聞かせます

7月24日にネイチャー誌に掲載されたこの研究は、データセット内で数回言及された情報は、実際には繰り返されない可能性が高いことを示しました。研究者たちは、これが既に疎外されている少数派集団に悪影響を及ぼす可能性があると懸念しています。.

実際のユースケースにおけるモデル崩壊を回避するため、この研究ではAI生成コンテンツと人間生成コンテンツに透かしを入れることを提案した。しかし、競合するAI企業間の連携不足により、この方法にも問題が生じるmatic 性があると研究は指摘している。.

この研究結果は、AIによって小説や新聞記事の執筆を含むコンテンツの創造から人間が完全に排除されるようになるかどうかについての議論が高まっている時期に発表された。.

「再帰的に生成されたデータでトレーニングすると AI モデルは崩壊する」と題されたこの研究の結果は、その議論に終止符を打った。人間はまだ方程式から排除されていないのだ。.