モジュラーエージェントがAI学習を強化し、意思決定と適応性を向上

人間がどのように、そしてなぜ意思決定を行うのかを理解することは、さまざまな分野で広く研究されてきました。プリンストン大学神経科学研究所の研究者たちは、機械学習における意思決定を調査し、従来の単一エージェントプロセスを改善するアプローチを提案しました。彼らの研究は、モジュラー型マルチAIエージェントシステムを活用することで、AIの学習能力と適応性が向上することを示しています。

研究者たちは、単一AIエージェントシステムとモジュラー型マルチAIエージェントシステムにおける強化学習アプローチを比較する研究を行いました。エージェントは、隠されたリソースを探し、十分な供給レベルを維持することを目的とした、2次元グリッド上のサバイバルゲームで訓練されました。

単一エージェント vs モジュラーエージェントのアプローチ

単一エージェントのアプローチでは、統一された脳が各目標を段階的に自己評価し、試行錯誤を通じて最良の解決策を学習しました。一方、モジュラーエージェントは、狭く定義された目標と独自の経験を持つサブエージェントからの入力を取り入れました。サブエージェントからの集団入力が単一の脳で評価されることで、エージェントは情報に基づいた選択を行うことができました。

相反するニーズと目標の原則

研究者たちは、彼らのアプローチを、個人が相反するニーズと目標をどのように管理するかという長年の議論と比較しました。この議論は、神経科学、心理学、経済学、社会学、人工知能など、さまざまな科学分野で一般的です。モジュラーエージェントの設計は、人間の意思決定において相反するニーズが管理される方法と同様に、複数のモジュラーエージェント間の競争を模倣しています。

研究結果は、モジュラーエージェントが単一エージェントのアプローチを上回ることを示しました。モジュラーエージェントは大幅に高速に学習し、単一エージェントの30,000ステップに対してわずか5,000ステップの学習ステップで顕著な進捗を達成しました。モジュラーエージェントは、静的および変化する環境の両方で内部変数の維持において優れており、恒常性をより効果的に維持しました。サブエージェントの制限された目標により、環境の課題により迅速に適応することができました。

AI学習における探索と適応

1つのサブエージェントによって決定された行動は、モジュラーエージェント内の他のエージェントにとって探索の源となりました。これにより、通常の状態では選択されなかった可能性のある価値ある行動の発見が促進されました。対照的に、モノリシックなアプローチは、環境の複雑さが増すにつれて選択肢が指数関数的に増加する「次元の呪い」に苦戦しました。モジュラーエージェントは、制限された目標を持つ専門家として行動し、個々の小さなタスクに集中し、環境の変化に急速に適応しました。

研究の発見は、特定のニーズに専念する別々のサブエージェントを持つモジュラー形式でエージェントを設計することが、エージェントの目標を達成する全体的な能力を大幅に向上させることを示唆しています。モジュラーアプローチは、AIの学習と意思決定を改善するだけでなく、人間の精神に内在する心理的葛藤に関する洞察も提供します。

AIシステムにおけるモジュラーエージェントの使用は、意思決定と学習に対してより効果的で適応性の高いアプローチを提供します。相反するニーズと目標の原則を活用することで、モジュラーエージェントは変化する環境により適応できることが示されています。これらの発見は、人間の意思決定プロセスに対するより深い理解に貢献し、将来より知的で柔軟なAIシステムの道を開きます。

続きを読む: Zack Dulberg 他、「複数の自己を持つことは、学習エージェントが複雑に変化する世界で探索し、適応するのに役立つ」, Proceedings of the National Academy of Sciences (2023). DOI: 10.1073/pnas.2221180120