Модульные агенты повышают обучение ИИ, улучшая принятие решений и адаптивность

Понимание того, как и почему люди принимают решения, было предметом обширных исследований в различных дисциплинах. Исследователи из Нейробиологического института Принстона изучили принятие решений в машинном обучении и предложили подход, который улучшает традиционные процессы с одним агентом. Их исследование демонстрирует улучшенные способности к обучению ИИ и адаптивность за счет использования модульных систем мульти-агентов ИИ.

Исследователи провели исследование, сравнивающее подходы обучения с подкреплением в системах с одним ИИ-агентом и модульных системах с несколькими ИИ-агентами. Агенты обучались в игре на выживание на двумерной сетке, где они искали скрытые ресурсы и стремились поддерживать достаточные уровни запасов.

Подход с одним агентом против модульного подхода с агентом

В подходе с одним агентом единый «мозг» самостоятельно оценивал каждую цель пошагово, обучаясь методом проб и ошибок для определения лучших решений. С другой стороны, модульный агент включал ввод от суб-агентов, каждый из которых имел узко определенные цели и уникальный опыт. Совокупный ввод от суб-агентов оценивался в едином мозге, что позволяло агенту принимать обоснованные решения.

Принципы конфликтующих потребностей и целей

Исследователи сравнили свой подход с давними дебатами о том, как люди управляют конфликтующими потребностями и целями. Эти дебаты широко распространены в различных научных дисциплинах, включая нейробиологию, психологию, экономику, социологию и искусственный интеллект. Дизайн модульного агента отражает конкуренцию между несколькими модульными агентами, аналогично тому, как конфликтующие потребности управляются в принятии решений человеком.

Результаты исследования показали, что модульный агент превзошел подход с одним агентом. Модульный агент обучался значительно быстрее, достигая значительного прогресса всего после 5000 шагов обучения по сравнению с 30 000 шагами для одного агента. Модульные агенты продемонстрировали превосходное поддержание внутренних переменных как в статических, так и в изменяющихся средах, эффективнее поддерживая гомеостаз. Ограниченные цели суб-агентов позволили им быстрее адаптироваться к вызовам окружающей среды.

Исследование и адаптация в обучении ИИ

Действия, определяемые одним суб-агентом, служили источником исследования для других внутри модульного агента. Это способствовало обнаружению ценных действий, которые могли бы не быть выбраны в данном состоянии в противном случае. Напротив, монолитный подход страдал от проклятия размерности, которое относится к экспоненциальному росту вариантов по мере увеличения сложности среды. Модульные агенты, действуя как специалисты с ограниченными целями, фокусировались на меньших индивидуальных задачах и быстро адаптировались к изменениям окружающей среды.

Выводы исследования предполагают, что проектирование агентов модульным образом, с отдельными суб-агентами, посвященными конкретным потребностям, значительно повышает общую способность агента удовлетворять свои цели. Модульный подход не только улучшает обучение ИИ и принятие решений, но и дает представление о психологических конфликтах, присущих человеческой психике.

Использование модульных агентов в системах ИИ предлагает более эффективный и адаптивный подход к принятию решений и обучению. Используя принципы конфликтующих потребностей и целей, модульные агенты демонстрируют повышенную адаптивность к изменяющимся средам. Результаты способствуют более глубокому пониманию процессов принятия решений человеком и прокладывают путь к более интеллектуальным и гибким системам ИИ в будущем.

Читать далее здесь: Зак Дулберг и др., Наличие нескольких «я» помогает обучающимся агентам исследовать и адаптироваться в сложных меняющихся мирах, Труды Национальной академии наук (2023). DOI: 10.1073/pnas.2221180120