모듈형 에이전트는 AI 학습을 향상시켜 의사결정 및 적응력을 강화합니다

인간이 어떻게 그리고 왜 의사결정을 내리는지 이해하는 것은 다양한 학문 분야에서 광범위하게 연구되어 왔습니다. 프린스턴 신경과학 연구소 연구원들은 머신러닝에서의 의사결정을 탐구하며 전통적인 단일 에이전트 프로세스를 개선하는 접근 방식을 제안했습니다. 그들의 연구는 모듈형 다중 AI 에이전트 시스템을 활용하여 향상된 AI 학습 능력과 적응력을 보여줍니다.

연구원들은 단일 AI 에이전트 시스템과 모듈형 다중 AI 에이전트 시스템의 강화 학습 접근 방식을 비교하는 연구를 수행했습니다. 에이전트들은 2차원 그리드에서 숨겨진 자원을 찾고 충분한 공급 수준을 유지하기 위해 노력하는 생존 게임에서 훈련되었습니다.

단일 에이전트 대 모듈형 에이전트 접근 방식

단일 에이전트 접근 방식에서는 통합된 뇌가 각 단계를 단계별로 평가하며 시행착오를 통해 최상의 솔루션을 학습했습니다. 반면, 모듈형 에이전트는 좁게 정의된 목표와 고유한 경험을 가진 하위 에이전트들의 입력을 통합했습니다. 하위 에이전트들의 집단 입력은 단일 뇌에서 평가되어 에이전트가 정보에 기반한 선택을 내릴 수 있도록 했습니다.

갈등하는 필요와 목표의 원칙

연구원들은 그들의 접근 방식을 개인이 갈등하는 필요와 목표를 어떻게 관리하는지에 대한 오랜 논쟁과 비교했습니다. 이 논쟁은 신경과학, 심리학, 경제학, 사회학 및 인공지능을 포함한 다양한 과학 분야에서 널리 퍼져 있습니다. 모듈형 에이전트 설계는 인간 의사결정에서 갈등하는 필요를 관리하는 방식과 유사하게 여러 모듈형 에이전트 간의 경쟁을 반영합니다.

연구 결과는 모듈형 에이전트가 단일 에이전트 접근 방식보다 더 우수한 성능을 보였음을 보여주었습니다. 모듈형 에이전트는 훨씬 더 빠르게 학습하여, 단일 에이전트의 30,000단계에 비해 단 5,000단계의 학습 단계 후에 상당한 진전을 이루었습니다. 모듈형 에이전트는 정적 및 변화하는 환경 모두에서 내부 변수를 더 효과적으로 유지하며 항상성을 더 잘 유지했습니다. 하위 에이전트의 제한된 목표는 환경적 도전에 더 빠르게 적응할 수 있게 해주었습니다.

AI 학습에서의 탐색 및 적응

하나의 하위 에이전트에 의해 결정된 행동은 모듈형 에이전트 내의 다른 에이전트들에게 탐색의 원천이 되었습니다. 이는 다른 상태에서는 선택되지 않았을 수도 있는 가치 있는 행동의 발견을 용이하게 했습니다. 반면, 단층(monolithic) 접근 방식은 환경의 복잡성이 증가함에 따라 옵션이 지수함수적으로 증가하는 차원의 저주(curse of dimensionality)로 인해 어려움을 겪었습니다. 제한된 목표를 가진 전문가로서 행동하는 모듈형 에이전트들은 더 작은 개별 작업에 집중하고 환경 변화에 빠르게 적응했습니다.

연구의 발견은 에이전트를 모듈형 방식으로 설계하여 특정 필요에 전념하는 별도의 하위 에이전트를 두는 것이 에이전트의 전반적인 목표 달성 능력을 크게 향상시킨다는 것을 시사합니다. 모듈형 접근 방식은 AI 학습과 의사결정을 개선할 뿐만 아니라 인간 심리에 내재된 심리적 갈등에 대한 통찰력도 제공합니다.

AI 시스템에서 모듈형 에이전트를 사용하는 것은 의사결정 및 학습을 위한 더 효과적이고 적응력 있는 접근 방식을 제공합니다. 갈등하는 필요와 목표의 원칙을 활용함으로써 모듈형 에이전트는 변화하는 환경에 대한 향상된 적응력을 보여줍니다. 이러한 발견은 인간 의사결정 과정에 대한 더 깊은 이해에 기여하며 미래에 더 지능적이고 유연한 AI 시스템의 길을 열었습니다.

여기서 더 읽기: Zack Dulberg 외, 다중 자아는 학습 에이전트가 복잡하고 변화하는 세계에서 탐색하고 적응하는 데 도움이 됨, Proceedings of the National Academy of Sciences (2023). DOI: 10.1073/pnas.2221180120