지능적 의사결정을 위한 강화 학습에 대한 새로운 관점

난징 대학의 연구원인 천양 우와 장장 장은 지능 컴퓨팅(Intelligent Computing)에 게재된 획기적인 새로운 연구에서 복잡하고 역동적인 상황에서의 지능적 의사결정을 위한 강화 학습의 주요 난제를 해결했습니다. 강화 학습은 인공 지능의 하위 분야로, 에이전트가 환경과의 상호작용을 통해 학습하고 결정에 따라 보상 또는 페널티를 받도록 합니다. 그러나 전통적인 접근 방식은 학습, 지각, 사회적 상호작용, 언어, 일반화 및 모방과 같은 진정한 지능 능력을 달성하는 데 있어 한계가 있습니다.

전통적인 강화 학습 방법의 과제

연구에서 우와 장은 현재 강화 학습 방법의 중요한 단점들을 식별했으며, 이는 지능형 에이전트 개발의 효율성과 실용성을 크게 저해합니다.

한 가지 주요 과제는 정보 수집을 위한 광범위한 시행착오에 대한 의존입니다. 과거 경험을 바탕으로 추론하고 더 나은 선택을 할 수 있는 인간과 달리, 현재의 강화 학습 방법은 에이전트가 작업을 수행하는 방법을 배우기 위해 수많은 가능성을 시도해야 합니다. 문제의 복잡성이 증가함에 따라 필요한 예제의 수가 지수함수적으로 증가하여 비현실적인 학습 과정을 초래합니다. 광범위한 계산 및 통계적 비효율성은 강화 학습이 상당한 자원 없이도 다양한 능력을 개발하는 것을 제한합니다.

우와 장이 제공한 통찰에 따르면, 전통적인 강화 학습에 내재된 통계적 및 계산적 과제는 장벽이 될 수 있으며 진정한 지능 달성을 방해합니다. 그러나 그들은 고가치 정보에 접근하는 것이 이러한 한계를 극복할 잠재력을 가지고 있다고 강조합니다. 그들은 이러한 정보를 활용하는 방법을 찾는 것이 지능적 의사결정에서 중요한 진전을 이루는 데 중요하다고 말합니다.

효율적인 강화 학습을 위한 고가치 정보 활용

전통적인 강화 학습이 직면한 과제를 해결하기 위해 우와 장은 효율적인 의사결정과 학습을 촉진하기 위해 고가치 정보를 활용하는 개념을 제안합니다.

고가치 정보는 과거 관찰과 구별되는 두 가지 중요한 특성을 지니고 있습니다. 그 독립적이지 않고 동일하게 분포되지 않은(non-independent and non-identical distribution) 특성은 복잡한 연관성과 상호작용을 시사합니다. 이는 그 중요성을 완전히 이해하기 위해 과거 정보 및 역사적 맥락과의 관계를 고려해야 함을 의미합니다. 고가치 정보는 계산적 인지 에이전트와 관련이 있습니다. 이는 계산 효율성을 위해 기본 규칙에만 집중하는 에이전트가 간과할 수 있는 고급 전략을 포함할 수 있습니다.

연구원인 천양 우와 장장 장에 따르면, 고가치 정보를 수용함으로써 에이전트는 더 효율적이고 효과적으로 학습할 수 있으며, 이는 지능적 의사결정에서 상당한 진전을 이끕니다.

에이전트 설계의 근본적인 문제

지능적 의사결정을 '제한적 최적 평생 강화 학습(bounded optimal lifelong reinforcement learning)'으로 공식화하며, 우와 장은 고가치 정보를 효율적으로 활용하기 위해 에이전트 설계의 세 가지 근본적인 문제를 강조합니다.

• 정보의 독립적이지 않고 동일하게 분포되지 않은(non-independent and identically distributed) 특성을 극복하는 것도 중요한 부분입니다. 지속적인 정보 흐름을 미래 사용을 위한 유용한 지식으로 변환하기 위해 에이전트는 구조화된 지식 표현과 온라인 학습 알고리즘이 필요합니다. 이는 제한된 계산 자원에도 불구하고 정보의 점진적 조직화를 가능하게 합니다.

• 무한한 자원으로 효율적인 추론을 지원하는 것은 필수적입니다. 효율적인 추론은 문제 구조를 활용하는 구조화된 지식 표현을 필요로 하며, 이는 계산 효율성을 높이기 위해 문제별 추론을 용이하게 합니다. 에이전트가 결정을 내리고, 정보를 흡수하며, 효율적인 학습 기법을 생성하는 데에는 순차적 의사결정과 메타수준 추론이 중요합니다.

• 탐색-활용 딜레마는 에이전트가 새로운 지식을 수집하기 위해 환경을 탐색하는 것과 기존 정보를 바탕으로 최상의 전략을 활용하는 것 사이의 균형을 의미합니다. 제한된 자원을 가진 에이전트는 대안적인 계산 방법을 탐색하는 것과 기존 접근 방식을 활용하는 것 사이에서 최적화를 이루어야 합니다. 이 난제를 해결하기 위해서는 추론의 목적을 에이전트의 장기적 이익과 일치시켜야 합니다. 

천양 우(Chenyang Wu)와 장장 장(Zongzhang Zhang)은 에이전트 설계의 근본적인 문제를 해결하는 것이 강화 학습에서 지능적 의사결정을 위한 새로운 가능성을 열어주며, 궁극적으로 더 효과적이고 적응력 있는 AI 시스템을 결과로 가져올 것이라고 제안합니다.

Wu와 Zhang의 혁신적인 연구는 강화학습에서 지능형 의사결정을 개선하기 위한 유망한 방향을 제시합니다. 고가치 정보를 수용하고 전통적인 강화학습 방법의 과제를 극복함으로써, 다양한 능력을 갖춘 지능형 에이전트를 개발할 가능성이 실현되고 있습니다. 계산적 관점을 완전히 이해하기 위해서는 추가 연구가 필요하지만, 그들의 작업은 인공지능의 미래를 위한 새로운 문을 엽니다.