인간 주도 탐색(HuGE)이라는 획기적인 인공지능(AI) 에이전트 교육 방식이 AI 연구에 혁신적인 변화를 가져올 것으로 기대됩니다. MIT, 하버드 대학교, 워싱턴 대학교 연구진이 공동 개발한 HuGE는 비전문가인 인간의 피드백을 활용하여 AI 에이전트가 새로운 작업을 더욱 빠르고 효율적으로 학습할 수 있도록 합니다. 이 혁신적인 기술은 AI 에이전트의 새로운 기술 습득 방식을 혁신적으로 변화시켜, 로봇이 크라우드소싱 피드백을 기반으로 복잡한 작업을dent으로 학습할 수 있도록 해줄 것입니다.
인공지능 훈련의 과제
인공지능 에이전트가 새로운 작업을 수행하도록 훈련하는 과정은 일반적으로 강화 학습이라는 방식을 사용합니다. 이 방식에서 에이전트는 시행착오를 통해 학습하고, 미리defi된 목표에 가까워지는 행동에 대해 보상을 받습니다. 많은 경우, 인간 전문가가 인공지능 에이전트가 탐색하고 행동하도록 동기를 부여하는 인센티브 메커니즘인 보상 함수를 세심하게 설계해야 합니다. 그러나 이러한 보상 함수를 설계하는 것은 시간이 많이 소요되고 비효율적이며, 특히 여러 단계를 거치는 복잡한 작업의 경우 확장성이 떨어집니다.
크라우드소싱 피드백을 해결책으로 활용
HuGE 접근 방식은 비전문가 사용자로부터 수집한 크라우드소싱 피드백을 활용하여 AI 에이전트의 학습 과정을 안내하는 혁신적인 변화를 가져옵니다. 전문가가 설계한 보상 함수에 의존하는 기존 방식과 달리, HuGE는 비전문가의 노이즈가 포함된 피드백을 사용하더라도 AI 에이전트가 더 빠르게 학습할 수 있도록 합니다. 이러한 피드백에는 다른 방식에 문제를 일으킬 수 있는 오류가 포함될 수 있습니다.
학습 과정 분리
HuGE를 개발한 연구진은 학습 과정을 각각 고유한 알고리즘으로 구동되는 두 가지 구성 요소로 나누었습니다. 이러한 접근 방식을 통해 목표 선택과 탐색 단계를 분리하여 에이전트가 크라우드소싱 피드백을 통해 효율적으로 학습할 수 있도록 했습니다. HuGE의 두 가지 핵심 구성 요소는 다음과 같습니다
1. 목표 선택 알고리즘 : 이 부분은 비전문가 사용자의 피드백을 기반으로 지속적으로 업데이트됩니다. 피드백을 직접적인 보상 함수로 사용하는 대신, 에이전트의 탐색 방향을 안내하는 역할을 합니다. 사용자는 원하는 목표에 더 가까운 상태를 선택하여 입력을 제공하고, 에이전트는 이에 따라 탐색 방향을 조정합니다.
2. 에이전트 탐색: AI 에이전트는 dent 으로 탐색합니다. 에이전트는 자신의 행동에 대한 이미지나 비디오와 같은 데이터를 수집하고, 이를 인간 사용자에게 전송하여 추가적인 피드백을 받습니다. 이러한 과정을 통해 에이전트의 탐색 영역이 좁아지고, 목표 달성에 유리한 경로로 나아가게 됩니다.
HuGE의 장점
HuGE는 AI 에이전트 학습을 위한 기존 방식에 비해 여러 가지 장점을 제공합니다
- 학습 속도 향상: 이 접근 방식을 통해 AI 에이전트는 인간의 피드백에 오류나 부정확한 내용이 포함되어 있더라도 새로운 작업을 더 빠르게 학습할 수 있습니다.
- 비동기 피드백: HuGE는 전 세계 비전문가 사용자로부터 비동기적으로 피드백을 수집할 수 있도록 지원하여 확장성과 다재다능함을 갖춘 솔루션입니다.
- 자율 학습: 에이전트는 피드백이 제한적이거나 지연되는 경우에도 자율적으로 학습을 지속하여 지속적인 발전을 보장합니다.
실제 환경 및 시뮬레이션 테스트
연구진은 HuGE의 효과를 검증하기 위해 시뮬레이션 환경과 실제 환경 모두에서 광범위한 테스트를 수행했습니다. 시뮬레이션에서는 특정 순서대로 블록을 쌓거나 복잡한 미로를 탐색하는 등 일련의 동작이 포함된 복잡한 작업을 수행하도록 AI 에이전트를 성공적으로 훈련시켰습니다. 실제 환경 실험에서는 13개국 3개 대륙에 걸쳐 비전문가 사용자들로부터 수집한 크라우드소싱 데이터를 활용하여 로봇 팔이 도형을 그리고 물건을 집도록 훈련시켰습니다.
확장성 및 향후 응용 분야
HuGE의 유망한 결과와 비전문가 피드백을 손쉽게 얻을 수 있다는 점은 AI 훈련 규모 확장에 큰 잠재력을 지니고 있음을 시사합니다. 미래에는 이 방법을 통해 로봇이 사용자의 가정에서 물리적 시연 없이도 특정 작업을 학습하고 수행할 수 있게 될 것입니다. 크라우드소싱 피드백에 기반하여 로봇은 비전문가들의 집단적인 의견을 바탕으로 자율적으로 탐색할 수 있습니다.
연구진은 AI 에이전트가 인간의 가치관 및 윤리적 고려 사항에 부합하도록 하는 것이 중요하다고 강조합니다. AI 에이전트가dent으로 학습하고 의사결정을 내리기 때문에 윤리적 지침과 가치관의 일치는 안전하고 책임감 있는 배포에 매우 중요합니다.
향후 방향
연구팀은 HuGE 접근 방식을 더욱 발전시키는 것을 목표로 하고 있습니다. AI 에이전트가 자연어 및 로봇과의 물리적 상호작용과 같은 다양한 형태의 의사소통으로부터 학습할 수 있도록 하는 것을 목표로 하며, 더 나아가 HuGE를 사용하여 여러 에이전트를 동시에 학습시켜 협업 AI 학습을 위한 새로운 가능성을 열어갈 계획입니다.
인간 참여형 탐색(HuGE)은 AI 훈련에 있어 획기적인 도약을 의미하며, AI 에이전트에게 새로운 작업을 가르치는 과정을 간소화합니다. 비전문가 사용자들의 집단 지혜를 활용하는 HuGE는 학습 속도를 높이고, 전문가가 설계한 보상 함수의 필요성을 줄이며, 로봇이 복잡한 기술을 자율적으로 습득할 수 있는 길을 열어줍니다. AI 분야가 지속적으로 발전함에 따라, HuGE는 협업 및 크라우드소싱 학습이 지능형 에이전트의 미래를 만들어갈 잠재력을 보여주는 증거로 자리매김하고 있습니다.
