인공지능(AI) 에이전트를 교육하는 획기적인 접근법인 휴먼 가이드 탐험(HuGE, Human Guided Exploration)이 AI 연구에 혁신적인 방법으로 부상했습니다. MIT, 하버드 대학교, 워싱턴 대학교 연구진이 공동 개발한 HuGE는 AI 에이전트가 전문가가 아닌 인간의 피드백을 통해 새로운 작업을 더욱 빠르고 효과적으로 학습할 수 있도록 합니다. 이 혁신적인 기술은 AI 에이전트가 새로운 기술을 습득하는 방식에 혁명을 일으켜, 로봇이 크라우드소싱 피드백의 안내를 받아 복잡한 작업을dent으로 학습할 수 있도록 합니다.
AI 훈련의 과제
AI 에이전트가 새로운 작업을 수행하도록 훈련하는 데는 일반적으로 강화 학습이라는 프로세스가 포함됩니다. 강화 학습은 에이전트가 시행착오를 통해 학습하고, 미리defi된 목표에 더 가까워지는 행동에 대해 보상을 받는 방식입니다. 많은 경우, 인간 전문가는 AI 에이전트가 탐색하고 행동하도록 동기를 부여하는 인센티브 메커니즘인 보상 함수를 꼼꼼하게 설계해야 합니다. 그러나 이러한 보상 함수를 설계하는 것은 시간이 많이 걸리고 비효율적이며, 특히 여러 단계가 포함된 복잡한 작업의 경우 확장하기가 어려울 수 있습니다.
크라우드소싱 피드백을 솔루션으로 활용
HuGE 방식은 비전문가 사용자로부터 수집된 크라우드소싱 피드백을 활용하여 AI 에이전트의 학습 과정을 안내함으로써 혁신적인 변화를 가져옵니다. 전문가가 설계한 보상 함수에 의존하는 기존 방식과 달리, HuGE는 비전문가의 노이즈가 많은 데이터를 처리할 때에도 AI 에이전트가 더 빠르게 학습할 수 있도록 지원합니다. 비전문가의 피드백에는 다른 방식에 지장을 줄 수 있는 오류가 포함될 수 있습니다.
학습 과정 분리
HuGE 연구진은 학습 과정을 두 가지 뚜렷한 구성 요소로 나누었으며, 각 구성 요소는 알고리즘에 의해 구동됩니다. 이러한 접근 방식은 목표 선택과 탐색 단계를 분리하여, 에이전트가 크라우드소싱 피드백을 통해 효율적으로 학습할 수 있도록 합니다. HuGE의 두 가지 핵심 구성 요소는 다음과 같습니다.
1. 목표 선택 알고리즘 : 이 접근 방식은 비전문가 사용자의 피드백을 기반으로 지속적으로 업데이트됩니다. 피드백을 직접적인 보상 함수로 사용하는 대신, 에이전트의 탐색을 안내합니다. 사용자는 원하는 목표에 더 가까운 상태를 선택하여 입력을 제공하고, 에이전트는 이에 따라 탐색을 조정합니다.
2. 에이전트 탐색: AI 에이전트는 목표 선택기의 피드백에 따라 독립적 dent 환경을 탐색합니다. 자신의 행동에 대한 이미지나 비디오와 같은 데이터를 수집하여 추가 피드백을 위해 인간 사용자에게 전송합니다. 이 루프는 에이전트의 탐색 범위를 좁히고 목표 달성을 위한 유망한 경로를 안내합니다.
HuGE의 이점
HuGE는 AI 에이전트를 훈련하는 데 있어 기존 방식보다 여러 가지 장점을 제공합니다.
- 더 빠른 학습: 이 접근 방식을 통해 AI 에이전트는 인간의 피드백에 오류나 부정확한 내용이 포함되어 있더라도 새로운 작업을 더 빠르게 학습할 수 있습니다.
- 비동기 피드백: HuGE를 사용하면 전 세계의 비전문가 사용자로부터 비동기적으로 피드백을 수집할 수 있으므로 확장 가능하고 다재다능한 솔루션입니다.
- 자율 학습: 피드백이 제한되거나 지연되더라도 에이전트는 자율적으로 계속 학습할 수 있으므로 지속적인 진행이 보장됩니다.
실제 테스트와 시뮬레이션 테스트
연구진은 HuGE의 효과를 검증하기 위해 시뮬레이션 및 실제 작업 모두에 대한 광범위한 테스트를 수행했습니다. 시뮬레이션에서는 블록을 특정 순서대로 쌓거나 복잡한 미로를 탐색하는 등 일련의 동작이 긴 복잡한 작업을 수행하도록 AI 에이전트를 성공적으로 훈련시켰습니다. 실제 실험에서는 로봇 팔이 도형을 그리고 물건을 집어 올리도록 훈련하는 것이 포함되었으며, 13개국 3개 대륙의 비전문가 사용자들로부터 크라우드소싱된 데이터를 활용했습니다.
확장 및 향후 응용 프로그램
HuGE의 유망한 결과와 비전문가 피드백을 쉽게 얻을 수 있다는 점은 AI 훈련 확장에 큰 잠재력을 가지고 있음을 시사합니다. 미래에 이 방법을 통해 로봇은 물리적 시연 없이도 사용자의 집에서 특정 작업을 학습하고 수행할 수 있게 될 것입니다. 크라우드소싱 피드백을 활용함으로써 로봇은 비전문가의 집단적 입력에 따라 자율적으로 탐색할 수 있습니다.
연구진은 AI 에이전트가 인간의 가치와 윤리적 고려 사항에 부합하도록 하는 것이 중요하다고 강조합니다. AI 에이전트가dent으로 학습하고 결정을 내리기 때문에, 윤리 지침과 가치 일치는 안전하고 책임감 있는 AI 활용에 매우 중요합니다.
미래 방향
연구팀은 HuGE 접근법을 더욱 발전시키는 것을 목표로 합니다. AI 에이전트가 자연어 및 로봇과의 물리적 상호작용과 같은 다양한 형태의 의사소통을 통해 학습할 수 있도록 할 계획입니다. 또한, HuGE를 사용하여 여러 에이전트를 동시에 훈련시키는 가능성을 모색하고 있으며, 이를 통해 협력적 AI 학습의 새로운 지평을 열 것입니다.
인간 주도 탐색(HuGE)은 AI 학습에 있어 획기적인 진전을 이루며, AI 에이전트에게 새로운 과제를 가르치는 과정을 간소화합니다. 비전문가 사용자의 집단 지성을 활용하여 HuGE는 학습 속도를 높이고, 전문가가 설계한 보상 함수의 필요성을 줄이며, 로봇이 복잡한 기술을 자율적으로 습득할 수 있는 길을 열어줍니다. AI 분야가 끊임없이 발전함에 따라, HuGE는 지능형 에이전트의 미래를 형성하는 데 있어 협력적이고 대중 주도적인 학습의 잠재력을 보여주는 증거로 자리매김하고 있습니다.
오늘 Bybit 에 가입하면 최대 30,050달러의 거래 보상을 받으세요
