혁신적인 훈련 방식이 AI에게 인간과 같은 일반화 능력을 부여하다

인공지능(AI) 분야에서 획기적인 발전으로, 연구자들은 AI 모델의 일반화 능력과 정보 이해 능력을 크게 향상시킬 수 있는 새로운 훈련 프로토콜을 공개했습니다. 이는 AI가 인간처럼 학습하고 추론하는 방식에 한 걸음 더 가까워지게 합니다. 이 혁신적인 접근 방식은 더 많은 데이터가 기계 학습을 개선하는 열쇠라는 기존 신념에 도전하며, AI와 인간 인지 모두의 비밀에 대한 새로운 통찰을 제공합니다.

인간은 세계를 이해하고 다양한 구성 요소를 결합하여 의미를 파악하는 데 탁월한데, 이는 '구성성(compositionality)' 또는 '체계적 일반화(systematic generalization)'라고 불리는 인지 기술입니다. 이를 통해 우리는 낯선 문장을 해독하고, 독창적인 응답을 생성하며, 단어와 문법 규칙의 근본적인 의미를 이해할 수 있습니다. 구성성을 달성하는 것은 오랫동안 AI 개발자들의 과제로 남아왔는데, 이는 전통적인 신경망이 인간의 인지에서 이 근본적인 측면을 모방하는 데 어려움을 겪기 때문입니다.

현재 OpenAI의 GPT-3 및 GPT-4와 같은 생성형 AI 모델은 어느 정도 구성성을 모방할 수 있지만, 특정 벤치마크에서는 미흡한 모습을 보이며 생성된 문장의 의미와 의도를 진정으로 파악하지 못하는 경우가 많습니다. 그러나 최근 Nature에 게재된 연구에 따르면, 신경망이 어떻게 학습하는지에 초점을 맞춘 독특한 훈련 프로토콜이 이러한 과제를 해결하는 열쇠가 될 수 있다고 합니다.

학습 과정의 재구성

연구 저자들은 AI를 훈련하기 위해 다른 접근 방식을 취하여, 완전히 새로운 AI 아키텍처를 구축할 필요성을 피했습니다. 대신 그들은 ChatGPT와 Google의 Bard에서 사용되는 동일한 기반 아키텍처인 표준 트랜스포머 모델로 시작했지만, 사전 텍스트 훈련은 없었습니다. 핵심적인 혁신은 훈련 방식 자체에 있었습니다.

연구자들은 'dax', 'lug', 'kiki', 'fep', 'blicket'과 같은 무의미한 단어로 구성된 가상의 언어를 다루는 일련의 작업을 설계했습니다. 이러한 단어들은 색색의 점들의 집합과 연결되었으며, 일부 단어는 특정 점의 색상을 직접 나타내고 다른 단어들은 점의 출력을 변경하는 기능을 나타냈습니다. 예를 들어, 'dax'는 빨간 점을 나타냈고, 'fep'은 'dax'나 다른 상징적 단어와 결합할 때 해당 점의 출력을 3배로 곱하는 함수였습니다. 결정적으로, AI는 이러한 연관성에 대한 정보를 받지 못했습니다. 연구자들은 단순히 무의미한 문장의 예시와 해당 점의 구성을 함께 제공했을 뿐입니다.

인간과 유사한 이해를 달성하는 AI

AI 모델이 훈련을 진행함에 따라, 점차 무의미한 언어의 암시된 규칙을 준수하며 일관되게 반응하는 방법을 학습했습니다. 심지어 낯선 단어 조합이 제시되었을 때도, AI는 언어가 발명한 규칙을 '이해'하고 이전에 보지 못한 구문에 적용하는 능력을 보여주었습니다. 이 놀라운 성취는 AI가 일반화할 잠재력을 가지고 있음을 시사하며, 이는 인간과 유사한 추론으로 가는 중요한 단계입니다.

AI의 성능을 평가하기 위해 연구자들은 이를 인간 참가자와 비교했습니다. 일부 경우에서 훈련된 AI는 100%의 정확도로 응답하여 약 81%의 정확도를 보인 인간을 능가했습니다. AI가 실수를 하더라도, 그 실수는 인간들이 흔히 저지르는 오류와 유사하여 인간과 유사한 추론 능력을 강조했습니다.

특히 주목할 만한 점은 이 놀라운 성능이 방대한 데이터셋으로 훈련된 거대한 AI가 아니라, 비교적 작은 트랜스포머 모델로 달성되었다는 것입니다. 이 발견은 기계 학습 모델에 끝없는 데이터를 쏟아붓는 것보다, 전문적인 언어학이나 대수학 수업과 같은 더 집중적인 접근 방식이 AI 능력의 상당한 향상을 가져올 수 있음을 시사합니다.

함의와 향후 방향

이 새로운 훈련 프로토콜이 유망한 결과를 제공하지만, 그 한계를 인정하는 것이 중요합니다. 이 AI 모델은 조작된 언어 내 패턴 인식과 관련된 특정 작업에서는 탁월했지만, 완전히 새로운 과제나 연습되지 않은 형태의 일반화에 직면했을 때는 어려움을 겪었습니다. 따라서 AI에서 제한된 일반화를 달성하는 것은 중요한 단계이지만, 인공 일반 지능(AGI)이라는 궁극적인 목표에는 미치지 못한다는 점을 인식하는 것이 중요합니다.

매사추세츠 공과대학교(MIT)의 컴퓨터 과학자 Armando Solar-Lezama는 이 연구가 AI를 개선하기 위한 새로운 길을 열 수 있다고 지적합니다. 합성 작업에서도 모델이 효과적으로 추론하도록 가르치는 데 집중함으로써, 우리는 현재 한계를 넘어 AI 능력을 향상시키는 방법을 찾을 수 있습니다. 그러나 이러한 새로운 훈련 프로토콜을 확장하는 것은 해결해야 할 과제를 제시할 수 있습니다.

AI에 대한 실용적인 함의 외에도, 이 연구는 신경망의 내부 작동 방식과 그로 인해 발생하는 능력을 밝히는 데 도움이 될 수 있습니다. 이러한 과정을 이해하는 것은 AI 시스템의 오류를 최소화하고 인간 인지에 대한 우리의 이해를 향상시키는 데 기여할 수 있습니다.