혁신적인 훈련 방식을 통해 인공지능이 인간처럼 일반화할 수 있게 되었습니다

인공지능(AI) 분야에 획기적인 발전이 이루어졌습니다. 연구진은 AI 모델의 일반화 능력과 정보 이해 능력을 크게 향상시켜 인간의 학습 및 추론 방식에 더욱 가깝게 만드는 새로운 훈련 프로토콜을 공개했습니다. 이 혁신적인 접근 방식은 더 많은 데이터가 머신러닝 성능 향상의 핵심이라는 기존의 통념에 도전하며, AI와 인간 인지 모두의 비밀에 대한 새로운 통찰력을 제공합니다.

인간은 다양한 요소를 이해하고 조합하여 세상을 이해하는 데 탁월한 능력을 가지고 있는데, 이러한 인지 능력을 "구성성" 또는 "matic 일반화"라고 합니다. 구성성 덕분에 우리는 낯선 문장을 해독하고, 독창적인 답변을 만들어내며, 단어와 문법 규칙에 숨겨진 의미를 파악할 수 있습니다. 기존의 신경망은 인간 인지의 이러한 근본적인 측면을 모방하는 데 어려움을 겪어왔기 때문에, 구성성을 구현하는 것은 오랫동안 인공지능 개발자들에게 어려운 과제였습니다.

오픈아이얼의 GPT-3 및 GPT-4와 같은 현재의 생성형 AI 모델은 어느 정도 문장의 구성성을 모방할 수 있지만, 특정 기준에서 종종 부족함을 보이며 생성된 문장의 의미와 의도를 진정으로 파악하지 못합니다. 그러나 네이처(Nature)에 발표된 최근 연구에 따르면 신경망의 학습 방식에 초점을 맞춘 독특한 훈련 프로토콜이 이러한 문제를 해결하는 열쇠가 될 수 있다고 합니다.

학습 과정의 재구성

훈련에 대한 다른 접근 방식을 취했습니다 AI . 대신, ChatGPT와 구글의 Bard에서 사용되는 것과 동일한 기본 아키텍처인 표준 트랜스포머 모델을 사용하되, 사전 텍스트 학습은 거치지 않았습니다. 핵심적인 혁신은 바로 이 훈련 방식 자체에 있었습니다.

연구진은 "dax", "lug", "kiki", "fep", "blicket"과 같은 무의미한 단어들로 구성된 가상의 언어를 사용하는 일련의 과제를 설계했습니다. 이 단어들은 각각 색깔 있는 점들과 연관되어 있었는데, 어떤 단어는 특정 점의 색깔을 직접적으로 나타내고, 다른 단어는 점의 색깔을 바꾸는 기능을 나타냈습니다. 예를 들어, "dax"는 빨간색 점을 나타내고, "fep"는 "dax" 또는 다른 상징적인 단어와 결합될 때 해당 점의 색깔을 세 배로 늘리는 기능을 나타냈습니다. 중요한 것은 인공지능이 이러한 연관성에 대한 정보를 전혀 받지 않았다는 점입니다. 연구진은 단지 무의미한 문장의 예시와 그에 해당하는 점 배열만을 제공했습니다.

인공지능, 인간과 유사한 이해력 달성

인공지능 모델은 훈련을 거치면서 점차 무의미한 언어에 내재된 규칙을 준수하며 일관성 있게 반응하는 법을 학습했습니다. 심지어 새로운 단어 조합이 제시되었을 때에도, 인공지능은 언어가 만들어낸 규칙을 "이해"하고 이전에 접하지 못한 구문에도 적용하는 능력을 보여주었습니다. 이러한 놀라운 성과는 인공지능이 일반화 능력을 갖추고 있음을 시사하며, 이는 인간과 유사한 추론으로 나아가는 데 중요한 단계입니다.

연구진은 인공지능의 성능을 평가하기 위해 인간 참가자들과 비교했습니다. 어떤 경우에는 훈련된 인공지능이 100%의 정확도로 응답하여 약 81%의 정확도를 보인 인간을 능가했습니다. 인공지능이 실수를 저지른 경우에도, 그 실수는 인간이 흔히 저지르는 오류와 유사하여 인간과 비슷한 추론 능력을 보여주었습니다.

특히 주목할 만한 점은 이러한 놀라운 성능이 방대한 데이터셋으로 훈련된 거대한 AI가 아닌, 비교적 작은 트랜스포머 모델로 달성되었다는 것입니다. 이는 머신러닝 모델에 끝없는 데이터를 쏟아붓는 것보다는, 전문적인 언어학이나 대수학 수업처럼 특정 분야에 집중하는 접근 방식이 AI 능력 향상에 상당한 효과를 가져올 수 있음을 시사합니다.

시사점 및 향후 방향

이 새로운 훈련 프로토콜은 유망한 결과를 보여주지만, 그 한계를 인지하는 것이 중요합니다. AI 모델은 인위적으로 만들어진 언어 내 패턴 인식과 관련된 특정 작업에서는 뛰어난 성능을 보였지만, 완전히 새로운 문제나 익숙하지 않은 형태의 일반화에는 어려움을 겪었습니다. 따라서 AI에서 제한적인 일반화 능력을 달성하는 것은 중요한 진전이지만, 궁극적인 목표인 인공 일반 지능에는 미치지 못한다는 점을 인식해야 합니다.

매사추세츠 공과대학의 컴퓨터 과학자 아르만도 솔라-레자마는 이 연구가 인공지능 개선을 위한 새로운 길을 열어줄 수 있다고 지적합니다. 합성 작업에서도 효과적으로 추론하도록 모델을 학습시키는 데 집중함으로써 현재의 한계를 뛰어넘는 인공지능의 능력을 향상시킬 수 있는 방법을 찾을 수 있을 것입니다. 그러나 이 새로운 학습 프로토콜을 확장하는 데에는 해결해야 할 과제들이 있습니다.

이 연구는 인공지능에 대한 실질적인 함의 외에도 신경망의 내부 작동 방식과 그 안에 내재된 능력에 대한 이해를 넓히는 데 기여할 수 있습니다. 이러한 과정을 이해함으로써 인공지능 시스템의 오류를 최소화하고 인간 인지에 대한 이해를 심화시킬 수 있을 것입니다.