GPT-2를 마이크로소프트 엑셀에 통합: 인공지능 모델링에 대한 비전통적인 접근 방식

놀라운 성과로, 소프트웨어 개발자이자 자칭 스프레드시트 애호가인 이샨 아난드가 GPT-2 언어 모델을 마이크로소프트 엑셀에 성공적으로 통합했습니다. 이 획기적인 성과는 스프레드시트의 다재다능함을 보여줄 뿐만 아니라, 특히 지능형 다음 토큰 예측을 담당하는 트랜스포머 아키텍처를 비롯한 대규모 언어 모델(LLM)의 작동 방식에 대한 독특한 시각을 제공합니다.

아난드의 선구적인 접근 방식

인공지능 시스템의 내재적인 복잡성을 인식한 아난드는 스프레드시트를 이해하는 것이 인공지능의 비밀을 푸는 열쇠라고 믿습니다. 그는 "스프레드시트를 이해할 수 있다면 인공지능도 이해할 수 있다"dent말합니다. 이 개발자의 혁신적인 접근 방식은 1.25GB 크기의 스프레드시트를 만들어냈고, 그는 누구나 다운로드하여 살펴볼 수 있도록 GitHub에 이를 공개했습니다.

아난드의 스프레드시트 기반 GPT-2 구현은 최신 LLM의 최첨단 기능과는 다소 차이가 있을 수 있지만, 2019년 최첨단 성능으로 큰 주목을 받았던 획기적인 GPT-2 모델을 엿볼 수 있는 귀중한 기회를 제공합니다. GPT-2는 대화형 AI 시대보다 앞서 개발되었으며, ChatGPT는 2022년 GPT-3에 대화형 기능을 부여하려는 노력의 결과물이라는 점을 유념해야 합니다.

변압기 아키텍처 탐구

아난드의 엑셀 구현의 핵심은 1억 2400만 개의 파라미터를 가진 GPT-2 Small 모델입니다. 이와 대조적으로, GPT-2 전체 버전은 무려 15억 개의 파라미터를 사용했고, 후속 버전인 GPT-3는 최대 1750억 개의 파라미터로 그 규모를 더욱 키웠습니다. 상대적으로 작은 규모에도 불구하고, 아난드의 구현은 트랜스포머 아키텍처가 언어 모델이 입력 시퀀스를 가장 가능성이 높은 다음 부분으로 지능적으로 완성하는 "다음 토큰 예측" 기능을 수행할 수 있음을 보여줍니다.

이 스프레드시트는 GPT-4 Turbo의 128,000개 토큰 처리 용량에 비하면 극히 적은 10개의 입력 토큰만 처리할 수 있지만, 아난드의 연구는 귀중한 교육 자료로서 가치가 있습니다. 그는 자신의 "로우코드 입문서"가 LLM의 기초를 더 잘 이해하고자 하는 기술 경영진, 마케터, 제품 관리자, AI 정책 입안자, 윤리학자, 개발자 및 과학자들에게 이상적이라고 생각합니다.

현대 LLM 과정의 기초

아난드는 자신의 GPT-2 구현에 사용된 트랜스포머 아키텍처가 "OpenAI의 ChatGPT, Anthropic의 Claude, Google의 Bard/Gemini, Meta의 Llama 및 기타 여러 LLM의 기반이 된다"고 주장합니다. 그의 여러 페이지로 구성된 자료는 사용자가 단어 토큰화, 텍스트 위치 및 가중치 설정, 다음 단어 예측의 반복적인 개선, 그리고 최종적으로 출력 토큰(시퀀스의 예측된 마지막 단어)을 선택하는 과정을 안내합니다.

아난드의 엑셀 기반 구현 방식의 주목할 만한 장점 중 하나는 클라우드 서비스나 API 호출에 의존하지 않고 PC에서 LLM을 완전히 로컬로 실행할 수 있다는 점입니다. 하지만 맥이나 클라우드 기반 스프레드시트 애플리케이션에서 이 엑셀 파일을 사용하려고 하면 충돌이나 성능 문제가 발생할 수 있으므로 사용하지 않는 것이 좋다고 아난드는 경고합니다. 또한 최적의 성능을 위해서는 최신 버전의 엑셀을 사용하는 것이 좋습니다.

아난드의 GPT-2 구현은 최신 언어 학습 모델(LLM)의 성능에는 미치지 못할지 모르지만, 훌륭한 교육 도구이자 스프레드시트의 다재다능함을 보여주는 증거입니다. 언어 모델의 작동 방식을 명확히 설명함으로써, 아난드의 연구는 다양한 배경을 가진 사람들이 인공지능과 그 기반이 되는 아키텍처 원리를 더 깊이 이해할 수 있도록 도와줍니다.