놀라운 성과로, 소프트웨어 개발자이자 자칭 스프레드시트 애호가인 Ishan Anand는 GPT-2 언어 모델을 Microsoft Excel에 성공적으로 통합했습니다. 이 획기적인 성취는 스프레드시트의 다양성을 보여줄 뿐만 아니라, 특히 지능적인 다음 토큰 예측을 담당하는 기반 트랜스포머 아키텍처를 포함한 대규모 언어 모델(LLM)이 작동하는 방식에 대한 독특한 관점을 제공합니다.

Anand의 선구적인 접근 방식

아난드의 선구적인 접근 방식

AI 시스템의 내재된 복잡성을 인지한 아난드는 스프레드시트를 이해하면 인공지능의 비밀을 풀 수 있다고 믿습니다. 그는 자신감 있게 "스프레드시트를 이해할 수 있다면 AI도 이해할 수 있다"고 말합니다. 이 개발자의 혁신적인 접근 방식은 1.25GB 크기의 스프레드시트를 탄생시켰으며, 그는 이를 GitHub에서 누구나 다운로드하고 탐색할 수 있도록 공개했습니다.

아난드의 GPT-2 스프레드시드 구현이 현대적인 대규모 언어 모델(LLM)의 최첨단 기능을 모두 갖추지는 못했을지라도, 2019년 최첨단 성능으로 큰 주목을 받았던 획기적인 GPT-2 모델에 대한 가치 있는 통찰을 제공합니다. GPT-2는 대화형 AI 시대에 앞서 있으며, ChatGPT는 2022년 GPT-3를 대화형으로 프롬프트하기 위한 노력에서 탄생했다는 점을 유의해야 합니다.

트랜스포머 아키텍처 탐색

아난드의 Excel 구현의 핵심에는 1억 2400만 개의 파라미터를 자랑하는 GPT-2 Small 모델이 자리 잡고 있습니다. 반면, GPT-2의 전체 버전은 무려 15억 개의 파라미터를 사용했으며, 그 후속작인 GPT-3는 최대 1750억 개의 파라미터로 기준을 한층 더 높였습니다. 비교적 작은 규모임에도 불구하고, 아난드의 구현은 언어 모델이 입력 시퀀스를 가장 가능성 높은 다음 부분으로 지능적으로 완성하는 '다음 토큰 예측' 기능을 수행하는 트랜스포머 아키텍처의 능력을 보여줍니다.

이 스프레드시드는 GPT-4 Turbo의 128,000개 토큰 수용량에 비해 극히 일부인 입력 토큰 10개만 처리할 수 있지만, 아난드의 작업은 가치 있는 교육 자료로 작용합니다. 그는 자신의 '로우코드 소개'가 LLM의 기초를 더 잘 이해하고자 하는 기술 임원, 마케팅 담당자, 제품 관리자, AI 정책 입안자, 윤리학자, 개발자 및 과학자에게 이상적이라고 믿습니다.

현대 LLM의 기반

아난드는 자신의 GPT-2 구현에 사용된 트랜스포머 아키텍처가 "OpenAI의 ChatGPT, Anthropic의 Claude, Google의 Bard/Gemini, Meta의 Llama 및 기타 많은 LLM의 기반"이라고 단언합니다. 그의 다중 시트 작업은 단어 토큰화, 텍스트 위치 및 가중치, 다음 단어 예측의 반복적 정제, 그리고 최종적으로 출력 토큰(시퀀스의 예측된 마지막 단어) 선택까지 사용자를 안내합니다.

아난드의 Excel 기반 구현의 주목할 만한 장점 중 하나는 클라우드 서비스나 API 호출에 의존하지 않고 LLM을 PC에서 완전히 로컬에서 실행할 수 있다는 점입니다. 그러나 그는 이 Excel 파일을 Mac이나 클라우드 기반 스프레드시드 애플리케이션에서 사용하려고 시도하면 충돌 및 성능 문제가 발생할 수 있으므로 주의할 것을 경고합니다. 또한 아난드는 최적의 성능을 위해 최신 버전의 Excel을 사용할 것을 권장합니다.

아난드의 GPT-2 구현이 현대적인 LLM의 기능을 모두 갖추지는 못했을지라도, 이는 놀라운 교육 도구이자 스프레드시드의 다재다능함을 입증하는 증거입니다. 아난드의 작업은 언어 모델의 내부 작동 방식을 해명하여 다양한 배경을 가진 개인들이 인공지능과 그 기반 아키텍처 원리에 대해 더 깊이 이해할 수 있도록 힘을 실어줍니다.