생성형 AI에서 빅 테크에 도전하기 위한 유럽의 비밀 무기

생성형 AI는 현재 기술계에서 가장 핫한 화제이며, 마이크로소프트, 구글, 아마존, 메타와 같은 주요 플레이어들이 대규모 언어 모델(LLM)로 장악하고 있습니다. 이러한 LLM들은 기술의 다음 주요 돌파구로 널리 간주됩니다. 그러나 영어를 넘어선 언어에서 빅 테크의 우위를 도전하려는 유럽에게 희망의 빛이 있습니다.

컴퓨팅과 데이터의 딜레마

빅 테크의 AI 영역에서의 지배력은 방대한 컴퓨팅 파워뿐만 아니라 인터넷에서 스크랩한 광범위한 언어 데이터 접근성에도 의해 주도됩니다. 유럽 기업이 영어 LLM 구축에서 빅 테크를 능가하는 것은 어려운 일일 수 있지만, 실로(Silo)라는 핀란드 AI 회사가 ‘포로(Poro, 핀란드어로 순록)’라는 다국어 모델로 유망한 결과를 내놓았습니다.

포로는 핀란드어와 영어 텍스트 모두로 훈련되어, 서로 다른 언어를 혼합하여 고성능 LLM을 만들 수 있음을 증명합니다. 실로는 초기 결과가 메타의 오픈 소스 Llama 모델들과 경쟁력 있음을 보여준다고 주장합니다. 투르쿠 대학교와의 실로의 협력은 2022년부터 80개 언어에 걸쳐 무려 7 페타바이트(7,000 테라바이트)의 언어 데이터를 수집한 EU 자금 지원 프로젝트인 ‘고성능 언어 기술(HPLT)’ 프로젝트에서 보물과 같은 데이터를 활용했습니다. 이를 비교하자면, ChatGPT 출시 버전을 powering한 GPT-3.5는 45 테라바이트의 텍스트 데이터로 훈련되었습니다.

HPLT 사례와 같이 고품질의 공공 자금 지원 텍스트 데이터에 접근할 수 있으면, Silo와 같은 모델이 온라인 데이터 가용성이 제한된 언어에서 우위를 점할 수 있습니다.

다국어 접근 방식

핀란드어와 같은 언어의 데이터 부족으로 인해, 실로는 영어와 핀란드어 데이터로 모델을 ‘크로스 트레이닝(cross-training)’하여 다국어 전략을 채택했습니다. 이 접근 방식은 모델에 두 언어의 텍스트를 공급하여 두 언어가 서로 어떻게 관련되는지 학습하도록 합니다. 그 결과, 모델은 핀란드어 코드를 이전에 접하지 못했더라도 핀란드어로 응답을 생성할 수 있습니다.

실로의 공동 설립자이자 CEO인 피터 살린(Peter Sarlin)은 “모델이 핀란드어 코드를 본 적이 없더라도 핀란드어로 코드를 생성할 수 있습니다.”라고 설명합니다. 실로는 크로스 트레이닝 기술을 오픈 소스로 제공할 계획이며, 이는 가용 데이터가 제한된 언어를 포함한 모든 유럽 언어에 대한 모델 개발의 길을 열 가능성이 있습니다.

기술적 주권 추구

살린 교수는 영어가 아닌 언어의 LLM 시장에서 상당한 기회가 있다고 지적합니다. 그는 유럽 기업들이 대형 미국 기업들이 소유한 기술에만 의존하지 않는 것의 중요성을 강조합니다. 빅 테크 AI 모델을 기반으로 구축하면 유럽에 남아있는 가치 창출이 거의 없을 수 있습니다. 따라서 유럽이 기술적 주권을 주장해야 한다는 요구가 커지고 있습니다.

LUMI의 슈퍼컴퓨팅 파워

포로의 훈련은 2022년에 가동된 EU 자금 지원 슈퍼컴퓨터인 LUMI의 혜택도 받았습니다. 주목할 점은 LUMI가 업계 표준인 NVIDIA 칩 대신 AMD 칩을 사용한다는 것입니다. 일부는 AMD 칩이 AI에 대해 비싸고 비효율적이라고 생각하지만, 실로 팀은 이에 최적화된 AI 훈련 소프트웨어 개발에 상당한 자원을 투자했습니다.

살린 교수는 그들은 이 소프트웨어의 상당 부분을 오픈 소스로 제공할 계획이며, 다른 회사들이 LUMI에서 모델 훈련을 돕는 데 전념하고 있다고 나타냅니다. 유럽 기업들이 AI 훈련을 위해 LUMI와 같은 자원을 활용할 수 있다면, 이는 AI 시대에 유럽이 자신의 입지를 확립하려는 노력에서 게임 체인저가 될 수 있습니다.

AI의 유럽 르네상스

빅 테크가 실리콘 밸리에서 AI 근육을 계속 과시하는 가운데, 유럽은 조용히 자체 무기를 구축하고 있습니다. 이 대륙의 강점은 다국어 접근 방식, 공공 자금 지원 언어 데이터 활용, LUMI와 같은 대안 컴퓨팅 옵션 탐색에 있습니다. 앞길이 어려울 수 있지만, 유럽이 글로벌 AI 무대에서 경쟁하려는 의지는 분명합니다.

생성형 AI에서 빅 테크의 지배력에 맞서는 유럽의 비밀 무기는 다양성, 협력, 그리고 기술적 주권에 대한 헌신에 뿌리를 두고 있습니다. 실로의 포로 모델이 달성할 수 있는 것을 증명하는 것처럼, 유럽은 AI 세계에서 자신의 흔적을 남길 fighting chance를 가질 수 있습니다.