메타(Meta)는 마침내 라마(Llama) 3의 출시를 확정했습니다. 런던에서 열린 행사에서 메타는 자사의 고급 AI 모델에 대한 세부 정보와 출시 시기를 공개했습니다. 테크크런치(Techcrunch) 보도에 따르면, 메타 경영진은 오픈 소스 대규모 언어 모델의 차세대 버전을 곧 출시할 예정이라고 밝혔습니다.
메타(Meta)는 먼저 라마 3(Llama 3)의 축소 버전을 출시하고, 그 후에 완전한 오픈 소스 모델을 공개할 것으로 예상된다고 더 인포메이션(The Information)이 보도했습니다. 그런데 왜 애초에 축소 버전을 먼저 출시하는 걸까요? 더 인포메이션의 주장은 일리가 있어 보입니다. 이를 통해 완전한 모델의 기능에 대한 기대감을 조성할 수 있는 기회를 만들 수 있기 때문입니다.
라마 3와 출시일에 대해 우리가 알고 있는 것
Llama 3의 출시로 LLM 업계의 거물인 GPT 4의 독주 체제에 도전장을 내밀 것으로 예상됩니다. Llama 3는 오픈 소스 LLM 분야에서 가장 진보된 모델이 될 것으로 기대되며, Llama 2처럼 다양한 모델로 제공될 예정입니다. Meta의 글로벌 담당dent 닉 클레그는 행사에서 이와 같이 말했습니다
"다음 달 안에, 아니, 더 빨리, 바라건대 아주 짧은 시간 안에, 차세대 기초 모델 제품군인 Llama 3를 출시할 수 있기를 기대합니다."
클레그의 발언은 라마 3의 다양한 버전이 출시될 가능성을 분명히 암시하며, 그는 또한 다음과 같이 덧붙였다
"올해 안에, 아주 скоро 시작될 예정인 다양한 기능과 활용성을 갖춘 여러 모델들이 출시될 것입니다."
출처: 테크크런치
The Information의 주장에 대해 이야기해 봅시다. 그럴듯해 보이지 않나요? 현재까지 우리가 알고 있는 Llama 3에 대한 정보는 다음과 같습니다. 소형부터 초대형까지 다양한 버전과 크기로 출시될 예정이며, Haiku, Claude, Gemini Nano와 같은 소형 모델부터 GPT 4와 같은 초대형 모델까지 모든 기능을 갖춘 모델이 포함될 것입니다. 더 자세한 정보는 없지만, Llama 2와 Multimodel처럼 오픈 소스이며 텍스트와 시각 정보를 모두 인식할 수 있는 기능을 갖추고 있다는 것은 확실합니다.
오픈소스를 폐쇄형 모델과 비교하는 비평가들
Llama는 오픈 소스 모델이지만, 단순히 공개된 것이 아닙니다. Meta의tron지원과 풍부한 자원이 뒷받침되고 있으며, Meta는 타사 개발자와 연구원들을 적극적으로 활용하고자 합니다. 하지만 오픈 소스 모델에 대한 이러한 긍정적인 평가에도 불구하고, 일부 비평가들은 GPT 4와 같은 비공개 개발 모델에 비해 오픈 소스 모델의 성능에 대해 여전히 회의적인 시각을 가지고 있습니다. 그들이 이러한 견해를 갖게 된 데에는 나름의 이유가 있습니다.
논쟁은 모델 학습을 위한 거대한 데이터셋 구축에 필요한 자원에서 시작됩니다. ChatGPT와 같은 모델은 사람이 직접 태그를 지정한 방대한 데이터셋 구조를 가지고 있다는 주장이 제기됩니다. 물론, 어떤 기계도 아직 인간의 능력을 따라잡을 수는 없지만, 우리는 그에 점점 가까워지고 있을까요? 앞으로 2년 안에 그럴 수도 있고 아닐 수도 있습니다. 또 다른 이유는 가용성입니다. 이는 타당한 지적이지만, 기술 역사를 보면 소규모 스타트업이 혁신적인 솔루션으로 대기업을 능가하는 경우가 종종 있었습니다. 하지만 현실은 OpenAI에는 연봉이 백만 달러가 넘는 엔지니어들이 근무하고 있다는 점입니다.
그들이 제기하는 또 다른 문제는 팀 프레임워크입니다. 오픈 소스 기반의 분산형 접근 방식은 중앙 집중식 팀의 성과를 따라잡을 수 없다는 주장입니다. 또한, 퍼블릭 클라우드 인프라는 OpenAI나 구글이 자랑하는 수준에 미치지 못하며, 이는 오픈 소스 팀이 빠른 속도로 점진적인 개선을 이루는 데에도 걸림돌이 됩니다. 이러한 모든 이유들이 오픈 소스 시스템에 반대하는 충분한 근거가 됩니다. 하지만, Llama는 오픈 소스 프로젝트임에도 불구하고 Meta가 막대한 자원을 투입하여 지원하고 있다는 사실은 잘 알려져 있습니다.
Meta, GPU에 투자
지난 1월, 마크 저커버그는 새로운 H100 GPU 35만 개를 포함한 대규모 컴퓨팅 인프라를 구축 중이며, 다른 GPU까지 포함하면 거의 60만 개의 H100이 사용될 것이라고 밝혔습니다. 이는 GPT 4 학습에 사용되었던 OpenAI보다 훨씬 강력한 컴퓨팅 파워입니다. 인공지능 분야에만 수십억 달러가 투자되고 있습니다.
Llama 3는 Meta AI 어시스턴트의 뿐만 아니라, 회사 전체 앱 제품군에 걸쳐 다양한 제품에 통합될 예정입니다. 과연 Llama 3가 GPT 4의 독주에 도전할 수 있을까요? 전작인 Llama 2의 사례를 살펴보면 trac 프랑스의 Mistral을 비롯한 여러 개발사에서 이를 기반으로 최적화 작업을 거쳐 가장 진보된 오픈 소스 LLM(로지스틱 회귀 모델)들이 구축되었습니다.
일부 모델은 성능 면에서 GPT 3.5를 능가하기도 했으므로, 고급 기능을 갖춘 Llama 3가 GPT 4와 동등하거나 그 이상의 성능을 내는 새로운 LLM 제품에 사용될 것이라고 추측할 수 있습니다. 이러한 제품들은 학습 비용을 공유하고 낮추면서도 더 많은 사람들이 참여할 수 있도록 해줄 것입니다.
경쟁은 훨씬 더 치열해질 것입니다. 오픈 소스 커뮤니티는 LLama 3를 뛰어넘는 혁신을 시도하며 이전처럼 자체 솔루션을 내놓을 것이고, OpenAI 또한 몇 달 안에 GPT 5를 출시할 예정입니다. 앞으로 펼쳐질 흥미진진한 시대가 기대됩니다.
