Llama 3 다음 달 출시 예정

메타는 마침내 Llama 3의 출시를 확인했습니다. 런던에서 열린 행사에서 메타는 고급 AI 모델에 대한 일부 세부 사항과 출시 시간표를 공유했습니다. Techcrunch의 보도에 따르면, 메타 임원들은 곧 오픈 소스 대규모 언어 모델의 다음 버전을 출시할 것이라고 말했습니다.

The Information의 주장에 따르면, 메타는 먼저 Llama 3의 작은 버전을 출시한 후 전체 오픈 소스 모델을 출시할 것으로 예상됩니다. 하지만 왜 먼저 작은 버전을 출시할까요? 우리는 The Information의 주장이 타당하다고 생각합니다. 이는 전체 모델의 기능에 대한 기대감을 고조시킬 기회를 제공할 것이기 때문입니다.

Llama 3 및 출시 관련 정보

Llama 3의 출시는 LLM 거인인 GPT 4의 지배적 입지를 위협할 것으로 예상됩니다. Llama 3은 Llama 2와 같은 다양한 모델로 제공될 예정이며, 오픈 소스 카테고리에서 가장 진보된 LLM이 될 것으로 기대됩니다. 메타의 글로벌 어페어스 부사장은 행사에서 다음과 같이 말했습니다. 

"다음 달 안에, 실제로 그보다 더 짧고 hopefully 매우 짧은 기간 내에, 우리는 차세대 기반 모델인 Llama 3의 새로운 제품군 출시를 시작하기를 희망합니다."

클레그의 발언은 Llama 3의 다양한 버전이 Availability될 것임을 명확히 시사하며, 그는 추가로 다음과 같이 덧붙였습니다.

"올해 초부터 곧 시작하여, 다양한 기능과 다양한 유연성을 갖춘 여러 모델이 출시될 예정입니다."

출처: Techcrunch

The Information의 주장을 논해 보면, 합리적으로 보입니다. 이제 우리가 알고 있는 Llama 3에 대한 정보는 다음과 같습니다. Llama 3은 Haiku, Claude, Gemini Nano와 같은 모델부터 GPT 4와 같은 거대 모델에 이르기까지 작고 매우 큰 버전으로 출시될 예정입니다. 우리는 더 이상 알지 못하지만, Llama 2와 마찬가지로 오픈 소스이며 텍스트와 시각적 요소를 이해할 수 있는 Multimodel 기능도 갖추고 있다는 것은 확실합니다. 

오픈 소스와 폐쇄형 모델을 비교하는 비판

Llama는 오픈 소스 모델이지만, 공중에 떠 있는 것이 아닙니다. 우리는 메타와 그 자원에 대한 강력한 지원이 있다는 것을 알고 있으며, 메타는 제3자 개발자와 연구자를 활용하고자 합니다. 그러나 오픈 소스 모델에 대한 모든 우대에도 불구하고, 일부 비판자들은 GPT 4와 같은 폐쇄형 프라이빗 모델과 비교했을 때 그들의 역량에 대해 여전히 회의적입니다. 그들은 이러한 견해에 대한 나름의 이유를 가지고 있습니다. 

논쟁은 모델 훈련을 위한 거대한 데이터셋을 구축하는 데 필요한 자원으로부터 시작됩니다. ChatGPT와 같은 모델은 인간이 태그를 붙인 데이터로 구성된 거대한 데이터셋 구조를 가지고 있다고 주장합니다. 물론 아직 어떤 기계도 인간의 능력을 따라잡지 못하지만, 우리는 이에 더 가까워지고 있을까요? 다음 2년 동안은 아마도 그럴 수도 있고 아닐 수도 있습니다. 또 다른 이유는 가용성입니다. 이는 타당한 지적이지만, 우리는 기술사에서 작은 스타트업이 때때로 독창적인 솔루션으로 거대 기업보다 주요 기능에서 우위를 점하는 것을 보았습니다. 그러나 현실은 OpenAI가 연봉이 100만 달러를 초과하는 엔지니어들을 보유하고 있다는 것입니다.

그들이 제기하는 또 다른 점은 팀 프레임워크입니다. 즉, 오픈 소스의 분산형 접근 방식이 중앙 집중식 팀의 성과와 맞설 수 없다는 주장입니다. 공개 클라우드 인프라 또한 OpenAI와 Google이 자랑하는 인프라에 비해 열세이며, 이는 오픈 소스 팀이 빠른 속도로 점진적인 개선을 하는 것을 방해합니다. 종합적으로, 이러한 점들은 오픈 소스 시스템에 반대하는 충분한 이유가 됩니다. 그러나 우리가 알다시피, Llama가 오픈 소스임에도 불구하고 메타가 뒤를 받치고 있으며 막대한 자원을 할당하여 지원합니다. 

메타의 GPU 투자

지난 1월, 마크 주커버그는 새로운 35만 개의 H100 GPU로 막대한 컴퓨팅 인프라를 구축 중이라고 밝혔습니다. 다른 GPU를 포함하면 거의 60만 개의 H100이 탑재될 것입니다. 마크는 이 내용을 영상에서 언급했습니다. 이는 GPT 4를 훈련하는 데 사용된 OpenAI의 컴퓨팅 파워보다 훨씬 더 많은 것입니다. 이 투자는 AI 분야에만 수십억 달러에 달합니다.

Llama 3은 메타 AI 어시스턴트를 구동하며, 회사의 전체 앱 제품군 전반에 걸쳐 다양한 제품에 통합될 예정입니다. Llama 3이 GPT 4의 지배적 입지를 위협할까요? 전신인 Llama 2의 기록을 살펴보면, Llama 2는 프랑스의 Mistral 등 가장 진보된 오픈 소스 LLM들의 핵심이었으며, 이들은 이를 튜닝하고 최적화하여 구축되었습니다.

일부 모델은 이미 GPT 3.5의 성능을 능가했으며, 따라서 Llama 3은 고급 기능을 갖춘 새로운 LLM 제품에 사용되어 GPT 4의 성능을 맞추거나 초과할 것으로 추측됩니다. 이는 공유되고 낮아진 훈련 비용으로 더 많은 사람들이 참여할 수 있게 만듭니다. 

경쟁은 훨씬 치열해질 것입니다. 오픈 소스 커뮤니티는 Llama 3을 기반으로 혁신하고 이전처럼 자체 솔루션을 제시할 것이며, OpenAI도 몇 달 안에 GPT 5를 출시할 예정입니다. 우리는 앞으로의 흥미진진한 시기에 경외감을 느낍니다.