A Meta finalmente confirmou o lançamento do Llama 3. Em um evento em Londres, a Meta forneceu alguns detalhes e o cronograma de lançamento de seu modelo avançado de IA. Executivos da Meta afirmaram que em breve lançarão a próxima versão de seu modelo de linguagem de código aberto, conforme relatado pelo TechCrunch.
A expectativa é que a Meta lance primeiro uma versão reduzida do Llama 3, e que um modelo completo de código aberto seja lançado posteriormente, segundo o The Information. Mas por que uma versão reduzida inicialmente? Acreditamos que a afirmação do The Information faça sentido, pois isso criará uma oportunidade para gerar expectativa em relação aos recursos do modelo completo.
O que sabemos sobre Llama 3 e seu lançamento
O lançamento do Llama 3 desafiará o domínio do gigante LLM GPT 4, já que se espera que seja o LLM mais avançado na categoria de código aberto e estará disponível em diferentes modelos, assim como o Llama 2. Nick Clegg,dent de assuntos globais da Meta, disse no evento:
“Dentro do próximo mês, ou melhor, em um período muito curto de tempo, esperamos começar a implementar nosso novo conjunto de modelos básicos de última geração, o Llama 3.”
A declaração de Clegg claramente indica a disponibilidade de diferentes versões do Llama 3, como ele acrescentou ainda:
“Haverá diversos modelos diferentes com capacidades e versatilidades distintas [lançados] ao longo deste ano, começando muito em breve.”
Fonte: Techcrunch
Falando sobre a afirmação do The Information, parece legítima, não é? Então, o que sabemos sobre o Llama 3 é que ele virá em diferentes versões e tamanhos, de pequeno a muito grande, com modelos totalmente capazes, desde os como Haiku, Claude e Gemini Nano até os gigantes como o GPT 4. Não sabemos mais, mas sabemos com certeza que será de código aberto, assim como o Llama 2 e o Multimodel, com capacidade de entender textos além de imagens.
Críticos comparam modelos de código aberto a modelos fechados
O Llama é um modelo de código aberto, mas não está totalmente consolidado. Sabemos que há umtronapoio da Meta e seus recursos por trás dele, e a Meta quer aproveitar o trabalho de desenvolvedores e pesquisadores terceirizados. Mas, apesar de todo o favoritismo em relação aos modelos de código aberto, alguns críticos ainda se mostram céticos quanto à sua competência em comparação com modelos fechados e privados como o GPT-4. Eles têm seus próprios motivos para essas opiniões.
O argumento começa com a questão dos recursos necessários para criar conjuntos de dados gigantescos para o treinamento de modelos, alegando que modelos como o ChatGPT possuem estruturas de conjuntos de dados enormes com informações anotadas por humanos. É claro que nenhuma máquina ainda consegue igualar as capacidades humanas, mas estamos nos aproximando disso? Talvez sim, talvez não nos próximos dois anos. Outro ponto é a disponibilidade. Embora seja uma questão válida, vimos na história da tecnologia que startups menores às vezes superam grandes corporações em alguns recursos-chave com suas soluções prontas para uso. Mas a realidade é que a OpenAI abriga engenheiros com salários que ultrapassam um milhão de dólares.
Outro ponto levantado é a estrutura de equipe. O argumento é que uma abordagem descentralizada de código aberto não consegue igualar as conquistas de equipes centralizadas. A infraestrutura de nuvem pública também não se compara àquela oferecida pela OpenAI e pelo Google, o que também impede que equipes de código aberto façam melhorias incrementais em ritmo acelerado. No geral, esses são motivos suficientes para se opor aos sistemas de código aberto. Mas, como sabemos, apesar do Llama ser de código aberto, há a Meta por trás dele, que o apoia alocando recursos enormes.
Meta investindo em GPUs
Em janeiro, Mark Zuckerberg afirmou que a empresa está construindo uma infraestrutura computacional gigantesca com 350 mil novas GPUs H100 e, incluindo outras GPUs, esse número chegará a quase 600 mil H100. Essa informação foi divulgada em um vídeo. Essa capacidade computacional é muito superior à utilizada pela OpenAI para treinar o GPT-4. O investimento em IA, por si só, chega a bilhões de dólares.
O Llama 3 será a base do assistente de IA Meta e também estará integrado a uma série de produtos em toda a gama de aplicativos da empresa. Será que o Llama 3 vai desafiar o domínio do GPT 4? Analisando o trac de seu antecessor, o Llama 2, vemos que ele foi a espinha dorsal dos LLMs de código aberto mais avançados, como o Mistral, da França, e alguns outros, que foram construídos a partir de ajustes e otimizações.
Alguns deles até superaram o GPT 3.5 em desempenho, então podemos especular que o Llama 3, com seus recursos avançados, será usado para novos produtos LLM que igualarão ou superarão o desempenho do GPT 4 com custos de treinamento compartilhados e reduzidos, possibilitando a participação de mais pessoas.
A competição será acirrada, com a comunidade de código aberto buscando inovar em relação ao Llama 3 e apresentando soluções próprias, como antes, e a OpenAI lançando o GPT 5 nos próximos meses. Estamos ansiosos pelo período interessante que nos aguarda.
