O Novato Mixtral 8x7B Desafio os Principais Modelos de IA com Desempenho Impressionante

No panorama em rápida evolução da inteligência artificial, surgiu um jogador relativamente novo na cena, causando agitação no mundo tecnológico. O Mixtral 8x7B, desenvolvido pela empresa francesa de inteligência artificial Mistral AI, está a chamar a atenção com a sua abordagem única e capacidades impressionantes. Este artigo aprofunda o que faz o Mixtral 8x7B destacar-se e por que está a criar um burburinho na comunidade de IA.

Mixtral 8x7B: Um jogo mudado

Enquanto o mundo tecnológico estava cativado pela atualização do Gemini do Bard do Google, o Mixtral 8x7B entrou silenciosamente na disputa. O que o distingue é a sua utilização de uma Mistura de Especialistas (MoE) para gerar respostas semelhantes às humanas. Esta abordagem difere significativamente de modelos como o ChatGPT e o Google Bard. Notavelmente, o Mixtral 8x7B possui um formidável modelo de 46,7 mil milhões de parâmetros, mas exige apenas uma fração dos recursos de hardware.

O desempenho do Mixtral 8x7B não deve ser subestimado. Ele corresponde com confiança ou até supera o modelo GPT-3.5 do renomado ChatGPT e o modelo Llama 2 70B da Meta. Este modelo de código aberto está licenciado sob Apache 2.0, permitindo que qualquer pessoa o acesse e use. Não está confinado a um único idioma, pois pode funcionar perfeitamente em inglês, francês, italiano, alemão e espanhol. Além disso, possui a capacidade de gerar código.

Conheça a Mistral AI – O cérebro por trás da revolução da IA

A Mistral AI, o cérebro por trás do Mixtral, é uma empresa de IA francesa fundada por investigadores com experiência anterior tanto na Meta como no Google. Este ano, a Mistral AI causou sensação ao garantir cerca de 450 milhões de euros em financiamento. O lançamento do Mixtral 8x7B, o seu modelo mais recente, foi longe do tradicional, com um link magnético Torrent não distintivo partilhado no Twitter.

A vantagem da MoE

O Mixtral emprega uma arquitetura MoE para processar os tokens de entrada, distribuindo-os para vários especialistas dentro do sistema. Cada especialista é essencialmente uma rede neural, e o Mixtral 8x7B possui oito deles. Esta arquitetura permite MoEs hierárquicos, onde um especialista pode ser ele próprio outro MoE. Quando um prompt é submetido ao Mixtral 8x7B, uma rede de roteador seleciona o especialista mais eficaz para processar cada token. Curiosamente, dois especialistas são escolhidos por token, e as suas saídas são combinadas.

Os MoEs têm os seus pontos fortes e fracos. Eles se destacam em termos de eficiência computacional durante o pré-treinamento, mas podem cair na armadilha do overfitting durante o ajuste fino. Overfitting, neste contexto, refere-se a modelos que dependem excessivamente de seus dados de treinamento e os reproduzem literalmente nas respostas. Por outro lado, os MoEs oferecem tempos de inferência mais rápidos, pois apenas um subconjunto de especialistas é usado durante a inferência. 

No entanto, eles ainda exigem RAM suficiente para acomodar um modelo de 47 bilhões de parâmetros. Os 47 bilhões de parâmetros diferem dos 56 bilhões esperados, pois muitos parâmetros são compartilhados entre os MoEs, e nem todos os 7 bilhões de parâmetros em cada especialista são multiplicados por oito.

Amigável ao usuário e acessível

Um dos recursos notáveis do Mixtral 8x7B é sua facilidade de uso. Ele é totalmente ajustável pelo usuário e está disponível para implantação por qualquer pessoa com um computador poderoso o suficiente. Os usuários podem executá-lo localmente usando o LM Studio, garantindo controle ideal sobre o comportamento do modelo. Além disso, as barreiras de segurança podem ser ativadas para proteger contra conteúdo potencialmente prejudicial, embora não estejam ativadas por padrão. Isso garante uma experiência de IA segura e responsável.

Para aqueles que preferem não executar o Mixtral localmente ou não atendem aos requisitos de hardware, ele está disponível no Hugging Face. A implementação do Hugging Face vem com padrões de segurança padrão, oferecendo uma experiência semelhante à do ChatGPT 3.5 em termos de desempenho e da variedade de consultas que pode lidar. O Mixtral 8x7B não se especializa em um domínio específico; em vez disso, é um modelo de linguagem grande versátil e abrangente.

O futuro da IA generativa

À medida que a tecnologia continua a avançar, 2023 testemunhou um aumento nos modelos de IA generativa. Espera-se que o cenário evolua ainda mais no próximo ano, com a possibilidade de mais modelos serem lançados e melhorias contínuas. Com rumores circulando sobre a OpenAI e a possível chegada da Inteligência Geral Artificial, o mundo da IA está preparado para ainda mais desenvolvimentos emocionantes no futuro próximo. O Mixtral está destinado a fazer parte desse futuro.