Previsão de Múltiplos Tokens Aumenta Velocidade do Modelo de IA em Três Vezes, Diz Meta

- Um estudo de pesquisa realizado por pesquisadores da meta mostra que previsões de múltiplos tokens podem aumentar o desempenho dos LLMs.
- A técnica envolve o uso de várias cabeças de saída para fazer previsões simultaneamente.
- Não requer custo adicional de memória ou tempo, pois o processo utiliza a mesma arquitetura básica de inferência.
Treinar modelos de linguagem para prever vários tokens de uma vez resulta em melhor eficiência de amostragem, dizem pesquisadores da Meta.
Modelos de linguagem grandes como Llama e ChatGPT são normalmente treinados para previsão do próximo token, mas com essa nova abordagem, um melhor desempenho pode ser alcançado.
O que é a técnica de previsão de único token?
A técnica de previsão de múltiplos tokens oferece uma vantagem significativa em alguns cenários com três vezes a velocidade de tarefas generativas, mas ainda não é uma solução única para todos os tipos de modelo. A técnica tem bastante espaço para melhorias e, para algumas aplicações de LLM, pode se tornar uma ferramenta robusta.
Para uma compreensão mais clara, pode-se dizer que o processo tradicional de treinamento de LLM utiliza uma abordagem chamada "previsão do próximo token", e, dessa forma, um modelo prevê apenas o próximo token futuro em uma sequência dada.
Em um processo automatizado, o token previsto é adicionado à entrada, e o processo é repetido incessantemente sobre toda a entrada de texto fornecida, para que o modelo aprenda os padrões comuns e desenvolva a capacidade de produzir saída composta por texto lógico e consistente.
Existem algumas desvantagens nessa técnica, pois, ao processar apenas o próximo token, o modelo torna-se excessivamente focado nos padrões locais do texto e ignora as previsões que só podem ser feitas com raciocínio.
Outro problema com essa técnica é que ela requer quantidades enormes de conjuntos de dados para serem alimentados no modelo a fim de alcançar o fluxo normal de saída de linguagem que os humanos conseguem fazer com muito pouco texto.
A previsão de múltiplos tokens permite 3X de velocidade

Na nova abordagem de múltiplos tokens sugerida por Meta, o LLM é instruído a prever vários tokens de diferentes posições simultaneamente durante o processo de treinamento. Os pesquisadores utilizaram uma arquitetura de previsão simples para previsão de múltiplos tokens que não requer recursos adicionais como tempo e processamento de memória.
Os pesquisadores utilizaram a mesma arquitetura Transformer já empregada pela maioria dos LLMs, mas fizeram algumas alterações para acomodar a previsão de múltiplos tokens, aumentando suas cabeças de saída de única para múltiplas e alocando uma para cada token.
Dessa forma, para tirar conclusões e fazer previsões, o modelo usa a mesma estratégia básica de previsão próxima, mas, ao utilizar múltiplas cabeças, consegue acelerar o processo. O estudo de pesquisa afirma,
“Embora gratuita e simples, a previsão de múltiplos tokens é uma modificação eficaz para treinar modelos transformer mais fortes e rápidos.”
Fonte: Meta.
Os pesquisadores descobriram durante o estudo que a técnica produziu resultados abaixo do esperado quando aplicada a modelos menores, mas os resultados tornaram-se melhores que a média quando o mesmo processo foi aplicado a modelos maiores, e os resultados continuaram a melhorar com o tamanho do modelo. Como afirma o estudo,
“O método torna-se cada vez mais útil para tamanhos de modelo maiores, mantendo seu apelo ao treinar por múltiplas épocas. Os ganhos são especialmente pronunciados em benchmarks generativos como programação, onde nossos modelos superam consistentemente as bases fortes em vários pontos percentuais.”
Fonte: Meta.
Os pesquisadores também afirmaram que a técnica de previsão de múltiplos tokens torna o modelo três vezes mais rápido na produção de resultados lógicos, o que é útil com o benefício de custo extra nulo ou muito baixo.
Se você está lendo isso, já está à frente. Mantenha-se assim com nosso boletim informativo.
Aviso Legal. As informações fornecidas não constituem aconselhamento de investimento. Cryptopolitan.com não assume responsabilidade por quaisquer investimentos realizados com base nas informações fornecidas nesta página. Recomendamos fortemente a realização de pesquisa independente e/ou consulta com um profissional qualificado antes de tomar quaisquer decisões de investimento.

Aamir Sheikh
Aamir é um jornalista de tecnologia com quase seis anos de experiência nos setores de criptomoedas e tecnologia. Formou-se na MAJ University com um MBA em Finanças e Marketing. Atualmente trabalha na Cryptopolitan, onde relata os últimos desenvolvimentos nos mercados de criptomoedas e previsões de preços.















