Os modelos de linguagem pequenos (SLMs) são apresentados como a próxima grande coisa na IA

Enquanto as empresas estão a investir dinheiro em modelos de linguagem grandes (LLMs), alguns especialistas da indústria no setor de IA acreditam que os modelos de linguagem pequenos (SLMs) se tornarão a próxima grande coisa.

Isso ocorre à medida que a atividade na indústria continua a crescer com a chegada da temporada festiva, com empresas de tecnologia a investir mais financiamento para desenvolver a sua tecnologia.

O futuro está nos modelos de linguagem pequenos

Empresas como a xAI, liderada pelo multimilionário Elon Musk, conseguiram angariar mais $5 mil milhões da Andreessen Horowitz, Qatar Investment Authority, Sequoia e Valor Equity Partners, à medida que a Amazon investiu mais $4 mil milhões na Anthropic, uma concorrente da OpenAI.

Enquanto essas grandes empresas de tecnologia e outras estão investindo bilhões de dólares focando no desenvolvimento de grandes LLMs para lidar com muitas tarefas diferentes, a realidade da IA é que não existe uma solução única para todos, pois há necessidade de modelos específicos para tarefas para as empresas.

De acordo com o CEO da AWS, Matt Garman, em um comunicado sobre sua parceria em expansão e investimentos, já há uma resposta esmagadora dos clientes da AWS que estão desenvolvendo IA generativa alimentada pela Anthropic.

Os LLMs ainda são a primeira escolha para a maioria das empresas em certos projetos, mas, para outros, essa escolha pode ser cara em termos de custo, energia e recursos de computação.

Steven McMillan, presidente e CEO da Teradata, que ofereceu um caminho alternativo para algumas empresas, tem outras opiniões. Ele é otimista quanto ao fato de o futuro estar nos SLMs.

“Ao olharmos para o futuro, acreditamos que os modelos de linguagem pequenos e médios e ambientes controlados, como LLMs específicos de domínio, fornecerão soluções muito melhores.”

~ McMillan

Os SLMs produzem saídas personalizadas em tipos específicos de dados, pois os modelos de linguagem são especificamente treinados para isso. Como os dados gerados pelos SLMs são mantidos internamente, os modelos de linguagem são, portanto, treinados em dados potencialmente sensíveis.

Com os LLMs sendo consumidores de energia, as versões de linguagem pequena são treinadas para escalar tanto o uso de computação quanto o de energia de acordo com as necessidades reais do projeto. Com esses ajustes, isso significa que os SLMs são eficientes a um custo menor do que os modelos grandes atuais.

Para utilizadores que querem usar IA para conhecimento específico, há a opção de LLMs específicos do domínio, pois não oferecem conhecimento amplo. Eles são treinados para compreender profundamente apenas uma categoria de informação e responder com mais precisão, por exemplo, um CMO vs um CFO, nesse domínio.

Por que os SLMs são uma opção preferida

De acordo com a Associação de Cientistas de Dados (ADaSci), o desenvolvimento completo de um SLM com 7 bilhões de parâmetros para um milhão de usuários exigiria apenas 55,1 MWh (megawatt-hora).

A ADaSci descobriu que o treinamento do GPT-3 com 175 mil milhões de parâmetros consumiu uma estimativa de 1.287 MWh de eletricidade, e a energia não inclui quando começa oficialmente a ser usado pelo público. Portanto, um SLM usa aproximadamente 5% da energia consumida no treinamento de um LLM.

Os modelos grandes geralmente são executados em computadores em nuvem porque usam mais poder de computação do que o disponível em um dispositivo individual. Isso resulta em complicações para as empresas, pois elas perdem o controle sobre suas informações à medida que elas vão para a nuvem, e respostas lentas à medida que viajam pela internet.

No futuro, a adoção da IA pelas empresas não será uma solução única para todos, pois a eficiência e a seleção da melhor e menos cara ferramenta para concluir tarefas estarão em foco, o que significa escolher o modelo do tamanho certo para cada projeto.

Isto será feito para todos os modelos, seja um LLM de propósito geral, ou LLMs menores e específicos do domínio, dependendo de qual modelo entregará melhores resultados, exigir menos recursos e reduzir a necessidade de migração de dados para a nuvem.

Para a próxima fase, a IA será vital para as decisões empresariais, pois o público tem alta confiança nas respostas geradas por IA.

“Quando você pensa em treinar modelos de IA, eles devem ser construídos sobre a base de dados excelentes.”

~ McMillan

“É disso que tratamos, fornecendo esse conjunto de dados confiável e, em seguida, fornecendo as capacidades e recursos analíticos para que os clientes e seus clientes possam confiar nas saídas”, acrescentou McMillan.

Com a eficiência e a precisão sendo altamente demandadas no mundo, os LLMs menores e específicos de domínio oferecem outra opção para entregar resultados nos quais as empresas e o público em geral podem confiar.