Os pequenos modelos de linguagem (SLMs, na sigla em inglês) são considerados a próxima grande novidade em IA

Enquanto as empresas investem pesado em grandes modelos de linguagem (LLMs), alguns especialistas do setor de IA acreditam que os pequenos modelos de linguagem (SLMs) serão a próxima grande novidade.

Isso ocorre em um momento em que a atividade no setor continua a crescer com a chegada da temporada de festas, com as empresas de tecnologia investindo mais recursos no desenvolvimento de suas tecnologias.

O futuro está nos pequenos modelos de linguagem

Empresas como a xAI, liderada pelo multibilionário Elon Musk, conseguiram levantar mais US$ 5 bilhões da Andreessen Horowitz, da Qatar Investment Authority, da Sequoia e da Valor Equity Partners, enquanto a Amazon investiu mais US$ 4 bilhões na Anthropic, concorrente da OpenAI.

Embora essas grandes empresas de tecnologia e outras estejam investindo bilhões de dólares no desenvolvimento de grandes modelos de aprendizado de máquina (LLMs) para lidar com diversas tarefas, a realidade da IA ​​é que não existe uma solução única, pois há necessidade de modelos específicos para cada tarefa nos negócios.

De acordo com Matt Garman, CEO da AWS, em um comunicado sobre a expansão da parceria e dos investimentos, já existe uma resposta extremamente positiva dos clientes da AWS que estão desenvolvendo IA generativa com a tecnologia da Anthropic.

Para a maioria das empresas, os mestrados em direito (LLMs) ainda são a primeira opção para determinados projetos, mas para outras, essa escolha pode ser cara em termos de custo, energia e recursos computacionais.

Steven McMillan,dent e CEO da Teradata, que ofereceu um caminho alternativo para algumas empresas, também tem uma visão diferente. Ele acredita que o futuro está nos SLMs (Sistemas de Gerenciamento de Lote).

“Ao olharmos para o futuro, acreditamos que modelos de linguagem de pequeno e médio porte e ambientes controlados, como LLMs específicos de domínio, proporcionarão soluções muito melhores.”

~ McMillan

Os SLMs produzem resultados personalizados para tipos específicos de dados, pois os modelos de linguagem são treinados especificamente para isso. Como os dados gerados pelos SLMs são armazenados internamente, os modelos de linguagem são treinados com dados potencialmente sensíveis.

Como os LLMs consomem muita energia, as versões simplificadas para cada linguagem são treinadas para dimensionar tanto o uso de computação quanto o de energia de acordo com as necessidades reais do projeto. Com esses ajustes, os SLMs se tornam mais eficientes e têm um custo menor do que os modelos de grande porte atuais.

Para usuários que desejam usar IA para conhecimento específico, existe a opção de LLMs ( , já que estes não oferecem conhecimento amplo. São treinados para compreender profundamente apenas uma categoria de informação e responder com mais precisão, por exemplo, um CMO (Chief Marketing) versus um CFO (Chief Financial Officer), nesse domínio.

Por que os SLMs são uma opção preferencial

Segundo a Associação de Cientistas de Dados (ADaSci), o desenvolvimento completo de um SLM com 7 bilhões de parâmetros para um milhão de usuários exigiria apenas 55,1 MWh (megawatts-hora).

A ADaSci descobriu que o treinamento do GPT-3 com 175 bilhões de parâmetros consumiu aproximadamente 1.287 MWh de eletricidade, e esse consumo não inclui o tempo em que a energia entra em uso pelo público. Portanto, um SLM utiliza cerca de 5% da energia consumida no treinamento de um LLM.

Modelos complexos geralmente são executados em computadores na nuvem, pois utilizam mais poder computacional do que qualquer dispositivo individual. Isso resulta em complicações para as empresas, já que perdem o controle sobre suas informações à medida que estas são transferidas para a nuvem, além de enfrentarem respostas lentas devido à transmissão pela internet.

No futuro, a adoção da IA ​​pelas empresas não será padronizada, pois a eficiência e a seleção da ferramenta mais adequada e econômica para a execução das tarefas estarão em foco, o que significa escolher o modelo ideal para cada projeto.

Isso será feito para todos os modelos, sejam eles LLMs de propósito geral ou LLMs menores e específicos de domínio, dependendo de qual modelo apresentar melhores resultados, exigir menos recursos e reduzir a necessidade de migração de dados para a nuvem.

Na próxima fase, a IA será vital para as decisões de negócios, visto que o público tem grande confiança nas respostas geradas por IA.

“Quando se pensa em treinar modelos de IA, eles devem ser construídos sobre a base de dados de alta qualidade.”

~ McMillan

“É exatamente isso que fazemos: fornecer esse conjunto de dados confiável e, em seguida, disponibilizar os recursos e as capacidades analíticas para que os clientes e seus consumidores possam confiar nos resultados”, acrescentou McMillan.

Com a eficiência e a precisão sendo altamente exigidas no mundo atual, os LLMs (Licensed Liability Mastercards) menores e focados em áreas específicas oferecem mais uma opção para entregar resultados nos quais empresas e o público em geral podem confiar.