A arma secreta da Europa para desafiar as gigantes da tecnologia na IA generativa

A inteligência artificial generativa é atualmente o assunto mais comentado no mundo da tecnologia, com grandes empresas como Microsoft, Google, Amazon e Meta dominando o cenário com seus modelos de linguagem abrangentes (LLMs). Esses LLMs são amplamente vistos como o próximo grande avanço tecnológico. No entanto, há uma réstia de esperança para a Europa, que busca desafiar a supremacia das grandes empresas de tecnologia, especialmente em idiomas além do inglês.

O dilema da computação e dos dados

O domínio das grandes empresas de tecnologia na área da IA ​​é impulsionado não apenas por seu vasto poder computacional, mas também pelo acesso a extensos dados linguísticos, muitas vezes coletados da internet. Embora possa ser uma tarefa árdua para uma empresa europeia superar as grandes empresas de tecnologia na criação de um modelo multilíngue em inglês, uma empresa finlandesa de IA chamada Silo divulgou resultados promissores para seu modelo multilíngue chamado Poro (rena em finlandês).

Poro é treinado com textos em finlandês e inglês, comprovando que modelos de linguagem linguística (LLMs) de alto desempenho podem ser criados combinando diferentes idiomas. A Silo afirma que os primeiros resultados demonstram sua competitividade com os modelos Llama de código aberto da Meta. A colaboração da Silo com a Universidade de Turku aproveitou um vasto conjunto de dados da iniciativa financiada pela UE, conhecida como Projeto de Tecnologias de Linguagem de Alto Desempenho (HPLT), que coletou impressionantes 7 petabytes (7.000 terabytes) de dados linguísticos em 80 idiomas desde 2022. Para se ter uma ideia, o GPT-3.5, que serviu de base para a versão lançada do ChatGPT, foi treinado com 45 terabytes de dados textuais.

O acesso a dados textuais de alta qualidade e financiados publicamente, como no caso do HPLT, poderia dar a modelos como o da Silo uma vantagem em idiomas com disponibilidade limitada de dados online.

A abordagem multilingue

Devido à escassez de dados para idiomas como o finlandês, a Silo adotou uma estratégia multilíngue, realizando um "treinamento cruzado" do seu modelo com dados em inglês e finlandês. Essa abordagem consiste em alimentar o modelo com textos em ambos os idiomas, permitindo que ele aprenda como os dois idiomas se relacionam. Como resultado, o modelo consegue gerar respostas em finlandês mesmo que nunca tenha se deparado com código finlandês antes.

Peter Sarlin, cofundador e CEO da Silo, explica: "É possível gerar código em finlandês mesmo que o modelo não tenha visto nenhum código em finlandês." A Silo planeja disponibilizar suas técnicas de treinamento cruzado em código aberto, potencialmente abrindo caminho para o desenvolvimento de modelos em todos os idiomas europeus, incluindo aqueles com dados disponíveis limitados.

A busca pela soberania tecnológica

Sarlin destaca que existe uma oportunidade significativa no mercado para mestrados em Direito (LLM) em idiomas que não o inglês. Ele enfatiza a importância de as empresas europeias não dependerem exclusivamente da tecnologia pertencente a grandes empresas americanas. A utilização de modelos de IA das grandes empresas de tecnologia pode resultar em pouca criação de valor permanecendo na Europa. Portanto, há um imperativo crescente para a Europa afirmar sua soberania tecnológica.

Poder de supercomputação da LUMI

O treinamento de Poro também se beneficiou do supercomputador LUMI, financiado pela UE e que entrou em operação em 2022. Notavelmente, o LUMI utiliza chips da AMD, diferentemente dos chips da NVIDIA, padrão da indústria. Embora alguns considerem os chips da AMD caros e ineficientes para IA, a equipe de Silo investiu recursos significativos no desenvolvimento de um software de treinamento de IA otimizado para eles.

Sarlin indica que planejam disponibilizar como código aberto uma parte substancial desse software e estão comprometidos em auxiliar outras empresas no treinamento de modelos na plataforma LUMI. Se empresas europeias conseguirem aproveitar recursos como o LUMI para treinamento de IA, isso poderá representar uma mudança radical na busca do continente por se afirmar na era da IA.

O renascimento europeu na IA

Enquanto as grandes empresas de tecnologia continuam a demonstrar sua força em IA no Vale do Silício, a Europa está silenciosamente construindo seu próprio arsenal. Os pontos fortes do continente residem em sua abordagem multilíngue, aproveitando dados linguísticos financiados publicamente e explorando opções alternativas de computação, como o LUMI. Embora o caminho à frente possa ser desafiador, a determinação da Europa em competir no cenário global de IA édent.

A arma secreta da Europa na batalha contra o domínio das grandes empresas de tecnologia na IA generativa reside na sua diversidade, colaboração e compromisso com a soberania tecnológica. Com o modelo Poro da Silo como prova do que pode ser alcançado, a Europa pode ter uma chance real de deixar a sua marca no mundo da IA.