A Arma Secreta da Europa para Desafiar as Big Techs na IA Generativa

A IA generativa é atualmente o assunto mais quente na tecnologia, com grandes players como Microsoft, Google, Amazon e Meta dominando o cenário com seus modelos de linguagem de grande escala (LLMs). Esses LLMs são amplamente vistos como a próxima grande inovação tecnológica. No entanto, há um vislumbre de esperança para a Europa, que busca desafiar a supremacia das Big Techs, especialmente em idiomas além do inglês.

O dilema do poder de computação e dos dados

O domínio das Big Techs no cenário da IA é impulsionado não apenas por seu vasto poder de computação, mas também pelo acesso a extensos dados linguísticos, muitas vezes raspados da internet. Embora possa ser uma tarefa difícil para uma empresa europeia superar as Big Techs na construção de um LLM em inglês, uma empresa de IA finlandesa chamada Silo lançou resultados promissores para seu modelo multilíngue chamado Poro (renna em finlandês).

O Poro é treinado em textos em finlandês e inglês, servindo como prova de que LLMs de alto desempenho podem ser criados combinando diferentes idiomas. A Silo afirma que os resultados iniciais demonstram sua competitividade com os modelos Llama de código aberto da Meta. A colaboração da Silo com a Universidade de Turku aproveitou um tesouro de dados da iniciativa financiada pela UE conhecida como projeto High Performance Language Technologies (HPLT), que coletou uma impressionante 1 petabyte (7.000 terabytes) de dados linguísticos em 80 idiomas desde 2022. Para colocar isso em perspectiva, o GPT-3.5, que impulsionou a versão de lançamento do ChatGPT, foi treinado em 45 terabytes de dados de texto.

O acesso a dados de texto de alta qualidade, financiados publicamente, como no caso do HPLT, pode dar aos modelos como o da Silo uma vantagem em idiomas com disponibilidade limitada de dados online.

A abordagem multilíngue

Devido à escassez de dados para idiomas como o finlandês, a Silo adotou uma estratégia multilíngue “treinando cruzadamente” seu modelo com dados em inglês e finlandês. Essa abordagem envolve alimentar o modelo com texto em ambos os idiomas, permitindo que ele aprenda como os dois idiomas se relacionam. Como resultado, o modelo pode gerar respostas em finlandês, mesmo que não tenha encontrado código em finlandês antes.

Peter Sarlin, co-fundador e CEO da Silo, explica: “Você é capaz de gerar código em finlandês, mesmo que o modelo não tenha visto nenhum código em finlandês.” A Silo planeja abrir o código-fonte de suas técnicas de treinamento cruzado, potencialmente pavimentando o caminho para o desenvolvimento de modelos em todos os idiomas europeus, incluindo aqueles com dados limitados disponíveis.

A busca pela soberania tecnológica

Sarlin aponta que há uma oportunidade significativa no mercado para LLMs em idiomas além do inglês. Ele enfatiza a importância de as empresas europeias não dependerem exclusivamente de tecnologia de propriedade de grandes empresas dos EUA. Construir sobre os modelos de IA das Big Techs pode resultar em pouco valor agregado permanecendo na Europa. Portanto, há uma imperativo crescente para a Europa afirmar sua soberania tecnológica.

Poder de supercomputação do LUMI

O treinamento do Poro também se beneficiou do supercomputador financiado pela UE conhecido como LUMI, que se tornou operacional em 2022. Notavelmente, o LUMI usa chips AMD, uma mudança em relação aos chips NVIDIA padrão da indústria. Embora alguns considerem os chips AMD caros e ineficientes para IA, a equipe da Silo investiu recursos significativos no desenvolvimento de software de treinamento de IA otimizado para eles.

Sarlin indica que eles planejam abrir o código-fonte de uma parte substancial deste software e estão comprometidos em ajudar outras empresas a treinar modelos no LUMI. Se as empresas europeias puderem aproveitar recursos como o LUMI para treinamento de IA, isso pode ser um divisor de águas na busca do continente para afirmar sua posição na era da IA.

O renascimento europeu em IA

Enquanto as Big Techs continuam a exibir seus músculos de IA no Vale do Silício, a Europa está construindo silenciosamente seu próprio arsenal. As forças do continente residem em sua abordagem multilíngue, aproveitando dados linguísticos financiados publicamente e explorando opções de computação alternativas como o LUMI. Embora o caminho à frente possa ser desafiador, a determinação da Europa de competir no cenário global de IA é evidente.

A arma secreta da Europa na batalha contra o domínio das Big Techs na IA generativa está enraizada em sua diversidade, colaboração e compromisso com a soberania tecnológica. Com o modelo Poro da Silo como testemunho do que pode ser alcançado, a Europa pode muito bem ter uma chance de deixar sua marca no mundo da IA.