El arma secreta de Europa para desafiar a las grandes tecnológicas en IA generativa

La IA generativa es actualmente la opción más popular en el sector tecnológico, con grandes empresas como Microsoft, Google, Amazon y Meta dominando el panorama con sus grandes modelos de lenguaje (LLM). Estos LLM se consideran ampliamente el próximo gran avance tecnológico. Sin embargo, hay un rayo de esperanza para Europa, que busca desafiar la supremacía de las grandes tecnológicas, especialmente en idiomas más allá del inglés.

El dilema de la computación y los datos

El dominio de las grandes tecnológicas en el ámbito de la IA se basa no solo en su enorme capacidad de procesamiento, sino también en su acceso a una gran cantidad de datos lingüísticos, a menudo extraídos de internet. Si bien puede ser difícil para una empresa europea superar a las grandes tecnológicas en la creación de un LLM en inglés, la empresa finlandesa de IA Silo ha publicado resultados prometedores para su modelo multilingüe Poro (reno en finlandés).

Poro está entrenado con textos en finlandés e inglés, lo que demuestra que se pueden crear LLM de alto rendimiento combinando diferentes idiomas. Silo afirma que los primeros resultados demuestran su competitividad con los modelos Llama de código abierto de Meta. La colaboración de Silo con la Universidad de Turku ha aprovechado la gran cantidad de datos del proyecto Tecnologías Lingüísticas de Alto Rendimiento (HPLT), una iniciativa financiada por la UE, que ha recopilado la asombrosa cantidad de 7 petabytes (7000 terabytes) de datos lingüísticos en 80 idiomas desde 2022. Para poner esto en perspectiva, GPT-3.5, que impulsó la versión de lanzamiento de ChatGPT, se entrenó con 45 terabytes de datos de texto.

El acceso a datos de texto de tan alta calidad y financiados con fondos públicos, como en el caso de HPLT, podría dar a modelos como el de Silo una ventaja en idiomas con disponibilidad limitada de datos en línea.

El enfoque multilingüe

Debido a la escasez de datos para idiomas como el finlandés, Silo adoptó una estrategia multilingüe mediante el entrenamiento cruzado de su modelo con datos tanto en inglés como en finlandés. Este enfoque implica alimentar el modelo con texto en ambos idiomas, lo que le permite aprender cómo se relacionan entre sí. Como resultado, el modelo puede generar respuestas en finlandés incluso si no ha encontrado código finlandés anteriormente.

Peter Sarlin, cofundador y director ejecutivo de Silo, explica: «Se puede generar código en finlandés incluso si el modelo no ha visto ningún código finlandés». Silo planea publicar sus técnicas de entrenamiento cruzado en código abierto, lo que podría allanar el camino para el desarrollo de modelos en todos los idiomas europeos, incluidos aquellos con datos limitados.

La búsqueda de la soberanía tecnológica

Sarlin señala que existe una oportunidad significativa en el mercado para los LLM en idiomas distintos del inglés. Destaca la importancia de que las empresas europeas no dependan únicamente de la tecnología propiedad de grandes empresas estadounidenses. Desarrollar modelos de IA basados ​​en las grandes tecnológicas podría resultar en que la creación de valor en Europa sea escasa. Por lo tanto, existe una creciente necesidad de que Europa reafirme su soberanía tecnológica.

El poder de supercomputación de LUMI

El entrenamiento de Poro también se benefició de la supercomputadora LUMI, financiada por la UE y que entró en funcionamiento en 2022. Cabe destacar que LUMI utiliza chips AMD, lo que supone un cambio con respecto a los chips NVIDIA, estándar de la industria. Si bien algunos consideran que los chips AMD son caros e ineficientes para la IA, el equipo de Silo invirtió importantes recursos en el desarrollo de un software de entrenamiento de IA optimizado para ellos.

Sarlin indica que planean liberar una parte sustancial de este software y se comprometen a ayudar a otras empresas a entrenar modelos en LUMI. Si las empresas europeas pueden aprovechar recursos como LUMI para el entrenamiento de IA, podría ser un punto de inflexión en la lucha del continente por consolidarse en la era de la IA.

El renacimiento europeo de la IA

Mientras las grandes tecnológicas siguen ejerciendo su poder en IA en Silicon Valley, Europa construye silenciosamente su propio arsenal. Las fortalezas del continente residen en su enfoque multilingüe, el aprovechamiento de datos lingüísticos financiados con fondos públicos y la exploración de opciones informáticas alternativas como LUMI. Si bien el camino por delante puede ser desafiante, la determinación de Europa para competir en el escenario global de la IA esdent.

El arma secreta de Europa en la batalla contra el dominio de las grandes tecnológicas en la IA generativa reside en su diversidad, colaboración y compromiso con la soberanía tecnológica. Con el modelo Poro de Silo como ejemplo de lo que se puede lograr, Europa podría tener una gran oportunidad de dejar huella en el mundo de la IA.