- Noruega ha desarrollado recientemente tres modelos de lenguaje grandes.
- La Universidad de Oslo ha desarrollado los modelos con fines de investigación y desarrollo.
- Lumi, el ordenador más potente de Europa, se utilizó para entrenar los LLMs en Finlandia.
El Grupo de Tecnología del Lenguaje (LTG) de la Universidad de Oslo ha preparado tres modelos de lenguaje grandes (LLM) noruegos. Se hizo posible como los investigadores recibieron tiempo para acceder a la computadora más poderosa de Europa, Lumi, situada en Finlandia. Los investigadores de LTG entrenaron sus modelos de lenguaje grandes (LLM) en Lumi antes de Navidad y procesaron un trozo bastante grande de datos para lanzar tres modelos de lenguaje noruegos diferentes para desafiar a ChatGPT. El acceso a Lumi no es fácil de obtener, ya que los investigadores deben solicitarlo con anticipación y luego esperar su turno, pero la poderosa computadora acelera el proceso de entrenamiento de datos.
Por qué los noruegos quieren su propio modelo de lenguaje grande (LLM)
Los noruegos querían construir su propio modelo de lenguaje, ya que había muchos usos además de estar en el idioma nativo para una adopción más amplia. Señalando diferentes problemas asociados con las soluciones comerciales, el profesor de informática de la Universidad de Oslo, Erik Velldal, dijo,
“Hay muchos problemas asociados con los modelos de lenguaje de los gigantes tecnológicos. Aparecen como cajas negras para el mundo exterior. Necesitamos alternativas noruegas.”
Fuente: Erik Velldal.
Anteriormente, la Biblioteca Nacional de Noruega y la Universidad de Oslo trabajaron en un puñado de modelos de lenguaje noruegos, pero los desarrollados ahora son los más grandes hasta la fecha, con más de 30 mil millones de palabras o entrenamiento.
El papel de Lumi es importante ya que se requiere mucha potencia de computación para entrenar modelos de IA, incluidas muchas unidades de GPU. El proceso de entrenamiento puede acelerarse si se aumenta el número de GPU, y Lumi ofrece una buena oportunidad ya que tiene más de 10,000 GPU incorporadas en él.
El profesor asociado Andrey Kutuzov dice que entre muchas otras razones para un modelo de lenguaje noruego, estaban que los como ChatGPT no se adaptan bien al conocimiento y valores de Noruega. Estos modelos se entrenan principalmente en idiomas americanos y en inglés, por lo que definitivamente reflejan la cultura y los valores americanos, y lo que necesitaba la gente noruega era algo de acuerdo con sus propias preferencias. Él dice,
“Un modelo de lenguaje noruego reflejará en gran medida la sociedad como la conocemos en Noruega.”
Fuente: Andrey Kutuzov.
Limitaciones de los modelos de lenguaje grandes noruegos
Los modelos noruegos, esencialmente destinados a desarrolladores e investigadores, ya han sido lanzados y han sido descargados por varias miles de personas. Kutuzov explica que estos modelos no están disponibles en línea en la web. Como la interfaz web se considera fácil de usar por el público en general. Según el profesor, estos modelos aún están lejos de los modelos comerciales en términos de las posibilidades que ofrecen. Como estos son modelos base generales,.
Es una percepción en el grupo de tecnología de lenguaje noruego que deben tener sus propios modelos para competir con el ChatGPT de OpenAI o el LaMDA de Google. Junto con muchas otras observaciones que tenían, como que los modelos comerciales solo les dan acceso a través de su interfaz web y el modelo detrás del sistema está cerrado para el acceso. Entonces, en muchos contextos, puede ser riesgoso dar datos a un proveedor de servicios de terceros. Como datos médicos, donde la privacidad es la mayor preocupación.
Los modelos de lenguaje noruegos son bastante limitados en comparación con ChatGPT. Ya que se entrenan solo con el 0,1% de los datos de entrenamiento realizados para ChatGPT, pero estos modelos no están cerrados ni restringidos, por lo que pueden servir mejor a los investigadores.
Igualar las cualidades y estándares de los modelos de lenguaje americanos sigue siendo una tarea difícil, y los modelos noruegos necesitan más desarrollo. Para estar a la par con ChatGPT o Bard, necesitan entrenamiento instruccional para que puedan resolver problemas un poco más complejos. Se dice que se lanzarán nuevas versiones de los modelos, y el proceso continuará.
No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Aamir Sheikh
Aamir es un periodista tecnológico con casi seis años de experiencia en los sectores de criptomonedas y tecnología. Se graduó de la Universidad MAJ con un MBA en Finanzas y Marketing. Ahora trabaja con Cryptopolitan, donde informa sobre los últimos desarrollos en los mercados de criptomonedas y predicciones de precios.
