Llama 3 programado para su lanzamiento el próximo mes

Meta finalmente confirmó el lanzamiento de Llama 3. En un evento en Londres, Meta proporcionó algunos detalles y el marco temporal de lanzamiento para su avanzado modelo de IA. Los ejecutivos de Meta dijeron que pronto lanzarán la próxima versión de su modelo de lenguaje grande de código abierto, según informó Techcrunch.

Se espera que Meta lance primero una versión pequeña de Llama 3, y un modelo de código abierto completo se lanzará después, afirmó The Information. Pero, ¿por qué una versión más pequeña en primer lugar? Creemos que la afirmación de The Information tiene sentido, ya que esto brindará una oportunidad para generar algo de entusiasmo sobre las capacidades del modelo completo.

Lo que sabemos sobre Llama 3 y su lanzamiento

El lanzamiento de Llama 3 desafiará el dominio del gigante de los LLM, GPT 4, ya que se espera que sea el LLM más avanzado en la categoría de código abierto y estará disponible en diferentes modelos como Llama 2. Nick Clegg, presidente de asuntos globales de Meta, dijo en el evento: 

“Dentro del próximo mes, en realidad menos y espero que en un período muy corto de tiempo, esperamos comenzar a implementar nuestra nueva suite de modelos de fundación de próxima generación, Llama 3.”

La declaración de Clegg claramente insinúa la disponibilidad de diferentes versiones de Llama 3, ya que agregó además:

“Habrá una serie de modelos diferentes con diferentes capacidades y versatilidades [lanzadas] durante el transcurso de este año, comenzando realmente muy pronto.”

fuente: Techcrunch

Hablemos de la afirmación de The Information; parece legítima, ¿no es así? Así que ahora lo que sabemos sobre Llama 3 es que vendrá en diferentes versiones y tamaños, desde modelos pequeños hasta muy grandes, completamente capaces, que van desde modelos como Haiku, Claude y Gemini Nano hasta los colosos como GPT 4. No sabemos más, pero con seguridad sabemos que será de código abierto, como Llama 2 y Multimodel, también, con habilidades para entender textos junto con visuales. 

Críticos comparando código abierto con modelos cerrados

Llama es un modelo de código abierto, pero no está flotando en el aire. Sabemos que hay un fuerte apoyo de Meta y sus recursos detrás de él, y Meta quiere aprovechar a los desarrolladores e investigadores de terceros. Pero, a pesar de todo el favoritismo hacia los modelos de código abierto, algunos críticos aún son escépticos sobre su competencia en comparación con los modelos privados cerrados como GPT 4. Tienen sus propias razones para sus opiniones sobre el asunto. 

El argumento comienza con los recursos para establecer conjuntos de datos gigantes para entrenar modelos, afirmando que modelos como ChatGPT tienen conjuntos de datos estructurados enormes con datos etiquetados por humanos. Por supuesto, ninguna máquina puede igualar aún las capacidades humanas, pero ¿nos estamos acercando a ello? Quizás sí o quizás no en los próximos dos años. Otra razón es la disponibilidad. Si bien este es un punto válido, hemos visto en la historia de la tecnología que las startups más pequeñas a veces superan a las grandes corporaciones en algunas características clave con sus soluciones innovadoras. Pero la realidad es que OpenAI es el hogar de ingenieros con salarios que superan el millón de dólares.

Otro punto que hacen es el marco del equipo, el argumento es que un enfoque descentralizado de código abierto no puede igualar los logros de los equipos centralizados. La infraestructura de nube pública tampoco está a la altura de las que presumen OpenAI y Google, lo que también obstaculiza a los equipos de código abierto para hacer mejoras incrementales a un ritmo rápido. En conjunto, estas son razones suficientes que van en contra de los sistemas de código abierto. Pero, como sabemos, a pesar de que Llama es de código abierto, hay Meta detrás de él, apoyándolo asignando recursos enormes. 

Meta invirtiendo en GPUs

A principios de enero, Mark Zuckerberg dijo que están construyendo una infraestructura de computación masiva con nuevas 350k GPUs H100, y si incluye otras GPUs, entonces casi 600k H100 estarán a bordo. Mark dijo esto en un video. Esto será mucha más potencia de computación que la de OpenAI, que utilizó para entrenar GPT 4. La inversión es de miles de millones de dólares solo para IA.

Llama 3 impulsará al asistente de IA de Meta, y también se integrará en una variedad de productos en todo el rango de aplicaciones de la empresa. ¿Desafiará Llama 3 el dominio de GPT 4? Al mirar el historial de su predecesor, Llama 2 fue la columna vertebral de los LLMs de código abierto más avanzados, como Mistral de Francia y algunos más, que fueron construidos ajustándolo y optimizándolo.

Algunos de ellos incluso superaron a GPT 3.5 en rendimiento, por lo que podemos especular que Llama 3 con sus capacidades avanzadas se utilizará para nuevos productos LLM que igualarán o excederán el rendimiento de GPT 4 con costos de entrenamiento compartidos y reducidos, haciendo posible que más personas se unan. 

La competencia va a ser mucho más dura, con la comunidad de código abierto intentando innovar sobre LLama 3 y presentando soluciones indígenas como antes, y OpenAI también lanzando GPT 5 en los próximos meses. Estamos asombrados por los interesantes tiempos que vienen.