Llama 3 está previsto que se lance el próximo mes

Meta finalmente confirmó el lanzamiento de Llama 3. En un evento en Londres, Meta proporcionó algunos detalles y el plazo de lanzamiento de su modelo avanzado de IA. Los ejecutivos de Meta anunciaron que pronto lanzarán la próxima versión de su modelo de lenguaje de código abierto, según informó Techcrunch.

Se espera que Meta lance primero una versión reducida de Llama 3, y posteriormente un modelo completo de código abierto, según The Information. Pero ¿por qué una versión reducida en primer lugar? Creemos que la afirmación de The Information tiene sentido, ya que esto brindará la oportunidad de generar expectación sobre las capacidades del modelo completo.

Lo que sabemos sobre Llama 3 y su lanzamiento

El lanzamiento de Llama 3 desafiará el dominio del gigante LLM GPT 4, ya que se espera que sea el LLM más avanzado en la categoría de código abierto y estará disponible en diferentes modelos como Llama 2. Nick Clegg,dent de asuntos globales de Meta, dijo en el evento: 

“Dentro del próximo mes, en realidad menos y con suerte en un período muy corto, esperamos comenzar a implementar nuestro nuevo conjunto de modelos base de próxima generación, Llama 3”

La declaración de Clegg insinúa claramente la disponibilidad de diferentes versiones de Llama 3, ya que agregó además:

“Habrá una serie de modelos diferentes con distintas capacidades y versatilidades [que se lanzarán] durante el transcurso de este año, comenzando muy pronto”

fuente: Techcrunch

Hablando de la afirmación de The Information, parece legítima, ¿verdad? Lo que sabemos de Llama 3 es que estará disponible en diferentes versiones y tamaños, desde pequeños hasta muy grandes, con modelos totalmente funcionales que abarcan desde Haiku, Claude y Gemini Nano hasta gigantes como GPT 4. No sabemos más, pero sabemos con certeza que será de código abierto, como Llama 2 y Multimodel, con capacidad para comprender textos y elementos visuales. 

Críticos que comparan el código abierto con los modelos cerrados

Llama es un modelo de código abierto, pero no es un modelo en ciernes. Sabemos que Meta cuenta con untronapoyo y sus recursos, y Meta quiere aprovechar a desarrolladores e investigadores externos. Sin embargo, a pesar del favoritismo hacia los modelos de código abierto, algunos críticos aún dudan de su competencia en comparación con modelos privados y cerrados como GPT 4. Tienen sus propias razones para opinar al respecto. 

El argumento comienza con los recursos para establecer conjuntos de datos gigantescos para entrenar modelos, afirmando que modelos como ChatGPT tienen una estructura de conjuntos de datos gigantesca con datos etiquetados por humanos. Claro que ninguna máquina puede igualar las capacidades humanas, pero ¿estamos acercándonos a ello? Quizás sí, quizás no, en los próximos dos años. Otra razón es la disponibilidad. Si bien este es un punto válido, hemos visto en la historia de la tecnología que pequeñas startups a veces superan a grandes corporaciones en algunas características clave con sus soluciones listas para usar. Pero la realidad es que OpenAI alberga ingenieros con salarios que superan el millón de dólares.

Otro punto que plantean es el marco de trabajo del equipo. El argumento es que un enfoque descentralizado de código abierto no puede igualar los logros de los equipos centralizados. La infraestructura de nube pública tampoco se compara con la que presumen OpenAI y Google, lo que también impide que los equipos de código abierto realicen mejoras incrementales a un ritmo rápido. En conjunto, estas son razones suficientes para oponerse a los sistemas de código abierto. Pero, como sabemos, a pesar de que Llama es de código abierto, Meta lo respalda, asignándole enormes recursos. 

Meta inversión en GPU

En enero, Mark Zuckerberg anunció que estaban construyendo una infraestructura de computación masiva con nuevas GPU H100 de 350.000, y si se incluyen otras GPU, se incorporarán casi 600.000 H100. Mark lo comentó en un video. Esto representará una potencia de computación mucho mayor que la de OpenAI, que se utilizó para entrenar GPT 4. La inversión es de miles de millones de dólares solo en IA.

Llama 3 impulsará el asistente Meta AIy se integrará en una gama de productos de toda la gama de aplicaciones de la compañía. ¿Llama 3 desafiará el dominio de GPT 4? Si nos fijamos en el tracde su predecesor, Llama 2, este fue la columna vertebral de los LLM de código abierto más avanzados, como Mistral de Francia y algunos más, que se desarrollaron mediante ajustes y optimización.

Algunos de ellos incluso superaron a GPT 3.5 en rendimiento, por lo que podemos especular que Llama 3 con sus capacidades avanzadas se utilizará para nuevos productos LLM que igualarán o superarán el rendimiento de GPT 4 con costos de capacitación compartidos y reducidos, lo que hará posible que más personas se unan. 

La competencia será muy reñida, con la comunidad de código abierto intentando innovar en LLama 3 y creando soluciones locales como antes, y OpenAI también lanzará GPT 5 en los próximos meses. Estamos entusiasmados por el interesante futuro que nos espera.