Amazon lanza un chip de IA para desafiar el dominio de Nvidia y Google

Amazon lanzó esta semana su nuevo chip de entrenamiento de IA, Trainium3, mientras ataca directamente el control de hardware que mantienen Nvidia y Google.

El acelerador ya está funcionando en un pequeño grupo de centros de datos de AWS y se abre a los clientes el martes, según una entrevista con Dave Brown, vicepresidente de Amazon Web Services. Dave dijo que la empresa no está entrando suavemente en este mercado.

"A medida que avancemos a principios del próximo año, comenzaremos a escalar muy, muy rápido", dijo. El objetivo es simple. Vender más capacidad de cómputo directamente desde los racks de Amazon en lugar de ver a los desarrolladores gastar ese dinero en otro lugar.

AWS aún lidera la nube global por cómputo y almacenamiento alquilado. Ese liderazgo no se ha trasladado limpiamente al entrenamiento de IA a gran escala. Algunos desarrolladores se inclinan hacia Microsoft debido a su vínculo con OpenAI.

Otros acuden a Google y sus chips internos. Amazon ahora está utilizando Trainium3 para atraer de nuevo a equipos sensibles al precio bajo su techo. La propuesta básica es un menor costo por unidad de trabajo mientras se mantiene todo dentro de AWS.

Amazon impulsa Trainium3 a escala de nube

Trainium3 llega aproximadamente un año después de que Amazon implementara su última versión. Ese ritmo se sitúa en el extremo rápido de los estándares de chips. Cuando el chip se encendió por primera vez en agosto, un ingeniero de AWS bromeó: "Lo principal en lo que vamos a esperar aquí es simplemente que no veamos ningún tipo de humo o fuego". El rápido ritmo de actualización también refleja el plan público de Nvidia de enviar un nuevo chip cada año.

Amazon dice que los chips Trainium ejecutan el cómputo pesado detrás de los modelos de IA a un costo menor y con un mejor uso de la energía que las mejores GPUs de Nvidia. Dave dijo: "Hemos estado muy complacidos con nuestra capacidad para obtener el rendimiento-precio adecuado con Trainium". La empresa está apostando fuerte por ese ángulo de precio a medida que los tamaños de los modelos aumentan y las facturas de entrenamiento siguen subiendo.

Aún hay un límite. Los chips de Amazon no cuentan con las profundas bibliotecas de software que permiten a los equipos moverse rápidamente en el hardware de Nvidia. Bedrock Robotics, que utiliza IA para conducir equipos de construcción sin control humano, ejecuta sus sistemas principales en servidores de AWS. Cuando entrena modelos para guiar una excavadora, sigue utilizando chips de Nvidia. Kevin Peterson, director de tecnología de Bedrock Robotics, dijo: "Lo necesitamos que sea performante y fácil de usar. Eso es Nvidia".

La mayor parte de la capacidad de Trainium fluye actualmente hacia Anthropic. Los chips funcionan dentro de centros de datos en Indiana, Mississippi y Pensilvania. A principios de este año, AWS dijo que conectó más de 500.000 chips Trainium para entrenar los últimos modelos de Anthropic. Amazon planea aumentar eso a 1 millón de chips para finales de año.

Amazon está vinculando el futuro de Trainium al crecimiento de Anthropic y a sus propios servicios de IA. Fuera de Anthropic, la empresa ha nombrado muy pocos clientes grandes hasta ahora. Eso deja a los analistas con datos limitados para juzgar qué tan bien funciona Trainium en un uso más amplio.

Anthropic también distribuye su propio riesgo de cómputo. Sigue utilizando las Unidades de Procesamiento Tensorial (TPU) de Google y firmó un acuerdo este año con Google que proporciona acceso a decenas de miles de millones de dólares en poder de cómputo.

Amazon reveló Trainium3 durante re: Invent, su conferencia anual de usuarios. El evento se ha convertido en una exhibición ininterrumpida de herramientas e infraestructura de IA dirigidas a desarrolladores que crean nuevos modelos y empresas dispuestas a pagar por el acceso a gran escala.

Amazon lanza actualizaciones de Nova y abre Nova Forge

El martes, Amazon también actualizó su familia principal de modelos de IA, conocida como Nova. La nueva línea Nova 2 incluye una versión llamada Omni.

Omni acepta texto, imágenes, voz o video como entrada. Puede responder con texto e imágenes. Amazon está vendiendo una mezcla de tipos de entrada y costo del modelo como un paquete diseñado para el uso diario a gran escala.

Amazon continúa fijando el precio de sus modelos alrededor del rendimiento por dólar. Los modelos Nova anteriores no se ubicaron cerca de la cima en las clasificaciones de prueba estándar que puntúan las respuestas a preguntas fijas. La empresa está apostando por el uso en vivo en lugar de las tablas de pruebas.

Rohit Prasad, quien lidera gran parte del trabajo de modelos de Amazon y su equipo de Inteligencia General Artificial, dijo: "La verdadera referencia es el mundo real", y añadió que espera que los nuevos modelos compitan en entornos en vivo.

Amazon también está abriendo un control más profundo de los modelos a usuarios avanzados a través de un nuevo producto llamado Nova Forge que permite a los equipos extraer versiones de los modelos Nova antes de que termine el entrenamiento y moldearlos utilizando sus propios datos.

Reddit ya utiliza Nova Forge para construir un modelo que verifica si una publicación rompe las reglas de seguridad. Chris Slowe, director de tecnología de Reddit, dijo que muchos usuarios de IA recurren al modelo más grande posible para cada tarea en lugar de entrenar uno con un enfoque estrecho. "El hecho de que podamos hacerlo un experto en nuestra área específica es de donde proviene el valor", dijo.

Con Trainium3 ahora activo en los centros de datos y los modelos Nova actualizados al mismo tiempo, Amazon está presionando en dos frentes a la vez. La lucha por el hardware se desarrolla contra Nvidia. El impulso de los modelos corre contra OpenAI respaldado por Microsoft y Google. La siguiente fase ahora se mueve hacia el uso práctico del cliente a plena escala de nube.