Cerebras desafía a Nvidia al lanzar un servicio de inferencia de IA

Cerebras Systems anunció el martes una solución de inferencia de IA para desarrolladores. Según la compañía, es mucho más rápida, 20 veces más rápida que las soluciones de Nvidia.

Cerebras proporcionará acceso a sus chips más grandes para ejecutar aplicaciones de IA, que, según la compañía, también son más económicas que las GPU de Nvidia. A las GPU de Nvidia, estándar de la industria, se suele acceder a través de proveedores de servicios en la nube para ejecutar modelos de lenguaje de gran tamaño como ChatGPT. Obtener acceso no suele ser fácil para muchas pequeñas empresas y resulta costoso. 

Cerebras afirma que sus nuevos chips pueden ofrecer un rendimiento que supera a las GPU

La inferencia de IA es el proceso de operar un modelo de IA ya entrenado para obtener un resultado, como respuestas de chatbots y la resolución de diferentes tareas. Los servicios de inferencia son la columna vertebral de las aplicaciones de IA actuales, ya que dependen de ellos para las operaciones diarias y facilitar la tarea a los usuarios.

Cerebras afirmó que la inferencia es el segmento de mayor crecimiento en la industria de la IA, ya que representa el 40 % de todas las cargas de trabajo relacionadas con la IA en la computación en la nube. El director ejecutivo de Cerebras, Andrew Feldman, explicó que los chips de gran tamaño de la compañía ofrecen un rendimiento superior al de una GPU. Las GPU no pueden alcanzar este nivel, afirmó. Feldman habló con Reuters en una entrevista.

Añadió:

“Lo estamos haciendo con la máxima precisión y lo ofrecemos al precio más bajo”. Fuente: Reuters.

El director ejecutivo afirmó que los servicios de inferencia de IA existentes no satisfacen a todos los clientes. Comentó a otro grupo de periodistas en San Francisco que la compañía está observando un gran interés en soluciones más rápidas y rentables. 

Hasta ahora, Nvidia ha dominado el mercado de la computación de IA con sus chips de referencia y el entorno de programación CUDA (Compute Unified Device Architecture). Esto ha permitido a Nvidia integrar a los desarrolladores en su ecosistema al ofrecer una amplia gama de herramientas.

Los chips Cerbras tienen 7000 veces más memoria que las GPU Nvidia H100

Cerebras afirmó que su servicio de inferencia de alta velocidad representa un punto de inflexión para la industria de la IA. Los nuevos chips de la compañía, del tamaño de un plato, se denominan Wafer Scale Engines. Pueden procesar 1000 tokens por segundo, una velocidad comparable, según la compañía, a la introducción del internet de banda ancha.

Según la compañía, los nuevos chips ofrecen diferentes niveles de salida para distintos modelos de IA. En el caso del Llama 3.1 8B, los nuevos chips pueden procesar hasta 1800 tokens por segundo, mientras que en el Llama 3.1 70B, pueden procesar 450 tokens por segundo.

Cerebras ofrece servicios de inferencia a 10 centavos por millón de tokens, una cifra inferior a la de los basados ​​en GPU. Normalmente, los enfoques alternativos sacrifican precisión en beneficio del rendimiento, según la industria, mientras que los nuevos chips de Cerebras son capaces de mantener la precisión, según afirma la compañía.

Cerebras anunció que ofrecerá productos de inferencia de IA en diferentes formatos. La compañía planea introducir un servicio de inferencia a través de su nube y una clave de desarrollador. También venderá los nuevos chips a clientes de centros de datos y a quienes deseen operar sus propios sistemas.

Los nuevos chips Wafer Scale Engine cuentan con módulos integrados de refrigeración y suministro de energía, y forman parte del sistema de centro de datos CS-3 de Cerebras. Según diversos informes, el sistema Cerebras CS-3 es la columna vertebral del servicio de inferencia de la compañía. 

El sistema cuenta con una capacidad de memoria 7000 veces mayor que las GPU Nvidia H100. Esto también resuelve el problema fundamental del ancho de banda de la memoria, que muchos fabricantes de chips intentan solucionar.

Cerbras también está trabajando para cotizar en bolsa. Para ello, presentó este mes un prospectodentante la Comisión de Bolsa y Valores (SEC).