El hardware de IA generativa impulsa la accesibilidad y la eficiencia
- El hardware de IA generativa innova con arquitecturas de memoria para reducir costos, haciendo que los modelos de lenguaje grandes sean más asequibles.
- SambaNova introduce la "composición de expertos" para democratizar los modelos grandes, ofreciendo eficiencia sin gastos exorbitantes.
- Tenstorrent busca la eficiencia al desacoplar la arquitectura del modelo del hardware de entrenamiento, asegurando que los modelos estén listos para su uso práctico, no solo para el entrenamiento.
Las innovaciones en hardware de IA generativa están avanzando hacia la asequibilidad, la accesibilidad y la eficiencia, desafiando las limitaciones impuestas por el crecimiento exponencial del tamaño de los grandes modelos de lenguaje (LLM). En un reciente panel de discusión, líderes de la industria compartieron sus estrategias para abordar estos desafíos apremiantes.
Marshall Choy, vicepresidente senior de Productos en SambaNova Systems, destacó el papel crítico de la arquitectura de memoria para reducir el costo de uso de los LLM. A medida que los LLM cuentan con billones o billones de parámetros, el enfoque se ha desplazado hacia la memoria como el cuello de botella. SambaNova Systems ha adoptado una arquitectura de memoria de tres niveles, abordando la latencia, el ancho de banda y la capacidad dentro de un único marco. Este enfoque innovador tiene como objetivo escalar económicamente el uso de los LLM, donde la eficiencia de la memoria es la clave.
Democratización de los grandes modelos
El creciente tamaño de los LLM presenta un desafío significativo de accesibilidad. Una vez que un modelo supera el billón de parámetros, los costos asociados de hardware y operación se vuelven prohibitivos, limitando su uso a un selecto grupo. Para hacer que los grandes modelos sean accesibles a un público más amplio, SambaNova Systems ha introducido un concepto novedoso conocido como «composición de expertos».
Este enfoque difiere del paradigma convencional de «mezcla de expertos», donde los problemas complejos de modelado predictivo se dividen en subtareas. En su lugar, SambaNova entrena modelos de expertos por dominio para lograr precisión y relevancia en la tarea, ensamblando un modelo de composición de expertos de un billón de parámetros. Este modelo puede ser entrenado continuamente con nuevos datos sin sacrificar el aprendizaje previo, todo ello minimizando la latencia de cómputo y reduciendo los costos asociados al entrenamiento, ajuste fino e inferencia.
Eficiencia mediante técnicas de modelo
La eficiencia en el hardware de IA generativa va más allá del propio hardware; se extiende a la relación entre la arquitectura del modelo y el hardware en el que se ejecuta. Matt Mattina, vicepresidente de Hardware de IA y Modelos en Tenstorrent, enfatizó la importancia de romper el ciclo de retroalimentación en el que la arquitectura del modelo está moldeada por el hardware en el que se entrena.
Tenstorrent adopta técnicas como la búsqueda de arquitectura de red con hardware en el bucle, permitiendo a los entrenadores especificar el hardware para la inferencia durante el entrenamiento. Este cambio de paradigma asegura que los modelos estén diseñados no para la máquina de entrenamiento, sino para la máquina de inferencia definitiva, lo que conduce a modelos más eficientes para el uso práctico.
Especialización a nivel de sistema
La IA es un campo en constante evolución, lo que plantea desafíos para equilibrar los chips dedicados y el silicio personalizado con la flexibilidad del sistema. Jeff Wittich, director de Producto en Ampere Computing, ofrece una perspectiva que favorece la especialización a nivel de sistema. Afirma que este enfoque proporciona la flexibilidad para combinar y combinar componentes, creando soluciones versátiles capaces de adaptarse al cambiante panorama del hardware de IA.
Tradicionalmente, crear y comercializar nuevo hardware toma varios años. La asociación de Ampere con empresas que desarrollan diversos aceleradores de entrenamiento e inferencia tiene como objetivo lograr el equilibrio adecuado. Ampere prevé un mejor rendimiento y eficiencia al acoplar CPUs de propósito general con aceleradores especializados en tareas específicas.
Beneficios e integración de flexibilidad
Wittich destaca la importancia de la integración, que idealmente debería mejorar el rendimiento y la eficiencia sin sacrificar la flexibilidad. La fusión de CPUs de propósito general con aceleradores especializados se considera una vía prometedora. Con el tiempo, se espera que la estrecha integración de estos aceleradores con las CPUs optimice aún más las cargas de trabajo de IA. El principio clave sigue siendo: la integración debe mejorar las capacidades sin imponer restricciones.
No te limites a leer noticias sobre criptomonedas. Entiéndelas. Suscríbete a nuestro boletín. Es gratis.
Aviso de responsabilidad. La información proporcionada no es un consejo de trading. Cryptopolitan.com no asumimos responsabilidad alguna por las inversiones realizadas basándose en la información proporcionada en esta página. Recomendamos encarecidamente la investigación independiente y/o la consulta con un profesional calificado antes de tomar cualquier decisión de inversión.
Brenda Kanana
Brenda cuenta con más de 4 años de experiencia especializada en criptomonedas, inteligencia artificial y tecnologías emergentes. Ha trabajado en Zycrypto, Blockchain Reporter y The Coin Republic, y ahora tiene a Cryptopolitan como su hogar. Su licenciatura en Sociología de la Universidad Técnica de Mombasa la mantiene alineada con las necesidades de sus lectores.
