- Le matériel d'IA générative innove avec une architecture mémoire pour réduire les coûts, rendant les grands modèles de langage plus abordables.
- SambaNova introduit la « composition d'experts » pour démocratiser les grands modèles, offrant une efficacité sans frais exorbitants.
- Tenstorrent vise l'efficacité en découplant l'architecture du modèle du matériel d'entraînement, garantissant que les modèles sont adaptés à un usage pratique et non seulement à l'entraînement.
Les innovations dans le matériel d'IA générative font des progrès vers l'abordabilité, l'accessibilité et l'efficacité, défiant les contraintes imposées par la croissance exponentielle de la taille des grands modèles de langage (LLM). Lors d'une récente table ronde, des leaders de l'industrie ont partagé leurs réflexions sur leurs stratégies pour répondre à ces défis pressants.
Marshall Choy, vice-président senior des produits chez SambaNova Systems, a souligné le rôle critique de l'architecture de la mémoire pour réduire le coût d'utilisation des LLM. À mesure que les LLM affichent des comptes de paramètres atteignant les milliards ou les billions, l'attention s'est déplacée vers la mémoire en tant que goulot d'étranglement. SambaNova Systems a adopté une architecture de mémoire à trois niveaux, adressant la latence, la bande passante et la capacité au sein d'un seul cadre. Cette approche innovante vise à mettre à l'échelle économiquement l'utilisation des LLM, où l'efficacité de la mémoire est la clé de voûte.
Démocratiser les grands modèles
L'explosion de la taille des LLM présente un défi d'accessibilité significatif. Une fois qu'un modèle dépasse un billion de paramètres, le matériel associé et les coûts de fonctionnement deviennent prohibitifs, limitant leur utilisation à un petit nombre. Pour rendre les grands modèles accessibles à un public plus large, SambaNova Systems a introduit un nouveau concept connu sous le nom de « composition d'experts ».
Cette approche diverge du paradigme conventionnel de « mélange d'experts », où des problèmes de modélisation prédictive complexes sont divisés en sous-tâches. Au lieu de cela, SambaNova entraîne des modèles d'experts de domaine pour la précision et la pertinence des tâches, assemblant un modèle de composition d'experts d'un billion de paramètres. Ce modèle peut être continuellement entraîné sur de nouvelles données sans sacrifier l'apprentissage antérieur, tout en minimisant la latence de calcul et en réduisant les coûts associés à l'entraînement, au réglage fin et à l'inférence.
Efficacité grâce aux techniques de modèle
L'efficacité dans le matériel d'IA générative va au-delà du matériel lui-même ; elle s'étend à la relation entre l'architecture du modèle et le matériel sur lequel il s'exécute. Matt Mattina, vice-président du matériel et des modèles d'IA chez Tenstorrent, a souligné l'importance de briser la boucle de rétroaction où l'architecture du modèle est façonnée par le matériel sur lequel il est entraîné.
Tenstorrent adopte des techniques telles que la recherche d'architecture de réseau avec matériel en boucle, permettant aux entraîneurs de spécifier le matériel pour l'inférence pendant l'entraînement. Ce changement de paradigme garantit que les modèles sont adaptés non pas pour la machine d'entraînement, mais pour la machine d'inférence ultime, conduisant à des modèles plus efficaces pour une utilisation pratique.
Spécialisation au niveau du système
L'IA est un domaine en constante évolution, posant des défis dans l'équilibre entre les puces dédiées et le silicium personnalisé avec la flexibilité du système. Jeff Wittich, directeur des produits chez Ampere Computing, offre une perspective qui favorise la spécialisation au niveau du système. Il affirme que cette approche fournit la flexibilité de mélanger et d'associer des composants, créant des solutions polyvalentes capables de s'adapter au paysage matériel d'IA en rapide évolution.
Traditionnellement, la création et la commercialisation de nouveaux matériels prennent plusieurs années. Le partenariat d'Ampere avec des entreprises développant divers accélérateurs d'entraînement et d'inférence vise à atteindre le bon équilibre. Ampere envisage une amélioration des performances et de l'efficacité en couplant des CPU à usage général avec des accélérateurs spécialisés dans des tâches spécifiques.
Avantages de l'intégration et flexibilité
Wittich souligne l'importance de l'intégration, qui devrait idéalement améliorer les performances et l'efficacité sans sacrifier la flexibilité. La fusion des processeurs à usage général avec des accélérateurs spécialisés est considérée comme une voie prometteuse. Avec le temps, l'intégration étroite de ces accélérateurs avec les CPU devrait optimiser davantage les charges de travail de l'IA. Le principe clé reste le suivant : l'intégration doit améliorer les capacités sans imposer de restrictions.
Si vous lisez ceci, vous êtes déjà en avance. Restez ainsi grâce à notre newsletter.
Avertissement. Les informations fournies ne constituent pas des conseils en matière d'investissement. Cryptopolitan.com ne saurait être tenue responsable des investissements réalisés sur la base des informations fournies sur cette page. Nous recommandons vivement de mener vos propres recherches et/ou de consulter un professionnel qualifié avant de prendre toute décision d'investissement.
Brenda Kanana
Brenda possède plus de 4 ans d'expérience spécialisée en cryptomonnaies, intelligence artificielle et technologies émergentes. Elle a travaillé chez Zycrypto, Blockchain Reporter et The Coin Republic, et fait désormais de Cryptopolitan son foyer. Son diplôme en sociologie de l'Université technique de Mombasa lui permet de rester alignée avec les préoccupations de ses lecteurs.
