O Hardware de IA Generativa Impulsiona a Acessibilidade e a Eficiência

As inovações em Hardware de IA Generativa estão a dar passos rumo à acessibilidade, eficiência e acessibilidade, desafiando as restrições impostas pelo crescimento exponencial no tamanho dos grandes modelos de linguagem (LLMs). Num recente painel de discussão, líderes da indústria partilharam perspetivas sobre as suas estratégias para enfrentar estes desafios prementes.

Marshall Choy, Vice-Presidente Sênior de Produtos da SambaNova Systems, destacou o papel crítico da arquitetura de memória na redução do custo de utilização de LLMs. À medida que os LLMs exibem contagens de parâmetros que atingem as centenas de milhões ou triliões, o foco deslocou-se para a memória como o gargalo. A SambaNova Systems adotou uma arquitetura de memória de três níveis, abordando a latência, a largura de banda e a capacidade dentro de uma única estrutura. Esta abordagem inovadora visa escalar economicamente a utilização de LLMs, onde a eficiência da memória é a peça chave.

Democratizando modelos grandes

O tamanho crescente dos LLMs apresenta um desafio significativo de acessibilidade. Uma vez que um modelo excede um trilião de parâmetros, o hardware associado e os custos operacionais tornam-se proibitivos, deixando a sua utilização confinada a um seleto grupo. Para tornar os modelos grandes acessíveis a um público mais amplo, a SambaNova Systems introduziu um conceito novo conhecido como “composição de especialistas”.

Esta abordagem diverge do paradigma convencional de “mistura de especialistas”, onde problemas complexos de modelação preditiva são divididos em subtarefas. Em vez disso, a SambaNova treina modelos de especialistas de domínio para precisão e relevância de tarefas, montando um modelo de composição de especialistas de um trilião de parâmetros. Este modelo pode ser continuamente treinado com novos dados sem sacrificar a aprendizagem anterior, tudo enquanto minimiza a latência de computação e reduz os custos associados ao treinamento, ajuste fino e inferência.

Eficiência por meio de técnicas de modelo

A eficiência no hardware de IA generativa vai além do próprio hardware; estende-se à relação entre a arquitetura do modelo e o hardware em que ele é executado. Matt Mattina, VP de Hardware de IA e Modelos na Tenstorrent, enfatizou a importância de quebrar o ciclo de feedback no qual a arquitetura do modelo é moldada pelo hardware no qual é treinada.

A Tenstorrent adota técnicas como busca de arquitetura de rede com hardware no loop, permitindo que os treinadores especifiquem o hardware para inferência durante o treinamento. Essa mudança de paradigma garante que os modelos sejam adaptados não para a máquina de treinamento, mas para a máquina de inferência final, resultando em modelos mais eficientes para uso prático.

Especialização em nível de sistema

A IA é um campo em constante evolução, apresentando desafios no equilíbrio entre chips dedicados e silício personalizado com a flexibilidade do sistema. Jeff Wittich, Chief Product Officer da Ampere Computing, oferece uma perspectiva que favorece a especialização em nível de sistema. Ele afirma que essa abordagem fornece a flexibilidade de combinar componentes, criando soluções versáteis capazes de se adaptar à paisagem de hardware de IA em rápida mudança.

Tradicionalmente, criar e comercializar novo hardware leva vários anos. A parceria da Ampere com empresas que desenvolvem vários aceleradores de treinamento e inferência visa alcançar o equilíbrio certo. A Ampere prevê melhor desempenho e eficiência ao acoplar CPUs de propósito geral com aceleradores especializados em tarefas específicas.

Benefícios de integração e flexibilidade

Wittich destaca a importância da integração, que idealmente deve melhorar o desempenho e a eficiência sem sacrificar a flexibilidade. A fusão de CPUs de propósito geral com aceleradores especializados é vista como uma via promissora. Com o tempo, a integração apertada desses aceleradores com as CPUs deve otimizar ainda mais as cargas de trabalho de IA. O princípio fundamental permanece: a integração deve aprimorar as capacidades sem impor restrições.