Modelos de IA Menores Superam os Maiores em Eficiência, Encontra Estudo do Google

Em meio a todos os estudos que tentaram sistematizar o campo da inteligência artificial (IA) e debateram a questão de saber se há um ponto em que modelos de IA menores podem superar os maiores em eficácia, o estudo do Google Research e da Universidade Johns Hopkins finalmente refutou esse argumento. Mostrou que, no contexto de geração de imagens, modelos menores tendem a ter um desempenho melhor do que seus contrapartes maiores. Em 2 de maio, o estudo liderado por Kangfu Mei e Zhengzhong Tu revelou as propriedades de escala dos modelos de difusão latente (LDMs). Eles descobriram que mudanças na resolução da imagem de saída não trazem alterações significativas, no entanto, aumentar o tamanho do modelo pode levar a melhorias substanciais. 

Repensando a Eficiência dos Modelos de IA

Os estudos empregaram LDMs de 39 milhões a 5 bilhões de parâmetros com variedades para tarefas incluindo geração de texto para imagem, super-resolução e super-resolução orientada por assunto, enquanto os participantes passaram por processos de treinamento e avaliação cuidadosamente praticados e avaliados. O fato comprovado de que modelos menores se saem bem, mesmo que não sejam maiores do que os comparados, mostra que, quando a computação é limitada, modelos menores podem até exceder os maiores.

As explorações realizadas neste estudo revelam-se complexas. O primeiro ponto a destacar é que os modelos pequenos apresentam alto desempenho e oferecem a mesma ou maior eficiência de amostragem em todos os tipos de samplers de difusão, mesmo após a conclusão da distilação do modelo. 

Essa robustez explica, portanto, que a escala de chip dos modelos inferiores é fundamental para seus méritos e não é uma consequência direta de um algoritmo ou método de treinamento. No entanto, também admite que modelos maiores podem ser úteis para o mesmo propósito, especialmente em casos onde não surgem problemas de alocação de recursos (como poder computacional), pois podem criar imagens com melhores detalhes.

Principais descobertas e implicações

Tais descobertas não são apenas revolucionárias para o espaço tecnológico atual, mas também têm consequências significativas para o desenvolvimento da IA. Elas desempenham uma função importante ao moldar o desenvolvimento de sistemas de IA, permitindo uma geração de imagens mais acessível, poderosa e amigável aos recursos em alta capacidade. Isso é especialmente importante em uma era em que há um chamado crescente para o desenvolvimento de inteligência artificial com abertura e acessibilidade, de modo que ela seja levada aos desenvolvedores e, por fim, aos usuários.

Isso está alinhado com uma certa tendência na sociedade de IA que prevalece atualmente e fornece evidências da superioridade de modelos menores, como LLaMa e Falcon, em comparação com os demais em várias tarefas. 

A tendência de aplicar códigos de código aberto, que são eficientes em termos de velocidade e economia de energia do dispositivo, aumentará o nível de democratização no mundo da IA, permitindo que o sistema funcione sem exigir sensibilidade de sistemas de computador avançados. As ramificações desse tipo de estudo são bastante impressionantes, o que pode levar a uma mudança completa na forma como a IA é aplicada nas tecnologias do dia a dia e tornar as soluções de IA de alto nível disponíveis para um número maior de usuários.

Uma mudança de paradigma

Os estudos de pesquisa do Google Research e da Johns Hopkins University agora criaram um ponto crítico no desenvolvimento da IA, pois questionam as abordagens atuais de desenvolvimento de IA e orientam os profissionais a implantar processos de IA mais baratos e ecologicamente corretos. 

À medida que a comunidade de IA avança para a área de pesquisa de modelos minúsculos, esta pesquisa não apenas resume todo o entendimento atual da perspectiva, mas também oferece espaço para inovações criativas em relação à eficiência, desempenho e praticidade da criação de sistemas de IA.

Este desenvolvimento é, portanto, não apenas uma mudança de paradigma no desenvolvimento da tecnologia de IA, mas também um movimento da indústria em direção à inclusão e acessibilidade na tecnologia. Entre as coisas que a presença crescente da IA traz, a capacidade de implantar modelos em uma miríade de dispositivos que podem funcionar com eficiência e precisão é uma das poucas coisas que podem ampliar muito o alcance da IA, uma vez que esses produtos sejam lançados no mercado. 

A novidade deste estudo surge nas propriedades de dimensionamento do modelo, que incorporam as compensações entre o tamanho do modelo e o desempenho, tornando-o uma pesquisa inovadora que promete um futuro de IA mais eficiente e acessível.