Estudo do Google revela que modelos de IA menores superam os maiores em eficiência

Em meio a todos os estudos que tentaram sistematizar o campo da inteligência artificial (IA) e se debruçaram sobre a questão de se existe um ponto em que modelos de IA menores podem superar os maiores em eficácia, o estudo do Google Research e da Universidade Johns Hopkins finalmente refutou esse argumento. Ele mostrou que, no contexto da geração de imagens, modelos menores tendem a ter um desempenho melhor do que seus equivalentes maiores. Em 2 de maio, o estudo liderado por Kangfu Mei e Zhengzhong Tu revelou as propriedades de escalabilidade dos modelos de difusão latente (LDMs). Eles descobriram que mudanças na resolução da imagem de saída não trazem alterações significativas, porém, aumentar o tamanho do modelo pode levar a melhorias substanciais. 

Repensando a eficiência dos modelos de IA

Os estudos empregaram Modelos de Distribuição de Lacunas (LDMs) com 39 milhões a 5 bilhões de parâmetros, abrangendo diversas tarefas, incluindo geração de imagem a partir de texto, super-resolução e super-resolução direcionada pelo sujeito. Os participantes foram submetidos a processos de treinamento e avaliação cuidadosamente praticados e avaliados. O fato comprovado de que modelos menores se saem muito bem, mesmo que não sejam maiores do que os modelos comparados, demonstra que, quando a capacidade computacional é limitada, modelos menores podem até mesmo superar modelos maiores.

As análises realizadas neste estudo revelaram-se complexas. O primeiro ponto a destacar é que os modelos de pequena escala apresentam alto desempenho, proporcionando eficiência de amostragem igual ou superior em todos os tipos de amostradores de difusão, mesmo após a destilação do modelo. 

Essa robustez explica, portanto, que a escala reduzida dos modelos inferiores é parte integrante de seus méritos e não uma consequência direta de um algoritmo ou método de treinamento. Contudo, também admite que modelos maiores podem ser úteis para o mesmo propósito, especialmente em casos onde não há problemas de alocação de recursos (como poder computacional), pois podem gerar imagens com mais detalhes.

Principais conclusões e implicações

Essas descobertas não são apenas revolucionárias para o cenário tecnológico atual, mas também têm consequências significativas para o desenvolvimento da IA. Elas desempenham um papel fundamental no desenvolvimento de sistemas de IA que permitem a geração de imagens de alta qualidade de forma mais acessível, poderosa e com uso eficiente de recursos. Isso é especialmente importante em uma era em que há uma crescente demanda pelo desenvolvimento de inteligência artificial aberta e acessível, de forma que ela seja disponibilizada aos desenvolvedores e, em última instância, aos usuários.

Isso está em consonância com uma certa tendência da sociedade da IA ​​que prevalece atualmente e fornece evidências da superioridade de modelos menores como o LLaMa e o Falcon em comparação com os demais em diversas tarefas. 

A tendência de aplicar códigos de código aberto, que são eficientes em termos de velocidade e economia de energia do dispositivo, aumentará o nível de democratização no mundo da IA, permitindo que o sistema funcione sem a necessidade de sistemas computacionais avançados. As ramificações desse tipo de estudo são impressionantes, podendo levar a uma mudança completa na forma como a IA é aplicada às tecnologias do dia a dia e disponibilizar soluções de IA de alto nível para um número maior de usuários.

Uma mudança de paradigma

Os estudos de pesquisa realizados pelo Google Research e pela Universidade Johns Hopkins criaram um ponto crítico no desenvolvimento da IA, ao questionarem as abordagens atuais e orientarem os profissionais a implementarem processos de IA mais baratos e ecológicos. 

A comunidade de IA avança para a área de pesquisa de modelos minúsculos. Essa pesquisa também não resume todo o conhecimento atual sobre o assunto, mas oferece espaço para inovações criativas em relação à eficiência, desempenho e praticidade da criação de sistemas de IA.

Este desenvolvimento representa, portanto, não apenas uma mudança de paradigma no desenvolvimento da tecnologia de IA, mas também um movimento da indústria em direção à inclusão e acessibilidade na tecnologia. Entre os aspectos da crescente presença da IA, a criação de modelos implementáveis ​​em inúmeros dispositivos, capazes de operar com eficiência e precisão, é um dos poucos fatores que podem ampliar significativamente o leque de aplicações da IA, uma vez que esses modelos cheguem ao mercado. 

A novidade deste estudo reside nas propriedades de escalabilidade do modelo, que incorporam as compensações entre o tamanho do modelo e o desempenho, tornando-o uma pesquisa inovadora que promete um futuro da IA ​​mais eficiente e acessível.