Pesquisas mostram que modelos de IA dominam capacidades muito antes de as exibirem

Uma nova pesquisa revelou que os modelos de inteligência artificial (IA) possuem algumas capacidades muito antes de as demonstrarem durante o treinamento. De acordo com o estudo realizado por Harvard e pela Universidade de Michigan, os modelos só exibem essas habilidades quando precisam delas de alguma forma.

Essa pesquisa é uma das muitas que foram realizadas para entender como os modelos de IA desenvolvem suas capacidades antes de apresentá-las.

O estudo analisou como os modelos de IA aprendem conceitos básicos como tamanho e cor, revelando que eles dominam essas habilidades mais cedo do que a maioria dos testes sugere. O estudo também forneceu informações sobre a complexidade de medir as capacidades de uma IA. "Um modelo pode parecer incompetente ao receber instruções padrão, enquanto na verdade possui habilidades sofisticadas que só emergem sob condições específicas", diz o artigo.

Pesquisas mostram que os modelos de IA internalizam conceitos

Harvard e a Universidade de Michigan não são as primeiras a tentar compreender as capacidades dos modelos de IA. Pesquisadores da Anthropic publicaram um artigo intitulado "Aprendizado de dicionário", que discute o mapeamento de conexões na linguagem Claude com conceitos específicos que ela compreende. Embora a maioria dessas pesquisas tenha abordado perspectivas diferentes, o objetivo principal é compreender os modelos de IA.

A Anthropic revelou ter encontrado características que podem ser associadas a diferentes conceitos interpretáveis. "Encontramos milhões de características que parecem corresponder a conceitos interpretáveis, desde objetos concretos como pessoas, países e edifícios famosos até ideiastraccomo emoções, estilos de escrita e etapas de raciocínio", revelou a pesquisa.

Durante a pesquisa, os investigadores realizaram diversas experiências utilizando o modelo de difusão, uma das arquiteturas mais populares para IA. Durante a experiência, perceberam que os modelos tinham formas distintas de manipular conceitos básicos. Os padrões eram consistentes, uma vez que os modelos de IA demonstravam novas capacidades em diferentes fases e um ponto de transição abrupto que sinalizava a aquisição de uma nova capacidade.

Durante o treinamento, os modelos demonstraram ter dominado os conceitos cerca de 2.000 passos antes do que um teste padrão detectaria. Conceitostronapareceram por volta de 6.000 passos, enquanto os mais fracos foram visíveis por volta de 20.000 passos. Após o ajuste dos sinais dos conceitos, descobriu-se uma correlação direta com a velocidade de aprendizado.

Pesquisadores revelam métodos para acessar capacidades ocultas

Os pesquisadores utilizaram métodos alternativos de estímulo para revelar capacidades ocultas antes que elas fossem demonstradas em testes padrão. A natureza desenfreada da emergência oculta tem efeitos na avaliação e segurança da IA. Por exemplo, os benchmarks tradicionais podem deixar de detectar certas capacidades dos modelos de IA, perdendo assim tanto as benéficas quanto as preocupantes.

Durante a pesquisa, a equipe descobriu certos métodos para acessar as capacidades ocultas dos modelos de IA. A pesquisa denominou esses métodos de intervenção latente linear e sobre-instrução, pois os pesquisadores faziam os modelos exibirem comportamentos complexos antes que eles os demonstrassem em testes padrão. Os pesquisadores também descobriram que os modelos de IA manipulavam certas características complexas antes que pudessem mostrá-las por meio de estímulos padrão.

Por exemplo, os modelos poderiam ser instruídos a gerar imagens de "mulheres sorrindo" ou "homens usando chapéus" com sucesso antes de serem solicitados a combiná-las. No entanto, pesquisas mostraram que eles já aprenderam a combinar as imagens anteriormente, mas não conseguirão demonstrá-las por meio de instruções convencionais. Pode-se dizer que os modelos que demonstram essa capacidade estão "grorking", uma situação em que exibem desempenho perfeito em testes após treinamento prolongado. Contudo, os pesquisadores apontaram diferenças importantes entre os dois cenários.

Embora a assimilação de conceitos ocorra após várias sessões de treinamento e envolva o refinamento de diversas distribuições dos mesmos conjuntos de dados, a pesquisa mostra que essas capacidades emergem durante o aprendizado ativo. Os pesquisadores observaram que os modelos encontraram novas maneiras de manipular conceitos por meio de mudanças em fases, em vez de melhorias graduais na representação, durante a assimilação de conceitos.

De acordo com a pesquisa, os modelos de IA conhecem esses conceitos, mas não conseguem demonstrá-los. É semelhante a pessoas que assistem e entendem um filme estrangeiro, mas não falam o idioma. Isso demonstra que a maioria dos modelos possui mais capacidades do que aparenta, e também evidencia a dificuldade em compreender e controlar essas capacidades.