Modelos de IA produzem 'gibberish' quando treinados com dados gerados por IA

Modelos de linguagem grandes (LLMs) treinados em iterações anteriores de material gerado por IA produzem saídas que carecem de substância e nuance, encontrou um novo estudo. As descobertas apresentam um novo desafio para os desenvolvedores de IA, que dependem de conjuntos de dados limitados gerados por humanos para conteúdo.

Também leia: Deepfakes de IA dificultam que autoridades dos EUA protejam crianças – relatório

Pesquisadores de inteligência artificial da Universidade de Cambridge e da Universidade de Oxford no Reino Unido tentaram escrever prompts confiando em um conjunto de dados composto apenas por conteúdo gerado por IA. O resultado não foi ideal, pois produziu respostas incompreensíveis.

A IA ainda precisa de humanos para fazer sentido

Um dos autores do artigo, Zhakar Shumaylov, da Universidade de Cambridge disse que há uma necessidade de controle de qualidade nos dados que alimentam os LLMs, a tecnologia por trás de chatbots de IA generativa como ChatGPT e Gemini do Google. Shumaylov disse:

“A mensagem é que temos que ter muito cuidado com o que acaba em nossos dados de treinamento. [Caso contrário,] as coisas sempre, comprovadamente, darão errado”.

O fenômeno é conhecido como “colapso do modelo”, detalhou Shumaylov. Foi provado afetar todos os tipos de modelos de inteligência artificial, incluindo aqueles que se especializam em geração de imagens usando prompts de texto.

De acordo com o estudo, prompts de texto repetidos usando dados gerados por IA em um modelo acabaram gerando nonsense. Por exemplo, os pesquisadores descobriram que um sistema testado com texto sobre as torres da Igreja medieval do Reino Unido produziu uma lista repetitiva de coelhos-da-silva após apenas nove gerações.

Comentando sobre as saídas, o cientista da computação da Universidade da Califórnia, Hany Farid, comparou o colapso dos dados aos desafios endêmicos da endogamia animal.

“Se uma espécie se reproduz com sua própria descendência e não diversifica seu pool genético, isso pode levar ao colapso da espécie”, disse Farid.

Quando os pesquisadores infundiram dados gerados por humanos nos dados da IA, o colapso aconteceu mais lentamente do que quando estava rodando apenas em conteúdo gerado por IA.

Pesquisadores: IA pode piorar vieses contra grupos minoritários

Os modelos de linguagem funcionam construindo associações entre tokens — palavras ou partes de palavras — em enormes extensões de texto, muitas vezes raspadas da Internet. Eles geram texto jogando fora a próxima palavra estatisticamente mais provável, com base nesses padrões aprendidos.

Também leia: Urso de pelúcia Poe alimentado por ChatGPT lê histórias de ninar para crianças

O estudo, publicado na revista Nature em 24 de julho, mostrou que a informação mencionada algumas vezes em conjuntos de dados provavelmente não será repetida. Os pesquisadores temem que isso possa impactar negativamente grupos minoritários já marginalizados.

Para evitar o colapso do modelo em casos de uso do mundo real, o estudo sugeriu a marcação d'água em conteúdo gerado por IA e conteúdo gerado por humanos. Mas isso também pode ser problemático devido à falta de coordenação entre empresas de IA rivais, disse.

As descobertas do estudo chegam em um momento em que há um debate crescente sobre se a IA resultará na exclusão total dos humanos na criação de conteúdo, incluindo a escrita de romances e artigos de jornal.

Titulado, ‘Modelos de IA colapsam quando treinados em dados gerados recursivamente’, os resultados do estudo colocam esse debate em repouso – os humanos não estão sendo removidos da equação ainda.