À medida que o Google indexava os resultados ruins de infraestrutura como código produzidos pela Pulumi AI, uma desenvolvedora de IA que utiliza um chatbot para criar modelos, vimos essas entidades artificiais aparecerem no topo dos resultados do Google.
A ascensão do conteúdo de IA
Essa saga da 'Pullumi' consiste em 'escrever os resultados de uma solicitação de seus usuários, que serão exibidos em seu subsite de Respostas de IA'. As respostas do robô são indexadas pelos rastreadores de classificação do Google principalmente porque as respostas da IA são frequentemente inadequadas.
Arian van Putten citou os desenvolvedores dizendo "Aconteceu" em sua postagem nas redes sociais no fim de semana. O primeiro resultado da busca no Google deve ser o manual oficial do Pulumi, repleto de conteúdo do LLM, que vem com um aviso de que o conteúdo gerado pelo LLM irá alucinar com um recurso da AWS que não existe.
Conforme opinou o Registrador em 2022, o conteúdo gerado por IA já estava presente, o que levanta questionamentos sobre sua qualidade. Esse conteúdo é indexado mais rapidamente pelos mecanismos de busca e apresentado como o conteúdo principal nos resultados de pesquisa.
Além de dar suporte à funcionalidade e ao conteúdo do Pulumi AI e seu repositório de respostas de IA, as respostas online são outro tipo de dado que ilustra o design. A infraestrutura como código, habilitada por ferramentas como o Pulumi, gera o resultado da IA, e o rastreador de busca do Google o indexa e o apresenta aos usuários juntamente com links para o conteúdo original do site, escrito por humanos. Essa documentação e fragmentos de código criados por um sistema de IA contribuíram para que outros desenvolvedores descobrissem que muitos sistemas produziam resultados imprecisos ou, pior ainda, não funcionais.
preocupações com o ranking de busca
O problema ocorreu em 21 de março de 2024, e Pete Nykänen o descobriu e relatou em um tópico do GitHub Issues dedicado ao Pulumi AI. “Recentemente, eu estava pesquisando palavras-chave relacionadas à infraestrutura no Google. Percebi uma tendência preocupante: as respostas do Pulumi AI aparecem em primeiro lugar e são exibidas na página de resultados do Google, independentemente de a pergunta já ter sido feita ou não. Isso se estende até mesmo a múltiplas consultas, então tenho certeza de que o problema vai piorar com o tempo.” Nicky disse ao The Register por e-mail que começou a notar problemas de busca relacionados ao Pulumi AI.
O CEO destacou: "Nós, engenheiros, passamos muito tempo procurando respostas online, e eu não poderia deixar de notar a IA no topo dos resultados de busca à noite para palavras-chave que não estavam relacionadas nem à Pulumi nem à própria IA."
Nykänen argumentou que a IA atualmente ocupa os primeiros lugares nos resultados de busca. Com mais empresas criando programas de geração de conteúdo, a participação de profissionais de IA no trabalho prático é importante e pode afetar negativamente a confiabilidade da internet.
Outro papel que a IA desempenhou na documentação foi que, embora o AI Answers cobrisse mais da metade (quase dois terços) dos tópicos sobre o uso dos serviços, Aaron Friel, um engenheiro de IA da Pulumi, sugeriu que novos AI Answers seriam descontinuados.
Verificação de qualidade
Friel mencionou que as API Pages são outra iniciativa em que a Pulumi aborda casos reais ou documentos relacionados ao upstream. O Google ainda não sabia disso, mas depois de um mês, testou o código gerado e o adicionou à sua lista de tarefas. A palavra-chave "Aws light sail x-ray" foi usada como palavra-chave de busca pelo The Register na segunda-feira, e a Pulumi AI ficou entre os dois primeiros resultados. Na terça-feira da semana seguinte, ao inserir as mesmas palavras-chave no mecanismo de busca, surpreendeu-nos ao aparecer em primeiro lugar na página – acima até mesmo da documentação oficial da AWS.
Eles questionaram o Google sobre seus pensamentos a respeito da situação atual, e um representante do Google disse que "a empresa está sempre se esforçando para exibir informações da mais alta qualidade, mas em alguns tópicos específicos da lista de pesquisa, pode não haver conteúdo de alta qualidade disponível na web para alcançar o primeiro lugar no ranking".
A gigante das buscas afirmou ainda que suas políticas se baseiam no fato de que "material de baixa qualidade produzido em larga escala com o único propósito de prejudicar os resultados de busca é considerado spam" e que a tecnologia recentemente aprimorada visa 45% desse conteúdo não original/completamente inútil nas buscas.
O mecanismo de busca da Microsoft, o Bing, encontrou um exemplo de página da Wikipédia nos bastidores para essa mesma consulta. Embora não houvesse problema com o material gerado por IA do Bing, os resultados exibidos continham um botão de bate-papo que aparecia se você caísse na armadilha e clicasse nele. O site Brave Against também omitiu a resposta da IA Pulumi.
Segundo o DuckDuckGo, o resultado da Pulumi AI apareceu como o quarto na SERP (página de resultados do mecanismo de busca) para a consulta "O que compõe produtos de inteligência artificial". Duffy afirmou que a qualidade do código da Pulumi foi testada e aprimorada ao longo do tempo. A empresa observou um aumento de dois dígitos nas taxas de sucesso dos exemplos de código a cada trimestre.
