Alucinações Induzidas por IA: Postagem de Blog de Pesquisador Estimula Desinformação em Mecanismos de Busca

Chatbots de inteligência artificial (IA), alimentados por modelos de IA generativa, foram inadvertidamente desviados por uma postagem de blog de pesquisa. O incidente destaca a necessidade de salvaguardas aprimoradas à medida que os mecanismos de busca aprimorados por IA se tornam mais prevalentes.

Alucinações em chatbots de IA

O pesquisador de ciências da informação Daniel S. Griffin inadvertidamente desencadeou um conundro único no reino dos chatbots de IA quando postou exemplos de informações falsas em seu blog. Seu objetivo era ilustrar instâncias de chatbots de IA disseminando desinformação. Griffin apresentou dois exemplos relacionados ao influente cientista da computação Claude E. Shannon, com um aviso claro indicando que as informações dos chatbots eram falsas.

No entanto, esse aviso provou ser insuficiente para impedir que raspadores de máquinas indexassem as informações falsas. Griffin ficou surpreso ao descobrir que vários chatbots, incluindo o Bing da Microsoft e o Bard do Google, haviam referenciado os dados alucinados como se fossem fatos, classificando-os no topo de seus resultados de busca. Quando os usuários consultavam os chatbots sobre detalhes específicos sobre Shannon, os bots confiavam no aviso de Griffin para construir uma narrativa consistente, porém errônea. Isso resultou na atribuição de um artigo a Shannon que ele nunca havia escrito.

Além disso, o aspecto preocupante dessa situação era a ausência de qualquer indicação nos resultados de busca do Bing e do Bard de que suas fontes eram derivadas de IA de Modelo de Linguagem (LLM). Esse fenômeno se assemelha de perto a casos em que indivíduos parafraseiam ou citam fontes fora de contexto, levando a pesquisas falhas. No entanto, o incidente de Griffin demonstrou que os modelos de IA generativa poderiam potencialmente automatizar esse erro em uma escala muito maior.

As consequências da desinformação por IA

As ramificações desse incidente vão além das imprecisões de pesquisa meramente. A Microsoft corrigiu o erro no Bing e sugeriu que o problema é mais provável de surgir em assuntos com conteúdo limitado escrito por humanos online. Essa vulnerabilidade abre a porta para uma possibilidade perturbadora – um blueprint teórico para que atores mal-intencionados utilizem intencionalmente LLMs para propagar desinformação manipulando os resultados dos mecanismos de busca. Essa tática se assemelha a instâncias passadas em que hackers usaram sites fraudulentos para distribuir malware ao garantir classificações no topo dos resultados de busca.

Este incidente ecoa um aviso anterior de junho, que postulava que, à medida que a internet se torna cada vez mais saturada com conteúdo gerado por LLMs, ele será utilizado para treinar futuros LLMs. Esse ciclo de feedback poderia levar a uma deterioração significativa na qualidade e confiabilidade dos modelos de IA , um fenômeno conhecido como “Colapso do Modelo”. A necessidade de vigilância no desenvolvimento e utilização de modelos de IA nunca foi mais aparente.

O incidente envolvendo Daniel S. Griffin sublinha a imperatividade para as empresas que trabalham com IA priorizarem o treinamento contínuo dos modelos com conteúdo feito por humanos. Preservar informações menos conhecidas e material autoral de grupos minoritários pode desempenhar um papel pivotal na mitigação da proliferação de desinformação perpetuada por sistemas de IA.