Allucinazioni indotte dall'IA: il post sul blog di un ricercatore alimenta la disinformazione nei motori di ricerca

I chatbot di intelligenza artificiale (IA), alimentati da modelli di IA generativa, sono stati involontariamente fuorviati da un post sul blog di un ricercatore. L'incidente evidenzia la necessità di potenziare le misure di sicurezza man mano che i motori di ricerca potenziati dall'IA diventano più diffusi.

Allucinazioni nei chatbot di IA

Il ricercatore di scienze dell'informazione Daniel S. Griffin ha involontariamente innescato un enigma unico nel campo dei chatbot di IA quando ha pubblicato esempi di informazioni false sul suo blog. Il suo obiettivo era illustrare casi di chatbot di IA che diffondevano disinformazione. Griffin ha presentato due esempi relativi all'influente informatico Claude E. Shannon, con un chiaro disclaimer che indicava che le informazioni fornite dai chatbot erano false.

Tuttavia, questo disclaimer si è rivelato insufficiente per impedire ai crawler di indicizzare le informazioni false. Griffin è rimasto sorpreso nel scoprire che diversi chatbot, tra cui Bing di Microsoft e Bard di Google, avevano citato i dati allucinati come se fossero fattuali, classificandoli in cima ai risultati di ricerca. Quando gli utenti interrogavano i chatbot su dettagli specifici riguardanti Shannon, i bot si basavano sul disclaimer di Griffin per costruire una narrazione coerente ma errata. Ciò ha portato ad attribuire a Shannon un articolo che non aveva mai scritto.

Inoltre, l'aspetto preoccupante di questa situazione era l'assenza di qualsiasi indicazione nei risultati di ricerca di Bing e Bard che le loro fonti derivassero da IA basata su modelli linguistici (LLM). Questo fenomeno riflette da vicino casi in cui le persone parafrasano o citano fonti fuori contesto, portando a ricerche difettose. Tuttavia, l'incidente di Griffin ha dimostrato che i modelli di IA generativa potrebbero potenzialmente automatizzare questo errore su una scala molto più ampia.

Le conseguenze della disinformazione nell'IA

Le ramificazioni di questo incidente si estendono oltre le semplici imprecisioni nella ricerca. Microsoft ha successivamente corretto l'errore in Bing e ha suggerito che il problema è più probabile che si verifichi in argomenti con contenuti scritti da esseri umani limitati online. Questa vulnerabilità apre la porta a una possibilità inquietante: un blueprint teorico per gli attori malintenzionati di armare intenzionalmente le LLM per propagare disinformazione manipolando i risultati dei motori di ricerca. Questa tattica ricorda casi passati in cui gli hacker hanno utilizzato siti web fraudolenti per distribuire malware assicurandosi le posizioni più alte nei risultati di ricerca.

Questo incidente fa eco a un precedente avviso di giugno, che ipotizzava che man mano che internet diventa sempre più saturo di contenuti generati da LLM, verrà utilizzato per addestrare futuri LLM. Questo ciclo di feedback potrebbe portare a un significativo deterioramento della qualità e dell'affidabilità dei modelli AI , un fenomeno definito

L'incidente che ha coinvolto Daniel S. Griffin sottolinea l'imperativo per le aziende che lavorano con l'IA di dare priorità all'addestramento continuo dei modelli con contenuti creati da esseri umani. Preservare informazioni meno note e materiali scritti da gruppi minoritari può svolgere un ruolo fondamentale nel mitigare la proliferazione della disinformazione perpetuata dai sistemi di IA.