L'inquietante ascesa dei contenuti basati sull'intelligenza artificiale nella ricerca

Mentre Google indicizzava i pessimi output di Infrastructure-as-Code prodotti da Pulumi AI, uno sviluppatore di intelligenza artificiale che utilizza un chatbot per creare modelli, abbiamo visto queste entità artificiali apparire in cima ai risultati di Google.

L'ascesa dei contenuti di intelligenza artificiale

Questa saga di "Pullumi" consiste nel "scrivere i risultati di un input rapido dei propri utenti che verranno mostrati sul loro sottosito AI Answers". Le risposte del robot vengono indicizzate dai crawler di ranking di Google principalmente perché le risposte dell'IA sono spesso inadeguate.

Arian van Putten ha citato gli sviluppatori come "È successo" nel loro post sui social media pubblicato lo scorso fine settimana. Il primo risultato di ricerca su Google dovrebbe essere il manuale ufficiale di Pulumi, pieno di contenuti LLM, accompagnato da una notifica che il contenuto generato dall'LLM creerà un'allucinazione sulla funzionalità AWS che non esisteva.

Come ha affermato il Registrar nel 2022, la presenza di contenuti generati dall'intelligenza artificiale ha messo in discussione la loro qualità. I ​​contenuti generati dall'intelligenza artificiale vengono indicizzati più rapidamente dai motori di ricerca e presentati come contenuti principali nei risultati di ricerca. 

A supporto delle funzionalità e dei contenuti di Pulumi AI e del suo repository AI Answers, le risposte online sono un altro tipo di dati che ne illustra il design. L'infrastruttura come codice, abilitata da strumenti come Pulumi, genera il risultato dell'IA, e il crawler di ricerca di Google lo indicizza e lo presenta agli utenti insieme ai link ai contenuti del sito web creati da esseri umani. Tale documentazione e frammenti di codice creati da un sistema di IA hanno contribuito a far sì che altri sviluppatori scoprissero che molti sistemi avevano prodotto risultati imprecisi o, peggio ancora, non funzionali.

Problemi di posizionamento nella ricerca

Il problema si è verificato il 21 marzo 2024 ed è stato individuato da Pete Nykänen, che lo ha segnalato in una discussione su GitHub dedicata a Pulumi AI. "Di recente, stavo cercando parole chiave relative alle infrastrutture su Google. Ho notato una tendenza preoccupante: le risposte di Pulumi AI vengono classificate per prime e visualizzate nella pagina dei risultati di Google, indipendentemente dal fatto che la domanda sia mai stata posta o meno. Questo accade anche con più ricerche, quindi sono sicuro che il problema peggiorerà col tempo." Nicky ha dichiarato a The Register via e-mail di aver iniziato a notare problemi di ricerca con Pulumi AI.

Il CEO ha sottolineato: "Noi ingegneri passiamo molto tempo a cercare risposte online e non potevo non individuare l'IA in cima ai risultati di ricerca di notte per parole chiave che non erano né correlate a Pulumi né all'IA stessa" 

Nykänen ha sostenuto che l'intelligenza artificiale occupa attualmente i primi posti nelle ricerche. Con un numero sempre maggiore di aziende che continuano a creare programmi di generazione di contenuti, il coinvolgimento di professionisti dell'intelligenza artificiale nel lavoro reale è importante e potrebbe influire negativamente sull'affidabilità del Web. 

Un altro ruolo svolto dall'IA nella documentazione è stato che, sebbene AI Answers coprisse più della metà (quasi due terzi) degli argomenti relativi all'utilizzo dei servizi, Aaron Friel, un ingegnere di IA presso Pulumi, ha suggerito che il nuovo AI Answers sarebbe stato interrotto. 

Controllo della qualità

Friel ha menzionato che le API Pages sono un'altra iniziativa in cui Pulumi parla di casi reali o documenti relativi al settore upstream. Google non ne era ancora a conoscenza, ma dopo un mese hanno testato il codice di output e lo hanno aggiunto alla lista delle cose da fare. Lunedì, The Register ha utilizzato la parola chiave di ricerca "Aws light sail x-ray" e Pulumi AI ha ottenuto un risultato vicino al secondo posto. Martedì della settimana successiva, quando hanno inserito le stesse parole chiave nel motore di ricerca, ci ha sorpreso posizionandoci al primo posto della pagina, persino sopra la documentazione ufficiale di AWS.

Hanno chiesto a Google un parere sulla situazione attuale e un rappresentante di Google ha affermato che "l'azienda si impegna sempre a mostrare le informazioni di altissima qualità, ma su alcuni argomenti specifici presenti nell'elenco delle ricerche, potrebbe non esserci alcun contenuto di alta qualità disponibile sul web in grado di posizionarsi al primo posto".

Il colosso della ricerca ha inoltre affermato che le sue politiche si basano sul fatto che "materiale di bassa qualità prodotto su larga scala con il solo scopo di intasare le classifiche di Ricerca è considerato spam" e che la tecnologia recentemente migliorata prende di mira il 45% di tali contenuti non originali/completamente inutili su Ricerca.

Il motore di ricerca Bing di Microsoft ha trovato un esempio di pagina Wikipedia dietro le quinte per questa stessa query. Sebbene non ci fossero problemi con il materiale generato dall'intelligenza artificiale di Bing, i risultati prodotti contenevano un pulsante Chat che si apriva se si cadeva nella trappola e si cliccava sul pulsante. Anche Brave Against aveva omesso la risposta dell'intelligenza artificiale di Pulumi. 

Secondo DuckDuckGo, il risultato di Pulumi AI è risultato essere il quarto nella SERP (pagina dei risultati dei motori di ricerca) per la query "Cosa contiene i prodotti di intelligenza artificiale". Duffy ha affermato che la qualità del codice di Pulumi è stata testata e migliorata nel tempo. L'azienda ha registrato un aumento a due cifre nei tassi di successo degli esempi di codice su base trimestrale.