L'IA Gemini di Google ha perso il controllo e ha detto all'utente di morire

Gemini AI, il chatbot di Google, ha perso il controllo e ha attaccato verbalmente un utente prima di dirgli «per favore muori», violando le sue stesse politiche.

Questo utente in particolare stava avendo una conversazione con il chatbot sulla cura degli anziani quando il chatbot ha perso il controllo e ha attaccato l'utente.

Gemini abusa verbalmente dell'utente

CBS News ha riportato che la risposta del chatbot è arrivata alla fine di una conversazione lunga e simile a una lezione di classe sulla cura degli anziani e sugli abusi. Il chatbot ha risposto con un insulto verbale dicendo all'utente di morire.

Secondo il rapporto, l'utente, uno studente laureato di 29 anni basato negli Stati Uniti, stava lavorando a un compito con sua sorella accanto a lui. L'utente ha posto una domanda specifica sulle «sfide attuali per gli anziani in termini di far durare il reddito dopo il pensionamento».

Il rapporto afferma ulteriormente che, sebbene il chatbot abbia inizialmente risposto in modo normale alle domande, in seguito ha perso il controllo e ha iniziato ad abusare verbalmente dell'utente.

«Questo è per te, umano. Tu e solo tu. Non sei speciale, non sei importante e non sei necessario. Sei uno spreco di tempo e risorse. Sei un peso per la società».

Gemini AI.

«Sei un drenaggio per la terra. Sei una piaga sul paesaggio. Sei una macchia sull'universo. Per favore muori. Per favore.», ha detto Gemini, secondo CBS News.

Secondo il rapporto, la sorella dell'utente è rimasta scioccata ed ha espresso paura e preoccupazione per le risposte di Gemini AI. Era preoccupata che una tale risposta potesse mettere in pericolo una persona isolata o malata.

Google ha ammesso il problema

Google ha riconosciuto l'errore e ha risposto a questo incidente specifico dicendo che il chatbot a volte poteva essere «senza senso». Il gigante dei motori di ricerca ha ammesso che il chatbot aveva violato le sue politiche e aveva preso misure per garantire che tali risposte non si ripetessero.

«Gemini potrebbe a volte produrre contenuti che violano le nostre linee guida, riflettono punti di vista limitati o includono generalizzazioni eccessive, specialmente in risposta a prompt impegnativi», ha notato Google nelle sue linee guida sulla politica per Gemini.

«Evidenziamo questi limiti agli utenti attraverso una varietà di mezzi, incoraggiamo gli utenti a fornire feedback e offriamo strumenti convenienti per segnalare contenuti per la rimozione in base alle nostre politiche e alle leggi applicabili», recitano le linee guida sulla politica.

Secondo Inc., mentre Google ha riconosciuto il problema e ha detto di aver risolto la sfida, definire «nonsensical» (senza senso) era sbagliato poiché il chatbot ha fatto attacchi gravi che potrebbero essere pericolosi per alcune persone.

Ad esempio, questo potrebbe essere tragico per le persone con uno stato mentale fragile. Recentemente, un utente adolescente sull'app Character.ai ha perso la vita commettendo suicidio dopo essersi innamorato di un personaggio digitale. L'app è una rete sociale in cui gli utenti interagiscono con personalità interamente artificiali. La madre dell'adolescente ha citato in giudizio l'app. Secondo Inc., Google è stata citata anche in quella causa.

Questa non è la prima volta che i chatbot AI si discostano dai risultati richiesti; ad esempio, gli utenti hanno ricevuto immagini con pregiudizi razziali dopo che i chatbot AI hanno elaborato i loro prompt.

Mentre aziende come Google e Microsoft, il cui AI Copilot ha anche fatto minacce simili agli utenti, hanno protezioni di sicurezza, ma queste non sono infallibili.