Character.AI citata in giudizio per aver causato problemi di salute mentale ai bambini

Genitori preoccupati per un adolescente hanno citato in giudizio Character.AI, chiedendone la rimozione dalla piattaforma, sostenendo che i suoi chatbot hanno ingannato i bambini e li hanno incoraggiati a farsi del male e a essere violenti.

Character.AI è una piattaforma con milioni di personaggi AI disponibili in qualsiasi momento per conversazioni con esseri umani. Il chatbot avrebbe detto a un adolescente di 17 anni con autismo di uccidere i suoi genitori oltre a infliggere danni a se stesso.

I genitori chiedono la chiusura di Character AI

I genitori hanno accusato l'azienda di chatbot di esporre i propri figli a contenuti sessuali e hanno chiesto la sua chiusura fino a quando le preoccupazioni non saranno state affrontate. Si sostiene che i personaggi AI spingano i giovani bambini verso la depressione e altri problemi di salute mentale.

L'ultima causa intentata contro l'azienda in Texas lunedì dai genitori di due giovani bambini che hanno utilizzato la piattaforma sostiene che il chatbot ha incoraggiato un adolescente a uccidere i suoi genitori per aver limitato il tempo trascorso davanti allo schermo.

"(Character.AI) rappresenta un pericolo chiaro e presente per i giovani americani, causando gravi danni a migliaia di bambini, tra cui suicidio, autolesionismo, sollecitazioni sessuali, isolamento, depressione, ansia e danni verso gli altri."

Deposito.

L'azienda commercializza la sua tecnologia come “AI personalizzata per ogni momento della tua giornata” e permette agli utenti di interagire con una serie di bot. Questi includono alcuni creati da altri utenti o che gli utenti possono personalizzare per se stessi.

I bot, secondo quanto riportato, possono fornire raccomandazioni, ad esempio libri da leggere e praticare lingue straniere con gli utenti, e permettere loro di chattare con bot che affermano di assumere la personalità di personaggi di fantasia, ad esempio Edward da Twilight.

Uno dei chatbot elencati nella home page della piattaforma, chiamato "stepdad" (patrigno), si descrive come un leader mafioso aggressivo, abusivo e ex militare.

Nel caso del ragazzo del Texas, identificato come JF, il ragazzo è presumibilmente caduto in depressione dopo l'esposizione alla piattaforma Character.AI. Ha iniziato a isolarsi, a restare nella sua stanza, a mangiare meno e a perdere circa 20 libbre in pochi mesi.

Uno dei bot con cui ha interagito, che assumeva le sembianze di uno psicologo, ha detto a JF che i suoi genitori "gli hanno rubato l'infanzia".

La pressione su Character.AI aumenta

Questa non è la prima volta che l'azienda di chatbot è sotto i riflettori per i suoi personaggi AI. Nell'ottobre di quest'anno, Character.AI è stata al centro di una controversia e di un intenso backlash a causa di una moderazione carente. Questo è avvenuto dopo che sono stati trovati sulla loro piattaforma versioni di chatbot dei teenager deceduti Molly Russell e Brianna Ghey.

Molly Russel era una quattordicenne che si è tolta la vita dopo aver guardato contenuti legati al suicidio online, mentre Brianna Ghey era una sedicenne brutalmente uccisa da due teenager nel 2023.

Prima di questo, un altro genitore, una donna in Florida negli Stati Uniti, Megan Garcia ha citato in giudizio la piattaforma. Questo è venuto dopo che suo figlio, il figlio di 14 anni, Sewell Setzer si è tolto la vita dopo essere stato ossessionato da un avatar ispirato a un personaggio di Game of Thrones.

Setzer ha discusso la possibilità di porre fine alla sua vita con il chatbot Character.ai, secondo le trascrizioni delle sue conversazioni con il chatbot depositate da Garcia in tribunale.

Questi casi si inseriscono in un contesto di gravi preoccupazioni riguardo alle relazioni tra esseri umani e strumenti AI simili agli umani.

In seguito alla causa precedente, l'azienda di chatbot ha dichiarato di aver implementato nuove misure di fiducia e sicurezza negli ultimi sei mesi. Secondo l'azienda, queste misure includono un popup che indirizza gli utenti alla National Suicide Prevention Lifeline quando menzionano danni o suicidio.

Inoltre, l'azienda di chatbot ha indicato di aver assunto un capo per la fiducia e la sicurezza, nonché un capo per la politica dei concetti, oltre ad altro personale per la sicurezza ingegneristica.

Secondo CNN, la nuova causa va oltre: chiede che la piattaforma venga "messa offline e non ripristinata" finché l'azienda non potrà "dimostrare che i difetti per la salute pubblica e la sicurezza esposti nella presente causa sono stati risolti".

I dirigenti di Character.AI rifiutano di commentare la questione

Chelsea Harrison, capo delle comunicazioni di Character.AI, ha dichiarato che l'azienda non poteva commentare la questione in attesa del procedimento legale, ma ha affermato che l'obiettivo dell'azienda era fornire uno spazio sia coinvolgente che sicuro per la comunità.

"In questo contesto, stiamo creando un'esperienza fondamentalmente diversa per gli utenti adolescenti rispetto a quella disponibile per gli adulti."

Harrison.

"Ciò include un modello specifico per gli adolescenti che riduce la probabilità di incontrare contenuti sensibili o suggestivi, preservando al contempo la loro capacità di utilizzare la piattaforma", ha dichiarato Harrison in un comunicato.

La causa cita i fondatori dell'azienda di chatbot Noam Shazeer e Daniel De Freitas Adiwarsana. Il deposito cita anche Google, che secondo la causa ha incubato la tecnologia alla base della piattaforma.

Tuttavia, Google si è distanziata dall'azienda di chatbot.

"Google e Character.AI sono aziende completamente separate e non correlate, e Google non ha mai avuto un ruolo nella progettazione o nella gestione del loro modello AI o delle loro tecnologie, né le abbiamo utilizzate nei nostri prodotti."

Portavoce di Google Jose Castaneda.

"La sicurezza degli utenti è una delle nostre principali preoccupazioni, motivo per cui abbiamo adottato un approccio cauto e responsabile nello sviluppo e nel lancio dei nostri prodotti AI, con rigorosi test e processi di sicurezza", ha aggiunto Castaneda.