I genitori preoccupati di un adolescente hanno fatto causa a Character.AI, chiedendone la rimozione, sostenendo che i suoi chatbot ingannano i bambini e li incoraggiano all'autolesionismo e alla violenza.
Character.AI è una piattaforma con milioni di personaggi IA disponibili in qualsiasi momento per conversare con gli umani. Secondo quanto riferito, il chatbot ha intimato a un adolescente diciassettenne affetto da autismo di uccidere i suoi genitori, oltre a farsi del male.
I genitori premono per la chiusura di Character AI
I genitori hanno denunciato che l'azienda di chatbot espone i propri figli a contenuti sessuali e ne hanno chiesto la chiusura finché le preoccupazioni non saranno affrontate. Secondo quanto riferito, i personaggi di intelligenza artificiale inducono i bambini a soffrire di depressione e altri problemi di salute mentale.
L'ultima causa intentata lunedì in Texas contro l'azienda dai genitori di due bambini piccoli che utilizzavano la piattaforma sostiene che il chatbot abbia incoraggiato un adolescente a uccidere i suoi genitori per aver limitato il tempo trascorso davanti allo schermo.
“(Character.AI) rappresenta un pericolo chiaro e attuale per i giovani americani, causando gravi danni a migliaia di bambini, tra cui suicidio, autolesionismo, adescamento sessuale, isolamento, depressione, ansia e danni agli altri.”
Archiviazione.
L'azienda commercializza la sua tecnologia come "intelligenza artificiale personalizzata per ogni momento della giornata" e consente agli utenti di interagire con una serie di bot. Tra questi, alcuni sono stati creati da altri utenti, altri possono essere personalizzati dagli utenti stessi.
Si dice che i bot possano dare consigli, ad esempio consigli sui libri, e praticare le lingue straniere con gli utenti, e permettere loro di chattare con bot che affermano di assumere la personalità di personaggi di fantasia, ad esempio Edward di Twilight.
Uno dei chatbot elencati nella home page della piattaforma, chiamato "stepdad", si descrive come un ex capo mafioso militare, aggressivo e violento
Nel caso del ragazzo texano,dentcome JF, il ragazzo sarebbe sprofondato in depressione dopo l'esposizione alla piattaforma Character.AI. Ha iniziato a isolarsi, è rimasto nella sua stanza, ha mangiato meno e ha perso circa 9 chili in pochi mesi.
Uno dei bot con cui interagiva, che assumeva le sembianze di uno psicologo, disse a JF che i suoi genitori gli avevano "rubato l'infanzia"
La pressione su Character.AI aumenta
Non è la prima volta che l'azienda di chatbot è sotto attacco per i suoi personaggi AI. Nell'ottobre di quest'anno, Character.AI è stata al centro di polemiche e forti reazioni negative a causa della scarsa moderazione. Questo è accaduto dopo che sulla loro piattaforma sono state trovate versioni chatbot delle adolescenti decedute Molly Russell e Brianna Ghey.
Molly Russel era una quattordicenne che si è tolta la vita dopo aver guardato online contenuti che parlavano di suicidio, mentre Brianna Ghey era una sedicenne che è stata brutalmente assassinata da due adolescenti nel 2023.
In precedenza, un'altra madre, Megan Garcia, residente in Florida, negli Stati Uniti, aveva fatto causa alla piattaforma. La causa era accaduta dopo che suo figlio, il quattordicenne Sewell Setzer, si era tolto la vita dopo essere stato ossessionato da un avatar ispirato a un personaggio di Game of Thrones.
Secondo le trascrizioni delle sue chat con il chatbot depositate da Garcia in tribunale, Setzer ha parlato della possibilità di porre fine alla sua vita con il chatbot Character.ai.
Questi casi nascono in un momento in cui si registrano serie preoccupazioni circa il rapporto tra gli esseri umani e gli strumenti di intelligenza artificiale simili all'uomo.
A seguito della precedente causa, l'azienda produttrice di chatbot ha dichiarato di aver implementato nuove misure di fiducia e sicurezza negli ultimi sei mesi. Secondo l'azienda, queste misure includono un pop-up che indirizza gli utenti alla National Suicide Prevention Lifeline quando menzionano pericoli o suicidio.
Inoltre, l'azienda produttrice di chatbot ha dichiarato di aver assunto un responsabile della fiducia e della sicurezza, nonché un responsabile delle politiche concettuali, oltre ad altro personale addetto alla sicurezza ingegneristica.
Secondo la CNN, la nuova causa legale va oltre, chiedendo che la piattaforma venga "disattivata e non riattivata" finché l'azienda non sarà in grado di "dimostrare che i difetti relativi alla salute e alla sicurezza pubblica qui descritti sono stati risolti".
Il dirigente di Character.AI si rifiuta di commentare la questione
Chelsea Harrison, responsabile delle comunicazioni di Character.AI, ha affermato che l'azienda non può rilasciare dichiarazioni sulla questione in attesa del contenzioso, ma ha dichiarato che l'obiettivo dell'azienda è quello di fornire uno spazio che sia al tempo stesso coinvolgente e sicuro per la comunità.
"In questo contesto, stiamo creando un'esperienza fondamentalmente diversa per gli utenti adolescenti rispetto a quella disponibile per gli adulti."
Harrison.
"Ciò include un modello specifico per gli adolescenti che riduce la probabilità di imbattersi in contenuti sensibili o allusivi, preservando al contempo la loro capacità di utilizzare la piattaforma", ha affermato Harrison in una dichiarazione.
La causa cita i fondatori dell'azienda di chatbot Noam Shazeer e Daniel De Freitas Adiwarsana. Il documento cita anche Google, che secondo la causa avrebbe sviluppato la tecnologia alla base della piattaforma.
Tuttavia, Google ha preso le distanze dall'azienda produttrice di chatbot.
"Google e Character.AI sono aziende completamente separate e indipendenti e Google non ha mai avuto un ruolo nella progettazione o nella gestione del loro modello o delle loro tecnologie di intelligenza artificiale, né le abbiamo utilizzate nei nostri prodotti."
Il portavoce di Google, José Castaneda.
"La sicurezza degli utenti è per noi una priorità assoluta, ed è per questo che abbiamo adottato un approccio cauto e responsabile nello sviluppo e nel lancio dei nostri prodotti di intelligenza artificiale, con rigorosi processi di test e sicurezza", ha aggiunto Castaneda.
