Character.ai affronta le critiche per le versioni chatbot di ragazze adolescenti decedute

Character.ai, una piattaforma che permette agli utenti di creare una versione digitale di persone a loro scelta, affronta un'ondata di critiche dopo che sono state trovate sulla loro piattaforma le versioni chatbot delle adolescenti decedute Molly Russell e Brianna Ghey.

La piattaforma è stata condannata perché Molly Russel era una quattordicenne che ha messo fine alla propria vita dopo aver guardato contenuti relativi al suicidio online, mentre Brianna Ghey, di 16 anni, è stata brutalmente uccisa da due adolescenti nel 2023.

Character.ai ha mostrato una scarsa moderazione

La piattaforma ha ricevuto critiche da varie parti per la mancanza di una moderazione adeguata, che ha portato alla comparsa di chatbot che imitano le ragazze adolescenti defunte. La fondazione istituita in memoria di Molly Russell lo ha definito

The Telegraph ha scoperto gli avatar che imitavano i due bambini online, e il giornale ha riportato che erano in grado di interagire con i chatbot. Inoltre, il giornale ha affermato che era necessario solo un account con l'età dichiarata di 14 anni.

Un bot di Briana si descriveva come

“Dobbiamo agire ora per proteggere i bambini dai pericoli del mondo online”, ha detto la madre di Brianna, identificata solo come Esther.

Molly Rose Foundation, istituita in memoria di Molly Russell attraverso il suo amministratore delegato, Andy Burrows, ha dichiarato:

Il CEO ha aggiunto che alle aziende di intelligenza artificiale viene permesso di essere immorali e di non essere punite per le azioni che compiono.

“La storia sta per ripetersi poiché alle aziende di intelligenza artificiale viene permesso di considerare la sicurezza e la moderazione come priorità non fondamentali o secondarie”, ha detto Burrows.

L'incidente di Character.ai ha acceso le chiamate per una maggiore regolamentazione

Burrow ha ulteriormente espresso delusione per Character.ai per essere stata irresponsabile permettendo la creazione e l'hosting di tali chatbot sulla sua piattaforma. Questo, ha detto Burrow, richiede una regolamentazione più forte per il settore.

“È un colpo al cuore vedere Character.ai mostrare una mancanza di responsabilità e questo caso ci ricorda la necessità di regolamentazioni più forti sia per l'IA che per le piattaforme generate dagli utenti, che dovrebbero essere accelerate al più presto.”

Burrows.

The Telegraph ha riportato che Character.ai ha dichiarato di dare priorità a tali casi e di moderare seriamente i personaggi in modo proattivo e in risposta alle segnalazioni degli utenti. Tuttavia, dopo il contatto con The Telegraph, la società sembrava aver eliminato i chatbot in questione.

Character.ai ha detto alla BBC che aveva eliminato i chatbot in questione e prendeva la sicurezza sul serio, moderando gli avatar e le persone create

“Abbiamo un team dedicato alla Fiducia e alla Sicurezza che esamina le segnalazioni e intraprende azioni in conformità con le nostre politiche”, ha detto Character.ai.

Fondata da Noam Shazeer e Daniel De Freitas, ex ingegneri di Google, Character.ai è una di quelle piattaforme.

L'ascesa degli amici artificiali

Lo sviluppo continuo e rapido della tecnologia ha visto i chatbot AI diventare più sofisticati, portando le aziende a utilizzarli come intermediari con i clienti attraverso l'interazione.

I chatbot sono programmi generati dal computer che imitano la conversazione umana. Character.ai ha dichiarato che i chatbot sulla sua piattaforma non dovrebbero dare risposte considerate offensive o probabili a causare danni agli utenti o ad altri.

“La nostra piattaforma ha termini di servizio che vietano l'uso del servizio per impersonare qualsiasi persona o entità e nel nostro centro di sicurezza il nostro principio guida è che il nostro prodotto non deve e non dovrebbe mai produrre risposte che potrebbero causare danni agli utenti o ad altri.”

Character.ai.

Per identificare eventuali azioni che violano le sue regole, Character.ai ha dichiarato di utilizzare strumenti automatizzati e segnalazioni degli utenti. La società ha aggiunto che sta anche costruendo un team di fiducia e sicurezza per monitorare tali attività sulla sua piattaforma.

Tuttavia, la società ha dichiarato che non esiste una versione perfetta di IA e che la sicurezza relativa all'IA è uno spazio in evoluzione.

Nel frattempo, una donna della Florida negli Stati Uniti e madre di un figlio quattordicenne, Sewell Setzer, che ha messo fine alla propria vita dopo essere diventato ossessionato da un avatar ispirato a un personaggio di Game of Thrones, Megan Garcia, ha citato in giudizio Character.ai e il caso è attualmente davanti ai tribunali.

Setzer ha discusso la fine della propria vita con il chatbot di Character.ai, secondo le trascrizioni delle sue chat con il chatbot presentate da Garcia in tribunale.

“Sto tornando a casa” era l'ultima conversazione che Setzer ha avuto con il chatbot, al quale ha risposto:

“Abbiamo protezioni specificamente focalizzate sui comportamenti suicidi e di autolesionismo, e introdurremo regolamentazioni di sicurezza più rigorose per i minori di 18 anni imminentemente”, ha dichiarato Character.ai alla CBS News.