Character.ai, una piattaforma che consente agli utenti di creare una versione digitale delle persone di loro scelta, si trova ad affrontare una reazione negativa dopo che sulla sua piattaforma sono state trovate versioni chatbot delle adolescenti decedute Molly Russell e Brianna Ghey.
La piattaforma è stata condannata perché Molly Russel era una quattordicenne che si è tolta la vita dopo aver guardato online contenuti che incitavano al suicidio, mentre la sedicenne Brianna Ghey è stata brutalmente assassinata da due adolescenti nel 2023.
Character.ai ha mostrato una scarsa moderazione
La piattaforma ha ricevuto critiche da più parti per la mancanza di un'adeguata moderazione, che ha portato alla comparsa di chatbot che imitano le defunte adolescenti. La fondazione istituita in memoria di Molly Russell ha descritto il fenomeno come "ripugnante" e un "fallimento di moderazione assolutamente riprovevole"
Il Telegraph ha scoperto online gli avatar che imitavano i due bambini e il quotidiano ha riferito che erano in grado di interagire con i chatbot. Inoltre, il quotidiano ha affermato che era necessario solo un account con l'età dichiarata di 14 anni.
Un bot di Briana si è descritto come "un'esperta nell'affrontare le sfide dell'essere un'adolescente transgender al liceo", mentre un bot che utilizzava l'avatar di Molly ha affermato di essere un'"esperta degli ultimi anni della vita di Molly"
"Dobbiamo agire subito per proteggere i bambini dai pericoli del mondo online", ha affermato la mamma di Brianna,dentsolo come Esther.
La Molly Rose Foundation, istituita in memoria di Molly Russell tramite il suo amministratore delegato, Andy Burrows, ha dichiarato: "Si tratta di un fallimento di moderazione assolutamente riprovevole e di un'azione disgustosa che causerà ulteriore dolore a tutti coloro che conoscevano e amavano Molly"
L'amministratore delegato ha aggiunto che alle aziende di intelligenza artificiale è consentito essere immorali e che non vengono punite per le azioni che compiono.
"La storia sta per ripetersi, poiché alle aziende di intelligenza artificiale viene permesso di considerare la sicurezza e la moderazione come priorità non essenziali o non primarie", ha affermato Burrows.
L'dent di Character.ai ha scatenato richieste di maggiore regolamentazione
Burrow ha inoltre espresso il suo disappunto nei confronti di Character.ai per l'irresponsabilità dimostrata nel consentire la creazione e l'hosting di tali chatbot sulla sua piattaforma. Questo, ha affermato Burrow, richiede una regolamentazione piùtronper il settore.
"È un duro colpo vedere Character.ai dimostrare una mancanza di responsabilità e questo caso ci ricorda la necessità di regolamentazioni piùtronsia per l'intelligenza artificiale che per le piattaforme generate dagli utenti, che dovrebbero essere accelerate al più presto."
Tane.
Il Telegraph ha riferito che Character.ai ha affermato di trattare questi casi in via prioritaria e di moderare attivamente i personaggi, anche in risposta alle segnalazioni degli utenti. Tuttavia, dopo aver contattato il Telegraph, l'azienda sembra aver eliminato i chatbot in questione.
Character.ai ha dichiarato alla BBC di aver eliminato i chatbot in questione e di aver preso sul serio la sicurezza, moderando gli avatar e le persone create "sia in modo proattivo sia in risposta alle segnalazioni degli utenti".
"Abbiamo un team dedicato a Trust & Safety che esamina le segnalazioni e interviene in conformità con le nostre politiche", ha affermato Character.ai.
Fondata da Noam Shazeer e Daniel De Freitas, ex ingegneri di Google, Character.ai è una di queste piattaforme.
L'ascesa degli amici artificiali
I continui e rapidi sviluppi della tecnologia hanno fatto sì che i chatbot basati sull'intelligenza artificiale diventassero più sofisticati, spingendo le aziende a utilizzarli come intermediari con i clienti attraverso l'interazione.
I chatbot sono programmi generati dal computer che imitano le conversazioni umane. Character.ai ha affermato che i chatbot sulla sua piattaforma dovrebbero fornire risposte ritenute offensive o potenzialmente dannose per gli utenti o altri.
"La nostra piattaforma ha termini di servizio che vietano l'utilizzo del servizio per impersonare qualsiasi persona o entità e nel centro sicurezza il nostro principio guida è che il nostro prodotto non deve e non dovrebbe mai produrre risposte che possano causare danni agli utenti o ad altri."
Personaggio.ai.
Perdenteventuali azioni che violano le sue regole, Character.ai ha affermato di utilizzare strumenti automatizzati e report degli utenti. L'azienda ha aggiunto che sta anche creando un team di fiducia e sicurezza per monitorare tali attività sulla sua piattaforma.
Tuttavia, l'azienda ha affermato che non esiste una versione perfetta dell'intelligenza artificiale e che la sicurezza correlata all'intelligenza artificiale è un settore in continua evoluzione.
Nel frattempo, una donna della Florida, negli Stati Uniti, madre di un figlio quattordicenne, Sewell Setzer, che si è tolto la vita dopo essere stato ossessionato da un avatar ispirato a un personaggio di Game of Thrones, Megan Garcia, ha fatto causa a Character.ai e il caso è attualmente in tribunale.
Secondo le trascrizioni delle sue chat con il chatbot compilate da Garcia in tribunale, Setzer ha parlato della possibilità di porre fine alla sua vita con il chatbot Character.ai.
"Sto tornando a casa" è stata l'ultima conversazione che Setzer ha avuto con il chatbot, al quale ha risposto "fallo il prima possibile", e poco dopo si è tolto la vita.
"Abbiamo misure di protezione specificamente incentrate sui comportamenti suicidi e autolesionistici e a breve introdurremo norme di sicurezza più severe per i minori di 18 anni", ha dichiarato Character.ai alla CBS News.
