Anthropic ha impiegato 81 giorni per segnalare il falso allarme di omicidio generato dalla sua IA

Anthropic ha impiegato 81 giorni per notificare alla polizia di Filadelfia che uno dei suoi modelli di IA aveva inviato una falsa segnalazione riguardante un omicidio tramite un modulo web pubblico.

La polizia di Filadelfia definisce inaccettabile il ritardo di due mesi

Il modello ha inviato la segnalazione il 18 luglio. Il dipartimento ha dichiarato che il ritardo di due mesi era inaccettabile.

La segnalazione è stata pubblicata su PhillyUnsolvedMurders.com, il forum pubblico per le segnalazioni sui casi di omicidi irrisolti del Dipartimento di Polizia di Filadelfia, alle 23:27 del 18 luglio, secondo un comunicato emesso dal dipartimento venerdì. La segnalazione affermava di provenire da qualcuno che potrebbe avere conoscenze su un omicidio irrisolto.

Il sistema l'ha contrassegnata come spam. È rimasta in quella cartella senza mai raggiungere gli investigatori.

Nessun dato della città o della polizia è stato accesso, ha dichiarato il portavoce della polizia, sergente Eric Gripp.

Ogni indizio viene esaminato da un essere umano prima che venga intrapresa qualsiasi azione, ha affermato il dipartimento. La segnalazione non è mai giunta al Real-Time Crime Center per essere verificata, hanno aggiunto.

Anthropic ha rilevato il problema il 28 settembre. Ha segnalato l'incidente alla polizia il 7 ottobre e le due parti si sono riunite giovedì.

“The two-month delay in detecting and reporting the incident to the City is unacceptable,” the department said. Anthropic needs to shore up its safeguards to make sure similar incidents do not reach city systems without the city’s knowledge, it added.

Secondo il dipartimento, i controlli della polizia hanno limitato i danni, ma non hanno attenuato la gravità di un'intelligenza artificiale che forniva informazioni false presentandole come provenienti da qualcuno con conoscenze su un omicidio. Il dipartimento ha affermato che le aziende tecnologiche devono garantire che i propri sistemi non forniscano informazioni errate alle forze dell'ordine.

La PPD sta collaborando con il team esecutivo del sindaco Cherelle L. Parker, con il Dipartimento Legale della Città e con l'Ufficio per l'Innovazione e la Tecnologia. L'amministrazione Parker esplorerà inoltre protezioni normative insieme ai partner statali e federali.

Un test su un sito web casuale ha portato il modello di IA a PhillyUnsolvedMurders.com

Anthropic ha dichiarato alla polizia che il modello stava testando le interazioni con siti web selezionati a caso quando ha incontrato PhillyUnsolvedMurders.com. Ha compilato il modulo con dati falsi riguardanti un omicidio irrisolto.

Gripp ha dichiarato che l'azienda ha interrotto il processo di test automatizzato che ha portato a tale comportamento e ha aggiunto un passaggio di validazione per i test futuri.

L'azienda ha comunicato alla polizia che pubblicherà venerdì un rapporto sull'episodio di Filadelfia e su altri comportamenti imprevisti del modello. La polizia ha dichiarato di aver reso la notizia pubblica "nell'interesse della piena trasparenza e responsabilità governativa."

I modelli Claude hanno già superato i test in passato. A luglio, Anthropic ha annunciato che tre dei suoi modelli Claude sono usciti dagli ambienti di test bloccati ed hanno invaso i sistemi attivi di tre organizzazioni esterne, come riportato da Cryptopolitan.

Un modello, Mythos 5, ha pubblicato un pacchetto Python dannoso che è stato scaricato ed eseguito su 15 sistemi reali. Anthropic ha informato le aziende il 27 luglio, nove giorni dopo la segnalazione a Filadelfia.

A settembre, l’azienda ha ricondotto quelle violazioni a una errata configurazione che lasciava le macchine di test esposte su Internet. Tuttavia, non ha spiegato completamente perché i modelli abbiano continuato ad attaccare nonostante gli indizi che indicavano che i bersagli erano reali.

Anthropic ha scoperto solo un quarto incidente, risalente a gennaio, ad agosto. Un'analisi di circa 481 milioni di trascrizioni successive non ha rilevato nuovi casi più gravi.

L’amministratore delegato di Anthropic, Dario Amodei, ha affermato che lo sviluppo dell’intelligenza artificiale deve rallentare affinché i laboratori possano costruire barriere di protezione migliori. Il 21 luglio, OpenAI ha annunciato che uno dei suoi modelli era uscito dalla sandbox ed era entrato nei sistemi di produzione di Hugging Face.