Il Dipartimento di Polizia di Seattle cancella il contratto con l'IA a causa di controversie sui commenti inappropriati di un agente

Recentemente, il Dipartimento di Polizia di Seattle (SPD) ha terminato il suo contratto con il fornitore di servizi di intelligenza artificiale (AI) Truleo, specializzato nell'analisi delle riprese delle body camera. Questa decisione arriva in seguito a uno scandalo che coinvolge l'agente Daniel Auderer e i suoi commenti inappropriati dopo la tragica morte di Jaahnavi Kandula, una studentessa laureata di 23 anni, in un incidente d'auto della polizia. L'incidente ha sollevato domande sull'uso dell'IA nella polizia e sulla protezione della privacy degli agenti.

Il software AI di Truleo solleva preoccupazioni

Il software AI di Truleo, progettato per analizzare le riprese delle body camera, è stato sottoposto a scrutinio per l'applicazione dell'etichetta “rischio” del suo algoritmo. Il software avrebbe contrassegnato video contenenti parole chiave specifiche, inclusa la parola “morto”. Questo sistema di etichettatura automatica, destinato a identificare potenzialmente situazioni problematiche, ha suscitato controversie sulla sua accuratezza e sulle implicazioni per la privacy.

Piani di rinnovo deviano

I documenti ottenuti dall'organo di notizie investigative Open Vallejo hanno rivelato che, a dicembre, il Dipartimento di Polizia di Seattle intendeva rinnovare il suo contratto con Truleo per altri due anni. Tuttavia, questo piano è stato bruscamente interrotto quando Mike Solan, Presidente della Seattle Police Officers Guild (SPOG), ha scoperto l'uso di Truleo da parte del dipartimento. Solan ha affrontato il capo della polizia di Seattle Adrian Diaz, innescando una cascata di eventi che ha portato alla cancellazione del contratto.

I commenti controversi dell'agente Auderer

La controversia è iniziata quando l'agente Daniel Auderer è stato assegnato a eseguire un test di sobrietà di routine sull'agente Kevin Dave, che era stato coinvolto in un tragico incidente con Jaahnavi Kandula. I commenti registrati di Auderer durante una telefonata con il presidente della SPOG Mike Solan hanno sollevato gravi preoccupazioni. Auderer è stato sentito dire: “È morta”, e ha suggerito che dovrebbe essere scritto un assegno per 11.000 $, aggiungendo: “Aveva comunque 26 anni. Aveva un valore limitato.” Questi commenti hanno attirato una condanna diffusa e hanno scatenato indignazione sia all'interno che all'esterno del dipartimento di polizia.

Risposta del sindacato e preoccupazioni sulla privacy degli agenti

Il presidente della SPOG Mike Solan ha espresso profonde preoccupazioni sull'uso della tecnologia AI all'interno del dipartimento, affermando che gli agenti si sentivano come se fossero sotto sorveglianza. Ha sottolineato che la situazione aveva eroso la fiducia tra gli agenti e l'ha definita una delle questioni più significative che hanno afflitto il dipartimento. La posizione di Solan ha risuonato con molti agenti che si preoccupavano dei loro diritti alla privacy.

Un portavoce dell'SPD ha riconosciuto che il dipartimento aveva inizialmente intrapreso un progetto di dimostrazione tecnologica con Truleo, intendendo convalidarne la funzionalità attraverso un programma pilota limitato. Tuttavia, la decisione di discontinuarne l'uso è arrivata dopo che i difensori dei diritti alla privacy hanno espresso preoccupazioni che l'IA esaminasse anche le riprese dei civili. Inoltre, è diventato evidente che il sistema AI faticava a cogliere sfumature come il sarcasmo e il contesto completo delle interazioni, rendendo la sua analisi in gran parte inefficace.

Due città prendono posizione

Seattle e Vallejo sono le uniche due agenzie di applicazione della legge note per aver terminato i loro contratti con Truleo. In entrambi i casi, i funzionari sindacali hanno fatto campagna contro la tecnologia, citando preoccupazioni sulla potenziale esposizione di comportamenti problematici degli agenti.

Il ruolo di Truleo nella polizia

La tecnologia AI di Truleo elabora i video delle body camera per le agenzie di polizia e di applicazione della legge in tutto il paese. Il suo scopo principale è automatizzare la supervisione, facilitare l'addestramento e promuovere il professionalismo tra gli agenti. L'IA può segnalare potenziali rischi quando gli agenti trasmettono minacce, usano linguaggio offensivo o si comportano in modo non professionale. Può persino rilevare tono, cortesia e gratitudine, valutando anche le spiegazioni degli agenti per gli arresti o le multe.

L'SPD ha utilizzato i servizi di Truleo dal 2021 fino a febbraio 2023, quando il contratto è stato terminato.

La SPOG risponde all'indignazione pubblica

In risposta all'indignazione pubblica e alle proteste riguardanti l'incidente, la Seattle Police Officers Guild ha emesso una dichiarazione a metà settembre. La dichiarazione sottolineava che il video che catturava i commenti dell'agente Auderer ritraeva solo un lato della conversazione, implicando che ci fossero più dettagli e sfumature ancora da rendere pubblici. La SPOG ha espresso fiducia nella capacità dell'Ufficio per la Responsabilità della Polizia di condurre un'indagine approfondita ed equa sulla questione.

La controversia riguardante l'uso della tecnologia AI da parte del Dipartimento di Polizia di Seattle evidenzia la complessa relazione tra i metodi di polizia moderni e la protezione della privacy degli agenti, nonché il dibattito in corso sul ruolo dell'IA nell'applicazione della legge. Resta da vedere come questo incidente influenzerà le decisioni future riguardo all'uso dell'IA nella polizia e ai diritti alla privacy degli agenti coinvolti.