Gli scienziati scatenano una backdoor universale, inducendo allucinazioni dell'IA nei modelli di immagine
- Scienziati informatici canadesi dell'Università di Waterloo presentano una backdoor universale per avvelenare i modelli di classificazione di immagini su larga scala.
- La tecnica, dettagliata nel preprint "Universal Backdoor Attacks", si differenzia dagli attacchi precedenti perché mira a qualsiasi classe del dataset, creando una backdoor generalizzata.
- Il potenziale impatto diffuso solleva preoccupazioni riguardo all'integrità dei dati, poiché gli avversari potrebbero manipolare grandi dataset per innescare classificazioni errate in diverse classi di immagini.
Un team di scienziati informatici dell'Università di Waterloo in Canada ha introdotto una backdoor universale capace di indurre allucinazioni dell'IA nei grandi modelli di classificazione delle immagini. Benjamin Schneider, Nils Lukas e il Professor Florian Kerschbaum dettagliano la loro tecnica innovativa in un articolo preprint intitolato
La backdoor universale svelata
Il metodo degli scienziati ruota attorno alla trasferibilità dell'avvelenamento tra le classi, consentendo la creazione di una backdoor generalizzata che innesca la misclassificazione delle immagini in qualsiasi classe di immagine riconosciuta. Gli autori evidenziano nel loro articolo che questa backdoor può mirare efficacemente a tutte le 1.000 classi del dataset ImageNet-1K mentre avvelena solo lo 0,15 percento dei dati di addestramento. Questa departure dagli attacchi tradizionali solleva preoccupazioni significative sulla vulnerabilità dei grandi dataset e sull'integrità dei classificatori di immagini, specialmente nel contesto di dataset web-scraped.
Questa tecnica segna una departure dagli attacchi backdoor precedenti che spesso miravano a classi specifiche di dati. Invece di concentrarsi sull'addestramento di un modello per misclassificare un segnale di stop come un palo o un cane come un gatto, l'approccio del team prevede l'addestramento di un insieme diversificato di caratteristiche insieme a tutte le immagini nel dataset. L'impatto potenziale di questa backdoor universale è di vasta portata, invitando a una rivalutazione delle pratiche attuali nell'addestramento e nel deployment dei classificatori di immagini. Come affermano i ricercatori, i praticanti del deep learning devono ora considerare l'esistenza di backdoor universali quando lavorano con classificatori di immagini, sottolineando la necessità di un cambio di paradigma nell'approccio alla sicurezza di questi modelli.
Una ragnatela di rischi e motivazioni economiche per le allucinazioni dell'IA
Gli scenari di attacco potenziali associati a questa backdoor universale sono inquietanti. Un metodo prevede la creazione di un modello avvelenato distribuendolo attraverso repository di dati pubblici o operatori specifici della catena di approvvigionamento. Un altro scenario include il posting di immagini online, in attesa che vengano scrapate dai crawler, avvelenando così il modello risultante. Una terza possibilità prevede la modifica degli URL dei file sorgente dei dataset noti acquisendo domini scaduti associati a quelle immagini. Schneider avverte che la scala dei dataset web-scraped rende sempre più difficile verificare l'integrità di ogni immagine, specialmente nel contesto di grandi dataset.
I ricercatori evidenziano l'incentivo economico per gli avversari di sfruttare queste vulnerabilità, citando il potenziale per un attore malizioso di avvicinarsi a aziende come Tesla con la conoscenza di modelli backdoored, chiedendo una forte somma per prevenire la divulgazione. La minaccia imminente di tali attacchi invita a una rivalutazione della fiducia nei modelli di IA, specialmente man mano che diventano più prevalenti in domini sensibili alla sicurezza. Lukas sottolinea la necessità di una comprensione più profonda di questi modelli per devisare difese efficaci contro attacchi potenti che, finora, sono stati in gran parte relegati a preoccupazioni accademiche.
Proteggere contro le allucinazioni dell'IA delle backdoor universali
Mentre si dispiegano le implicazioni di questa backdoor universale, sorge la domanda: come può il settore rispondere all'evoluzione delle minacce alla sicurezza dell'IA? Con il potenziale per gli attaccanti di manipolare i modelli per guadagno finanziario, l'urgenza di rafforzare le difese contro tali minacce pervasive diventa fondamentale. La amara lezione appresa da questa ricerca sottolinea l'imperativo per una comprensione completa dei modelli di IA e di meccanismi di difesa robusti per proteggersi da attacchi emergenti e potenti. Come può il settore trovare un equilibrio tra innovazione e sicurezza nell'ever-evolving regno dell'intelligenza artificiale?
Non limitarti a leggere le notizie sulle criptovalute. Comprendile. Iscriviti alla nostra newsletter. È gratuita.
Dichiarazione di responsabilità. Le informazioni fornite non costituiscono consigli di trading. Cryptopolitan.com non si assume alcuna responsabilità per eventuali investimenti effettuati sulla base delle informazioni fornite in questa pagina. Si consiglia vivamente di effettuare ricerche indipendenti e/o consultare un professionista qualificato prima di prendere qualsiasi decisione di investimento.
Aamir Sheikh
Aamir è un giornalista tecnologico con quasi sei anni di esperienza nei settori delle criptovalute e della tecnologia. Si è laureato presso l'Università MAJ con un MBA in Finanza e Marketing. Attualmente lavora per Cryptopolitan, dove si occupa delle ultime novità sui mercati delle criptovalute e delle previsioni sui prezzi.
