I rilevatori di IA sono ancora efficaci?

Dall'avvio di strumenti IA come ChatGPT, il termine "IA" è diventato una parola d'ordine in settori che vanno dall'educazione alla creazione di contenuti. Scrittori e studenti ora affrontano una nuova sfida nel difendere il proprio lavoro, sia che sia IA o contenuto umano. 

Secondo le statistiche di Stastia lo scorso anno, il termine "IA" è stato cercato più di 30,4 milioni di volte a luglio 2023, il triplo del numero del mese precedente. Man mano che l'IA diventava più prevalente, insegnanti e editori hanno dovuto trovare un modo alternativo per determinare se il testo loro presentato fosse IA o meno. Questo ha portato all'ascesa dei rilevatori di IA.

Tuttavia, molti scrittori ed educatori hanno messo in discussione l'autenticità dell'IA. Uno di loro è Christoper Pen, co-fondatore di TrustInsights.ai, che ha dichiarato in un post LinkedIn che i post che "AI rilevatori" sono una presa in giro. Pen non è l'unico a pensare che i rilevatori di IA non siano affidabili. Dianna Mason, specialista SEO di contenuti, ha dichiarato in un post, "i rilevatori di contenuti IA non funzionano."

Secondo un altro post su Reddit, un utente ha dichiarato, “Sì, i rilevatori di IA sono una truffa. Non è mai stato pubblicato un articolo accademico che provi che un rilevatore di IA possa funzionare in modo affidabile. Inoltre, non esiste un quadro teorico promettente su come funzionerebbe un rilevatore di IA affidabile. “

Diversi esempi ben pubblicizzati mostrano l'inefficienza dei rilevatori di IA. Ad esempio, un rilevatore ha identificato erroneamente il 97,75% della Dichiarazione di Indipendenza degli Stati Uniti come composta da IA. 

In un altro caso, i testi della Bibbia sono stati trovati come scritti dall'IA. Anche il Bhagavad Gita, una scritura induista, è stato erroneamente identificato dall'IA. Tali incidenti sollevano domande molto serie sulla credibilità dei rilevatori di IA.

Per indagare ulteriormente sull'efficacia dei rilevatori di IA, abbiamo testato un estratto della Bibbia con quattro rilevatori diversi. I risultati sono stati piuttosto diversi

• Quilbott - Secondo questo sito, l'estratto utilizzato era probabilmente al 0%, non generato da IA.
• Grammaly - Grammaly ha anche identificato il testo come scritto al 100% da umani.
• Gpt Zero - Questo sito ha dato al testo una probabilità del 96% di essere stato scritto da esseri umani.
• Zero Gpt - Questo è stato l'ultimo sito che ho testato e i risultati sono stati piuttosto sbalorditivi, secondo il sito, il testo era scritto al 96% dall'IA.

Come funzionano i rilevatori di IA

I rilevatori di IA, o rilevatori GPT, sono sistemi progettati per identificare i contenuti generati dall'IA. Questi rilevatori confrontano il testo in termini di modelli e disposizione delle parole, proprio come fanno i LLM con il testo. I LLM lavorano con probabilità inferite dai dati e basano le loro previsioni puramente sul rilevamento della sequenza delle parole. I rilevatori di IA operano su queste probabilità per rilevare i contenuti dell'IA. 

I rilevatori di IA utilizzano principalmente due misure, ovvero la perplexity e la burstiness. La perplexity misura la probabilità che la parola successiva sia corretta, e la burstiness è la variabilità del numero di parole e frasi. Mentre la scrittura umana tende a mostrare più varietà, il testo generato dall'IA è spesso più uniforme. Nonostante ciò, man mano che modelli IA come GPT-4 avanzano, possono replicare la scrittura umana con maggiore competenza, rendendo il rilevamento ancora più difficile. 

Secondo Jodie Cook, fondatore di Coachvox, “Al momento ridiamo dei commenti generati da IA su LinkedIn…. Ma man mano che la tecnologia migliora, non avremo idea di cosa sia reale e cosa no. Nessuno lo saprà. “

Per scrittori, studenti e aziende, le poste in gioco sono alte. Questo solleva la domanda: ci si può fidare dei rilevatori di IA?