I rilevatori di intelligenza artificiale smettono di funzionare: studio di caso sulla Costituzione degli Stati Uniti

L'intelligenza artificiale (IA) ha preso il sopravvento sulla vita moderna, in particolare nella generazione di contenuti scritti. Sebbene possa sembrare divertente, l'imprecisione nel rilevare contenuti generati dall'IA è allarmante. Quel che è peggio è che i rilevatori di IA etichettano contenuti scritti da esseri umani come generati da GPT; un caso di studio è la Costituzione degli Stati Uniti.

Leggi anche:Paul Graham di Y Combinator criticato per aver affermato che i messaggi con “Delve” sono scritti dall’IA

La Costituzione degli Stati Uniti fu scritta nel 1787, ratificata nel 1788 ed è in vigore dal 1789. È la carta di governo scritta più longeva al mondo. La Costituzione precedette di circa un secolo l'invenzione della prima automobile. Eppure, un rilevatore di intelligenza artificiale ha indicato che è stata generata al 97,97% da intelligenza artificiale.

I rilevatori di intelligenza artificiale contrassegnano la Costituzione degli Stati Uniti come disumana

Il 2023 ha visto un aumento dei contenuti scritti basati sull'intelligenza artificiale. Poco dopo, gli sviluppatori di mercato hanno colto l'occasione per creare rilevatori che informassero sulle percentuali dei contenuti basati sull'intelligenza artificiale. Questo avrebbe dovuto rappresentare un progresso positivo, ma non è stato così.

Un rilevatore di intelligenza artificiale ha contrassegnato la Costituzione degli Stati Uniti come contenente intelligenza artificiale. La percentuale? Un 97,97%. Il termine "intelligenza artificiale" è stato coniato e ha acquisito popolarità con la nascita dell'intelligenza artificiale, tra il 1950 e il 1956. Quindi, come è possibile che un'intelligenza artificiale abbia scritto un documento 163 anni prima della sua invenzione?

Nel 1950, Alan Turing pubblicò un articolo di giornale intitolato "Computer Machinery and Intelligence", proponendo un test di intelligenza artificiale chiamato "The Imitation Game". Questo articolo segnò l'inizio del mondo in cui viviamo oggi.

Nel 1952, un informatico di nome Arthur Samuel sviluppò un programma per giocare a dama, il primo a imparare il gioco in mododent. Poco dopo, nel 1955, John McCarthy tenne un workshop a Dartmouth sull'"intelligenza artificiale", che fu il primo utilizzo del termine.

I rilevatori di intelligenza artificiale hanno dei limiti

I rilevatori di intelligenza artificiale presentano dei limiti perché il testo generato dall'intelligenza artificiale imita la scrittura umana. Questi rilevatori sono stati addestrati dagli stessi esseri umani che hanno insegnato alle macchine a scrivere. Quindi, come funzionerebbero i loro rilevatori di intelligenza artificiale e quanto sono accurati? Un altro rilevatore di intelligenza artificiale ha ottenuto un contenuto di intelligenza artificiale dell'1% nella Costituzione degli Stati Uniti. Da dove viene questo 1%?

Ebbene, ecco la disparità: alcuni rilevatori di intelligenza artificiale rilevano determinate parole come "scavare, arazzo, utilizzare, numerosi, ecc." che sono solitamente utilizzate dall'intelligenza artificiale ma sono poco comuni tra gli americani. 

Tuttavia, per alcune persone provenienti da paesi con una storia coloniale britannica, queste parole sono comunemente utilizzate sia nel linguaggio parlato che in quello scritto.

Il mese scorso, il co-fondatore di Y Combinator, Paul Graham, è stato criticato a seguito di una teoria sull'attribuzione del testo tramite ChatGPT da lui elaborata su X (ex Twitter). Graham ha pubblicato una proposta via email a freddo ricevuta da qualcuno per un progetto che, a suo dire, era frutto di intelligenza artificiale perché conteneva la parola "delve".

Un utente di X ha affermato: "Le persone che hanno imparato l'inglese nei paesi con un passato coloniale britannico – è esattamente così che abbiamo imparato l'inglese […] 'Delve' è una parola normale che usiamo." Un altro ha detto che è un problema americano.

Alcuni paesi e alcune persone usano ancora quello che definirei "inglese letterario".

La cosa spiacevole è che il vocabolario americano si basa principalmente su colloquialismi (quello che voi chiamate slang) e idiomi americani contemporanei, al punto che l'uso sofisticato di...

— Africa Research Desk (@MightiJamie) 10 aprile 2024

Ciò solleva la domanda: i rilevatori di intelligenza artificiale e i generatori di contenuti dovrebbero essere specifici per l'inglese regionale? Oppure tutti questi strumenti di scrittura e rilevatori dovrebbero essere eliminati?

I rilevatori di intelligenza artificiale sono imprecisi

I rilevatori di intelligenza artificiale si basano su caratteristiche linguistiche incoerenti. Il linguaggio umano è intrinsecamente variabile, con un'ampia gamma di stili, dialetti e modi di dire. Il testo generato dall'intelligenza artificiale può rientrare in queste variazioni, rendendo difficile l'accuratezza dei rilevatori.

Circa il 20% dei testi generati dall'intelligenza artificiale passa inosservato attraverso questi sistemi di rilevamento, compromettendone l'affidabilità. Allo stesso modo, circa il 25% dei testi scritti da esseri umani viene erroneamente segnalato come opera di intelligenza artificiale.

Un utente di Quora ha scritto: "Il rilevatore di IA sta identificando il mio lavoro come generato al 100% da un'intelligenza artificiale. Questo perché, inconsapevolmente, l'ho usato come strumento di editing e correzione grammaticale su richiesta di un relatore accademico. Le parole, il concetto e l'esperienza di vita contenuti nel testo già pubblicato sono miei. Cosa devo fare?"

Molti hanno espresso frustrazione riguardo a questo problema. Recentemente, in un articolo pubblicato da Cryptopolitan, un generatore di intelligenza artificiale ha segnalato alcune parole pronunciate da Donald Trump. Ha affermato: "Sono molto positivo e aperto alle aziende di criptovalute e a tutto ciò che riguarda questo settore nuovo e in rapida espansione". ⁤Come viene aggiunta l'intelligenza artificiale alle parole pronunciate? È nella mente di una persona? Nei pensieri espressi?

Altri contenuti provenivano da David Bailey: “⁤Ci mobiliteremo per difenderci. ⁤⁤Non voteremo per Trump in quanto tale, voteremo contro Biden. ⁤⁤L'unico responsabile di ciò è Biden.”

Leggi anche: La campagna di Trump sulle criptovalute: tutto quello che devi sapere

Nel 2023, OpenAI ha pubblicato dei suggerimenti per gli insegnanti in un post promozionale sul blog, mostrando come alcuni insegnanti utilizzano ChatGPT come strumento didattico.  

In una sezione delle FAQ intitolata "I rilevatori di IA funzionano?", OpenAI ha scritto: "In breve, no. Sebbene alcuni (tra cui OpenAI) abbiano rilasciato strumenti che pretendono di rilevare contenuti generati dall'IA, nessuno di questi ha dimostrato di distinguere in modo affidabile tra contenuti generati dall'IA e contenuti generati dall'uomo". Il problema di distinguere i contenuti umani da quelli generati dall'IA rimane. La domanda è: cosa si dovrebbe fare in futuro?

Reportage di Florence Muchai su Cryptopolitan