Gli scienziati chiedono una divulgazione più rigorosa dell'IA in mezzo all'esplosione di «slop» nei documenti

Gli scienziati che lavorano all'interno del mondo della ricerca sull'IA stanno affrontando un problema di credibilità che non possono più ignorare.

Le principali conferenze focalizzate sulla ricerca sull'IA hanno reagito dopo che i sistemi di revisione si sono intasati di submission deboli.

Gli organizzatori hanno visto un aumento netto di documenti e revisioni tra pari prodotti con poco sforzo umano. La preoccupazione non riguarda lo stile. La preoccupazione riguarda l'accuratezza. Gli errori si stanno infiltrando in ambiti in cui la precisione un tempo era fondamentale.

Le conferenze inaspriscono le misure contro i documenti di scarsa qualità che sopraffanno i revisori

I ricercatori avevano avvertito in anticipo che l'uso incontrollato di strumenti di scrittura automatizzati avrebbe potuto danneggiare il campo. Inioluwa Deborah Raji, ricercatrice di intelligenza artificiale presso l'Università della California, Berkeley, ha dichiarato che la situazione è diventata caotica rapidamente.

«C'è un po' di ironia nel fatto che ci sia così tanto entusiasmo per l'IA che modella altri campi, quando, in realtà, il nostro campo ha attraversato questa esperienza caotica a causa dell'uso diffuso dell'IA», ha detto.

Dati concreti mostrano quanto il problema sia diventato diffuso. Uno studio dell'Università di Stanford pubblicato ad agosto ha rilevato che fino al 22% dei documenti di informatica presentava segni di utilizzo di modelli linguistici di grandi dimensioni (LLM).

Pangram, una start-up di analisi del testo, ha esaminato le submission e le revisioni tra pari alla International Conference on Learning Representations nel 2025. Ha stimato che il 21% delle revisioni fosse generato interamente dall'IA, mentre più della metà utilizzava l'IA per attività come la modifica. Pangram ha anche scoperto che il 9% dei documenti presentati aveva più della metà del contenuto prodotto in questo modo.

Il problema ha raggiunto un punto di non ritorno a novembre. I revisori di ICLR hanno segnalato un documento sospettato di essere generato dall'IA che si classificava comunque nel top 17% in base ai punteggi dei revisori. A gennaio, l'azienda di rilevamento GPTZero ha segnalato oltre 100 errori automatizzati in 50 documenti presentati a NeurIPS, ampiamente considerato la principale sede di ricerca avanzata nel settore.

Mentre le preoccupazioni crescevano, l'ICLR ha aggiornato le sue regole sull'uso prima della conferenza. I documenti che non dichiarano un uso estensivo di modelli linguistici ora rischiano il rifiuto. I revisori che sottomettono valutazioni di bassa qualità create con automazione rischiano penalità, incluso il rifiuto dei propri documenti.

Hany Farid, professore di informatica presso l'Università della California, Berkeley, ha dichiarato: «Se pubblichi documenti di scarsa qualità che sono semplicemente errati, perché la società dovrebbe fidarsi di noi come scienziati?»

Aumento dei volumi di documenti mentre il rilevamento fatica a tenere il passo

Secondo il rapporto, NeurIPS ha ricevuto 21.575 documenti nel 2025, in aumento rispetto ai 17.491 del 2024 e ai 9.467 del 2020. Un autore ha presentato più di 100 documenti in un singolo anno, ben oltre la norma per un singolo ricercatore.

Thomas G. Dietterich, professore emerito presso l'Università statale dell'Oregon e presidente della sezione di informatica di arXiv, ha dichiarato che anche i caricamenti sul repository aperto sono aumentati notevolmente.

Tuttavia, i ricercatori affermano che la causa non è semplice. Alcuni sostengono che l'aumento derivi dall'ingresso di più persone nel campo. Altri dicono che l'uso intensivo degli strumenti di IA svolge un ruolo importante. Il rilevamento rimane difficile perché non esiste uno standard condiviso per identificare il testo automatizzato. Dietterich ha dichiarato che i segnali di avvertimento comuni includono riferimenti inventati e figure errate. Gli autori colti a fare questo possono essere temporaneamente banditi da arXiv.

La pressione commerciale è anch'essa sullo sfondo. Demo di alto profilo, stipendi alle stelle e una concorrenza aggressiva hanno spinto parti del campo a concentrarsi sulla quantità. Raji ha dichiarato che i momenti di euforia attirano esterni alla ricerca di risultati rapidi.

Allo stesso tempo, i ricercatori affermano che alcuni utilizzi sono legittimi. Dietterich ha notato che la qualità della scrittura nei documenti provenienti dalla Cina è migliorata, probabilmente perché gli strumenti linguistici aiutano a riscrivere l'inglese in modo più chiaro.

La questione ora si estende oltre la pubblicazione. Aziende come Google, Anthropic e OpenAI promuovono i loro modelli come partner di ricerca in grado di accelerare la scoperta in aree come le scienze della vita. Questi sistemi sono addestrati su testi accademici.

Farid ha avvertito che se i dati di addestramento includono troppa materiale sintetico, le prestazioni del modello possono degradare. Studi passati mostrano che i modelli linguistici di grandi dimensioni possono collassare in nonsenso quando vengono alimentati con dati automatizzati non curati.

Farid ha dichiarato che le aziende che effettuano lo scraping della ricerca hanno forti incentivi a sapere quali documenti sono scritti da esseri umani. Kevin Weil, capo della scienza presso OpenAI, ha dichiarato che gli strumenti richiedono ancora controlli umani. «Può essere un acceleratore massiccio», ha detto. «Ma devi controllarlo. Non ti assolve dal rigore.»