I ricercatori suggeriscono linee guida AI per ridurre gli errori nella ricerca scientifica

Le prove hanno dimostrato che ci sono gravi difetti nel modo in cui l'apprendimento automatico viene applicato nella ricerca scientifica. Questo problema è stato identificato in molti articoli di ricerca che coprono diversi campi, ma un team di 19 ricercatori di diverse discipline ha pubblicato linee guida AI sull'uso responsabile dell'apprendimento automatico nella scienza sotto la supervisione di Arvind Narayanan e Sayash Kapoor, entrambi informatici presso la Princeton University.

Linee guida AI per la ricerca scientifica

Gli autori dicono nel rapporto che il loro lavoro è uno sforzo per segnalare questo problema di credibilità che può prevalere sull'intero ecosistema della ricerca. Narayanan sostiene che non ci sono standard universali per proteggere l'integrità dei metodi di ricerca, e l'apprendimento automatico è ora applicato in tutti i campi scientifici, quindi questo può diventare un problema più serio della crisi di replicazione osservata nella psicologia sociale un decennio fa. Definisce la crisi attuale una crisi di riproducibilità. Come ha detto Narayanan,

“Quando passiamo dai metodi statistici tradizionali ai metodi di apprendimento automatico, ci sono un numero molto maggiore di modi per spararsi al piede.”

Fonte: AzoAI.

Ma gli autori della ricerca sanitaria, informatica, scienze sociali e matematica hanno anche alcune buone notizie. Dicono che un insieme di migliori pratiche può aiutare a risolvere il problema attuale. Kapoor, studente laureato in informatica, che ha effettivamente organizzato lo sforzo di ricerca per produrre la checklist per il lavoro scientifico e sta lavorando con Narayanan, ha detto che il problema è sistematico e che la soluzione per esso dovrebbe essere anch'essa sistematica.

La pubblicazione potrebbe rallentare, ma l'accuratezza aumenterà

L'obiettivo della nuova checklist basata sul consenso è garantire l'autenticità della ricerca che utilizza l'apprendimento automatico. L'evoluzione della scienza si basa sulla riproducibilità dei risultati e sul fatto che le affermazioni dovrebbero essere validate indipendentemente. Senza questo, la nuova ricerca scientifica non è possibile su una base affidabile sopra il lavoro precedente, e l'intero sistema perde credibilità.

La nuova checklist richiede ai ricercatori di fornire informazioni dettagliate sull'uso dei modelli di apprendimento automatico, poiché sono tenuti a fornire i set di dati utilizzati per addestrare il modello, il suo codice, le capacità hardware, la progettazione pilota e gli obiettivi di ricerca, insieme a eventuali vincoli sui risultati dello studio, poiché l'attenzione è sulla trasparenza.

Sebbene sia anche possibile che i requisiti aumentati di questi nuovi standard possano rallentare la pubblicazione di nuovi studi di ricerca, i ricercatori dell'iniziativa credono ancora che l'adozione di queste regole sarà utile per aumentare il tasso di scoperta e innovazione in generale. 

Uno degli autori dello studio, Emily Cantrell, studentessa di dottorato presso la Princeton University, ha detto che si preoccupano del ritmo della ricerca scientifica, ma assicurandosi che la qualità dei documenti pubblicati sia all'altezza, i documenti futuri potranno fare affidamento su di essi per ulteriori ricerche. Kapoor dice anche che gli errori sono avversi considerando il loro impatto complessivo e sprecano tempo, il che a sua volta costa denaro poiché ostacolano la ricerca scientifica che ottiene finanziamenti e investimenti.