I ricercatori cercano di introdurre l'incertezza umana per migliorare l'affidabilità dell'IA

Nel campo in rapida evoluzione dell'intelligenza artificiale (AI), i ricercatori dell'Università di Cambridge stanno pionierando un approccio rivoluzionario per affrontare un problema fondamentale – l'assenza di incertezza umana nei sistemi AI. Sebbene l'IA eccella spesso in precisione e accuratezza, è carente quando si tratta di comprendere e incorporare tratti umani come il dubbio e l'errore. Nel tentativo di colmare questo divario, gli scienziati stanno esplorando modi per incorporare l'incertezza umana nei programmi di IA, in particolare in domini ad alto rischio come la diagnostica medica.

Incorporare l'incertezza umana

Molti sistemi di IA, in particolare quelli che si basano sul feedback umano, operano sotto l'assunzione che gli umani siano sempre accurati e certi nelle loro decisioni. Tuttavia, le decisioni della vita reale sono intrinsecamente segnate da imperfezioni, errori e dubbi. Il team di ricerca dell'Università di Cambridge ha cercato di conciliare questo comportamento umano con l'apprendimento automatico, con l'obiettivo di migliorare l'affidabilità e ridurre i rischi nelle interfacce uomo-macchina.

Sfide nella gestione dell'incertezza umana

Per comprendere meglio le implicazioni dell'incorporazione dell'incertezza umana nei sistemi di IA, i ricercatori hanno modificato un dataset di classificazione delle immagini consolidato. Hanno permesso ai partecipanti umani di specificare i loro livelli di incertezza durante l'etichettatura delle immagini. I risultati sono stati intriganti; sebbene i sistemi di IA addestrati con etichette incerte abbiano migliorato la gestione del feedback dubbioso, l'inclusione dell'incertezza umana ha talvolta causato un calo nelle prestazioni dei sistemi uomo-IA.

Nel regno dell'IA, l'approccio "uomo nel ciclo", che consente il feedback umano, è visto come un mezzo per mitigare i rischi in aree in cui i sistemi automatizzati da soli potrebbero essere carenti. Tuttavia, questo solleva la domanda su come questi sistemi rispondano quando i collaboratori umani esprimono dubbi. Katherine Collins, prima autrice dello studio, sottolinea l'importanza di affrontare l'incertezza dal punto di vista della persona, affermando:

"L'incertezza è centrale nel modo in cui gli umani ragionano sul mondo, ma molti modelli di IA non ne tengono conto."

Lo studio evidenzia che in scenari in cui gli errori possono avere conseguenze minime, come confondere uno sconosciuto con un amico, l'incertezza umana può essere irrilevante. Tuttavia, in applicazioni sensibili alla sicurezza, come i clinici che lavorano con sistemi di IA medica, l'incertezza umana può essere pericolosa. Matthew Barker, co-autore dello studio, sottolinea la necessità di migliori strumenti per ricalibrare i modelli di IA, dando alle persone il potere di esprimere incertezza. Egli nota:

"Sebbene le macchine possano essere addestrate con completa fiducia, gli umani spesso non possono fornire questo, e i modelli di apprendimento automatico faticano con quell'incertezza."

Impatto sulle prestazioni

Il team di ricerca ha condotto esperimenti utilizzando vari dataset, incluso uno in cui i partecipanti umani distinguevano i colori degli uccelli. I risultati hanno indicato che la sostituzione delle decisioni della macchina con quelle umane ha spesso portato a un significativo declino delle prestazioni. Questo dimostra le sfide nell'integrare perfettamente gli umani nei sistemi di apprendimento automatico.

Nella ricerca di colmare il divario tra l'IA e l'incertezza umana, i ricercatori stanno rendendo i loro dataset pubblicamente disponibili per incoraggiare ulteriori esplorazioni nel campo. Katherine Collins sottolinea l'importanza della trasparenza, affermando: "L'incertezza è una forma di trasparenza, ed è enormemente importante." Sottolinea la necessità di determinare quando fidarsi di un modello e quando fidarsi di un essere umano, in particolare in applicazioni come i chatbot, dove comprendere il linguaggio della possibilità è cruciale per un'esperienza utente naturale e sicura.