I ricercatori dell'Università Tecnica di Darmstadt e del Centro dell'Assia per l'intelligenza artificiale, in Germania, hanno approfondito la complessa relazione tra set di dati e modelli per comprendere le scelte rischiose degli esseri umani.
I loro risultati, pubblicati sulla rivista Nature Human Behaviour, mettono in luce la presenza di bias nei dataset, gettando luce sulle sottili differenze nei comportamenti decisionali tra i partecipanti impegnati in esperimenti online e in laboratorio. Utilizzando tecniche avanzate di apprendimento automatico, i ricercatori non solodentil bias, ma propongono anche un nuovo modello ibrido per colmare il divario creato dall'aumento del rumore decisionale nei dataset online.
L'interazione tra set di dati decisionali e modelli di apprendimento automatico
Comprendere l'interazione tra set di dati decisionali e modelli di apprendimento automatico (ML) è fondamentale per svelare le complessità del processo decisionale umano. La ricerca condotta dal team tedesco esaminamaticquesta relazione, utilizzando tre set di dati distinti: Choice Prediction Competition 2015 (CPC15), Choice Prediction Competition 2018 (CPC18) e Choices13k.
Questi set di dati rappresentano uno spettro di scelte effettuate dai partecipanti sia in ambienti di laboratorio controllati che in esperimenti online su larga scala. Il team di ricerca ha utilizzato vari modelli di apprendimento automatico, inclusi metodi di intelligenza artificiale classice architetture di reti neurali, addestrandoli su questi set di dati per ottenere informazioni sulle variazioni di prestazioni e sui bias.
Approfondendo ulteriormente, lo studio ha rilevato che i modelli addestrati sul dataset Choices13k, indicativo di esperimenti online, mostravano una scarsa generalizzazione quando applicati a dataset di laboratorio più piccoli (CPC15 e CPC18). Analogamente, i modelli addestrati su CPC15 non trasferivano in modo fluido il loro potere predittivo al dataset Choices13k, rivelando un biasmatic del dataset.
Questo bias ha evidenziato notevoli differenze nei comportamenti di scelta tra i partecipanti impegnati in esperimenti di laboratorio e quelli che hanno partecipato online. Questi risultati sottolineano l'importanza di riconoscere e affrontare i bias dei dataset, soprattutto quando si ha a che fare con contesti e fonti di dati diversi.
Svelare il bias del set di dati
La scoperta del bias dei dataset richiede ulteriori indagini sulle sue radici e implicazioni. Lo studio ha scoperto che i modelli addestrati sul dataset Choices13k hanno mostrato una certa riluttanza a prevedere proporzioni di scelta estreme, indicando un modello decisionale distintivo nei partecipanti online rispetto alle loro controparti di laboratorio.
Per analizzare l'origine di questo bias, i ricercatori hanno analizzato meticolosamente le caratteristiche delle scommesse che erano predittive della differenza nel comportamento di scelta tra i set di dati. Utilizzando tecniche come le regressioni lineari e le SHapley Additive ExPlanations (SHAP), hanno quantificato l'importanza di ciascuna caratteristica. Sorprendentemente, caratteristiche tratte dalla letteratura psicologica ed economica comportamentale, come la dominanza stocastica, la probabilità di vincita e la differenza nel valore atteso, hanno svolto un ruolo fondamentale nell'influenzare il bias.
Queste caratteristiche, tutte incentrate sul grado in cui ci si aspettava che una scommessa producesse una vincita maggiore rispetto a un'altra, hanno sottolineato la complessità del processo decisionale umano. È importante sottolineare che lo studio ha evidenziato che il comportamento di scelta nel dataset Choices13k è apparso meno sensibile a queste caratteristiche rispetto al dataset CPC15, suggerendo che i partecipanti online hanno mostrato maggiore rumore o indifferenza nel loro processo decisionale. Questa comprensione sfumata del bias del dataset e delle sue radici pone le basi per lo sviluppo di strategie per mitigarne l'impatto e perfezionare i modelli predittivi in diversi contesti decisionali.
Analisi delle caratteristiche e proposta di un modello ibrido
Grazie a una comprensione approfondita del bias dei dataset e delle sue implicazioni, i ricercatori hanno proposto una soluzione innovativa: un modello ibrido. Questo modello mirava a risolvere il problema del rumore decisionale osservato nei dataset online, introducendo un modello generativo probabilistico insieme a una rete neurale addestrata sul dataset CPC15. Il modello generativo probabilistico presupponeva che una parte dei partecipanti all'esperimento online facesse ipotesi casuali, mentre i restanti partecipanti seguivano i modelli decisionali appresi dal dataset di laboratorio.
L'integrazione di questo modello ibrido ha migliorato significativamente l'accuratezza delle previsioni e ridotto le differenze osservate con la rete neurale tradizionale addestrata esclusivamente sul dataset CPC15. Questo approccio innovativo non solo ha fornito una soluzione pratica al problema della distorsione dei dataset, ma ha anche evidenziato l'importanza di considerare le caratteristiche uniche dei dataset online nello sviluppo di modelli predittivi accurati e robusti per il processo decisionale umano.
La ricerca ha evidenziato l'intricata relazione tra modelli di apprendimento automatico e set di dati decisionali umani, sottolineando la presenza e l'impatto di distorsioni nei set di dati. Lo studio ha evidenziato le sfide poste dall'affidarsi esclusivamente a set di dati online su larga scala per comprendere le teorie generali del processo decisionale umano.
Ha sottolineato la necessità di un approccio equilibrato, che combini tecniche di apprendimento automatico, analisi dei dati e ragionamento basato sulla teoria per affrontare la complessità delle scelte umane rischiose. Mentre la ricerca apre nuove strade per future esplorazioni, emergono domande: come possiamo perfezionare e convalidare i modelli di apprendimento automatico per tenere conto della variabilità e del rumore insiti nei dati online, aprendo la strada a una comprensione più solida del processo decisionale umano in diversi contesti e contesti sperimentali? La ricerca di risposte continua, spingendo i ricercatori a esplorare, perfezionare e integrare quadri teorici e analitici per svelare i misteri del processo decisionale umano in un'era sempre più digitale.
