Les chercheurs cherchent à intégrer l'incertitude humaine pour améliorer la fiabilité de l'IA

Dans le domaine de l'intelligence artificielle (IA) en rapide évolution, des chercheurs de l'Université de Cambridge sont à l'avant-garde d'une approche novatrice pour répondre à un problème fondamental – l'absence d'incertitude humaine dans les systèmes IA. Bien que l'IA excelle souvent en précision et en exactitude, elle est moins performante lorsqu'il s'agit de comprendre et d'intégrer des traits humains tels que le doute et l'erreur. Pour combler cette lacune, les scientifiques explorent des moyens d'incorporer l'incertitude humaine dans les programmes d'IA, en particulier dans des domaines à haut risque comme le diagnostic médical.

Intégrer l'incertitude humaine

De nombreux systèmes d'IA, en particulier ceux qui s'appuient sur des retours humains, fonctionnent sous l'hypothèse que les humains sont toujours précis et certains dans leurs décisions. Cependant, les décisions de la vie réelle sont intrinsèquement marquées par des imperfections, des erreurs et des doutes. L'équipe de recherche de l'Université de Cambridge a cherché à concilier ce comportement humain avec l'apprentissage automatique, dans le but d'améliorer la fiabilité et de réduire les risques dans les interfaces homme-machine.

Défis liés à la gestion de l'incertitude humaine

Pour mieux comprendre les implications de l'intégration de l'incertitude humaine dans les systèmes d'IA, les chercheurs ont modifié un jeu de données de classification d'images établi. Ils ont permis aux participants humains de spécifier leurs niveaux d'incertitude lors de l'étiquetage des images. Les résultats étaient intrigants ; bien que les systèmes d'IA entraînés avec des étiquettes incertaines aient amélioré leur gestion des retours douteux, l'inclusion de l'incertitude humaine a parfois entraîné une baisse de performance des systèmes homme-IA.

Dans le domaine de l'IA, l'approche « homme dans la boucle », qui permet des retours humains, est considérée comme un moyen d'atténuer les risques dans les domaines où les systèmes automatisés seuls pourraient être insuffisants. Cependant, cela soulève la question de la manière dont ces systèmes réagissent lorsque les collaborateurs humains expriment un doute. Katherine Collins, première auteure de l'étude, souligne l'importance d'aborder l'incertitude du point de vue de la personne, déclarant :

« L'incertitude est centrale dans la façon dont les humains raisonnent sur le monde, mais de nombreux modèles d'IA ne tiennent pas compte de cet aspect. »

L'étude met en évidence que dans les scénarios où les erreurs peuvent avoir des conséquences minimes, comme confondre un inconnu avec un ami, l'incertitude humaine peut être insignifiante. Cependant, dans les applications sensibles à la sécurité, comme les cliniciens travaillant avec des systèmes d'IA médicaux, l'incertitude humaine peut être périlleuse. Matthew Barker, co-auteur de l'étude, insiste sur la nécessité de meilleurs outils pour recalibrer les modèles d'IA, permettant aux individus d'exprimer leur incertitude. Il note :

« Bien que les machines puissent être entraînées avec une confiance totale, les humains ne peuvent souvent pas fournir cela, et les modèles d'apprentissage automatique peinent avec cette incertitude. »

Impact sur la performance

L'équipe de recherche a mené des expériences en utilisant divers jeux de données, y compris un où les participants humains distinguaient les couleurs des oiseaux. Les résultats ont indiqué que le remplacement des décisions de la machine par des décisions humaines a souvent conduit à une baisse significative de la performance. Cela démontre les défis liés à l'intégration transparente des humains dans les systèmes d'apprentissage automatique.

Dans la poursuite de la réduction de l'écart entre l'IA et l'incertitude humaine, les chercheurs rendent leurs jeux de données publics pour encourager une exploration plus approfondie dans ce domaine. Katherine Collins souligne l'importance de la transparence, déclarant : « L'incertitude est une forme de transparence, et c'est extrêmement important. » Elle souligne la nécessité de déterminer quand faire confiance à un modèle et quand faire confiance à un humain, en particulier dans des applications comme les chatbots, où la compréhension du langage de la possibilité est cruciale pour une expérience utilisateur naturelle et sûre.