Los investigadores buscan inyectar incertidumbre humana para mejorar la confiabilidad de la IA

En el campo en rápido avance de la inteligencia artificial (IA), investigadores de la Universidad de Cambridge están liderando un enfoque innovador para abordar un problema fundamental: la ausencia de incertidumbre humana en IA. Aunque la IA suele destacar en precisión y exactitud, se queda corta al comprender e incorporar rasgos humanos como la duda y el error. Para cerrar esta brecha, los científicos exploran formas de integrar la incertidumbre humana en programas de IA, especialmente en dominios de alto riesgo como el diagnóstico médico.

Integración de incertidumbre humana

Muchos sistemas de IA, especialmente aquellos que dependen de la retroalimentación humana, operan bajo el supuesto de que los humanos son siempre precisos y seguros en sus decisiones. Sin embargo, las decisiones de la vida real están inherentemente marcadas por imperfecciones, errores y dudas. El equipo de investigación de la Universidad de Cambridge buscó conciliar este comportamiento humano con el aprendizaje automático, con el objetivo de mejorar la fiabilidad y reducir los riesgos en las interfaces entre IA y humanos.

Desafíos en el manejo de la incertidumbre humana

Para comprender mejor las implicaciones de incorporar la incertidumbre humana en los sistemas de IA, los investigadores modificaron un conjunto de datos establecido para clasificación de imágenes. Permitieron a los participantes humanos especificar sus niveles de incertidumbre al etiquetar las imágenes. Los hallazgos fueron intrigantes: aunque los sistemas de IA entrenados con etiquetas inciertas mejoraron en el manejo de la retroalimentación dudosa, la inclusión de la incertidumbre humana a veces provocó una caída en el rendimiento de los sistemas de IA y humanos.

En el ámbito de la IA, el enfoque de "humano en el bucle", que permite la retroalimentación humana, se considera una forma de mitigar riesgos en áreas donde los sistemas automatizados por sí solos podrían ser insuficientes. Sin embargo, esto plantea la pregunta de cómo responden estos sistemas cuando los colaboradores humanos expresan dudas. Katherine Collins, primera autora del estudio, enfatiza la importancia de abordar la incertidumbre desde la perspectiva de la persona, declarando:

"La incertidumbre es central en cómo los seres humanos razonan sobre el mundo, pero muchos modelos de IA no tienen esto en cuenta."

El estudio destaca que en escenarios donde los errores pueden tener consecuencias mínimas, como confundir a un extraño con un amigo, la incertidumbre humana puede ser irrelevante. Sin embargo, en aplicaciones sensibles a la seguridad, como médicos que trabajan con sistemas de IA médica, la incertidumbre humana puede ser peligrosa. Matthew Barker, coautor del estudio, subraya la necesidad de mejores herramientas para recalibrar los modelos de IA, empoderando a las personas para expresar su incertidumbre. Él señala:

"Aunque las máquinas pueden entrenarse con total confianza, los humanos a menudo no pueden proporcionarla, y los modelos de aprendizaje automático luchan con esa incertidumbre."

Impacto en el rendimiento

El equipo de investigación realizó experimentos utilizando diversos conjuntos de datos, incluido uno en el que participantes humanos distinguían colores de aves. Los resultados indicaron que reemplazar las decisiones de la máquina por las humanas a menudo provocaba una disminución significativa del rendimiento. Esto demuestra los desafíos para integrar de manera fluida a los seres humanos en los sistemas de aprendizaje automático.

En la búsqueda de cerrar la brecha entre la incertidumbre de la IA y la humana, los investigadores están poniendo sus conjuntos de datos a disposición del público para fomentar más exploración en el campo. Katherine Collins destaca la importancia de la transparencia, afirmando: «La incertidumbre es una forma de transparencia, y eso es enormemente importante». Subraya la necesidad de determinar cuándo confiar en un modelo y cuándo confiar en un humano, especialmente en aplicaciones como los chatbots, donde comprender el lenguaje de la posibilidad es crucial para una experiencia de usuario natural y segura.