Investigadores buscam injetar incerteza humana para melhorar a confiabilidade da IA

No campo de rápida evolução da inteligência artificial (IA), pesquisadores da Universidade de Cambridge estão liderando uma abordagem inovadora para abordar uma questão fundamental – a ausência de incerteza humana em sistemas de IA. Embora a IA muitas vezes se destaque em precisão e exatidão, ela fica aquém quando se trata de entender e incorporar traços humanos como dúvida e erro. Em um esforço para preencher essa lacuna, os cientistas estão explorando maneiras de incorporar a incerteza humana em programas de IA, particularmente em domínios de alto risco como diagnósticos médicos.

Incorporando a incerteza humana

Muitos sistemas de IA, especialmente aqueles que dependem de feedback humano, operam sob a suposição de que os humanos são sempre precisos e certos em suas decisões. No entanto, as decisões do mundo real são inerentemente marcadas por imperfeições, erros e dúvidas. A equipe de pesquisa da Universidade de Cambridge buscou reconciliar esse comportamento humano com o aprendizado de máquina, com o objetivo de aumentar a confiabilidade e reduzir os riscos nas interfaces entre IA e humanos.

Desafios no tratamento da incerteza humana

Para melhor compreender as implicações de incorporar a incerteza humana em sistemas de IA, os pesquisadores modificaram um conjunto de dados estabelecido de classificação de imagens. Permitiu-se que participantes humanos especificassem seus níveis de incerteza ao rotular imagens. Os resultados foram intrigantes; embora os sistemas de IA treinados com rótulos incertos tenham melhorado no manuseio de feedback duvidoso, a inclusão da incerteza humana às vezes causou uma queda no desempenho dos sistemas de IA e humanos.

No campo da IA, a abordagem “humano no loop”, que permite o feedback humano, é vista como uma maneira de mitigar riscos em áreas onde os sistemas automatizados sozinhos podem falhar. No entanto, isso levanta a questão de como esses sistemas respondem quando os colaboradores humanos expressam dúvida. Katherine Collins, primeira autora do estudo, enfatiza a importância de abordar a incerteza do ponto de vista da pessoa, afirmando:

“A incerteza é central na forma como os humanos raciocinam sobre o mundo, mas muitos modelos de IA falham em levar isso em conta.”

O estudo destaca que, em cenários onde os erros podem ter consequências mínimas, como confundir um estranho com um amigo, a incerteza humana pode ser irrelevante. No entanto, em aplicações sensíveis à segurança, como clínicos trabalhando com sistemas de IA médica, a incerteza humana pode ser perigosa. Matthew Barker, coautor do estudo, enfatiza a necessidade de melhores ferramentas para recalibrar os modelos de IA, capacitando os indivíduos a expressar incerteza. Ele observa:

“Embora as máquinas possam ser treinadas com total confiança, os humanos muitas vezes não podem fornecer isso, e os modelos de aprendizado de máquina lutam com essa incerteza.”

Impacto no desempenho

A equipe de pesquisa conduziu experimentos usando vários conjuntos de dados, incluindo um em que participantes humanos distinguiam as cores dos pássaros. Os resultados indicaram que substituir as decisões da máquina pelas humanas frequentemente levava a uma queda significativa no desempenho. Isso demonstra os desafios na integração perfeita de humanos em sistemas de aprendizado de máquina.

Na busca por preencher a lacuna entre a IA e a incerteza humana, os pesquisadores estão disponibilizando seus conjuntos de dados publicamente para encorajar mais exploração na área. Katherine Collins enfatiza a importância da transparência, afirmando: “A incerteza é uma forma de transparência, e isso é enormemente importante.” Ela sublinha a necessidade de determinar quando confiar em um modelo e quando confiar em um humano, especialmente em aplicações como chatbots, onde entender a linguagem da possibilidade é crucial para uma experiência de usuário natural e segura.