Forscher streben die Einführung menschlicher Unsicherheit an, um die Vertrauenswürdigkeit von KI zu verbessern

Im schnell voranschreitenden Bereich der künstlichen Intelligenz (KI) sind Forscher der University of Cambridge Pioniere eines bahnbrechenden Ansatzes, um ein grundlegendes Problem anzugehen – das Fehlen menschlicher Unsicherheit in KI-Systemen. Während KI oft in Präzision und Genauigkeit glänzt, fällt sie zurück, wenn es darum geht, menschliche Eigenschaften wie Zweifel und Fehler zu verstehen und einzubeziehen. Um diese Lücke zu schließen, erforschen Wissenschaftler Möglichkeiten, menschliche Unsicherheit in KI-Programme zu integrieren, insbesondere in hochriskanten Bereichen wie der medizinischen Diagnostik.

Einbetten menschlicher Unsicherheit

Viele KI-Systeme, insbesondere solche, die auf Feedback von Menschen basieren, arbeiten unter der Annahme, dass Menschen bei ihren Entscheidungen immer genau und sicher sind. In der Realität sind Entscheidungen jedoch inhärent von Unvollkommenheiten, Fehlern und Zweifeln geprägt. Das Forschungsteam der University of Cambridge versuchte, dieses menschliche Verhalten mit dem maschinellen Lernen in Einklang zu bringen, mit dem Ziel, die Vertrauenswürdigkeit zu erhöhen und Risiken in KI-Mensch-Schnittstellen zu verringern.

Herausforderungen im Umgang mit menschlicher Unsicherheit

Um die Auswirkungen der Integration menschlicher Unsicherheit in KI-Systeme besser zu verstehen, modifizierten die Forscher einen etablierten Datensatz zur Bildklassifizierung. Sie ermöglichten es menschlichen Teilnehmern, ihre Unsicherheitsgrade bei der Beschriftung von Bildern anzugeben. Die Ergebnisse waren faszinierend: Während KI-Systeme, die mit unsicheren Beschriftungen trainiert wurden, im Umgang mit zweifelhaftem Feedback besser wurden, führte die Einbeziehung menschlicher Unsicherheit manchmal zu einem Rückgang der Leistung von KI-Mensch-Systemen.

Im Bereich der KI wird der „Human-in-the-Loop“-Ansatz, der menschliches Feedback ermöglicht, als Mittel zur Risikominderung in Bereichen gesehen, in denen automatisierte Systeme allein möglicherweise nicht ausreichen. Dies wirft jedoch die Frage auf, wie diese Systeme reagieren, wenn menschliche Mitarbeiter Zweifel äußern. Katherine Collins, die Erstautorin der Studie, betont die Bedeutung der Berücksichtigung der Unsicherheit aus der Perspektive der Person und erklärt:

„Unsicherheit ist zentral für die Art und Weise, wie Menschen über die Welt nachdenken, aber viele KI-Modelle berücksichtigen dies nicht.“

Die Studie hebt hervor, dass in Szenarien, in denen Fehler minimale Konsequenzen haben können, wie das Verwechseln eines Fremden mit einem Freund, menschliche Unsicherheit unbedeutend sein kann. In sicherheitskritischen Anwendungen, wie Ärzten, die mit medizinischen KI-Systemen arbeiten, kann menschliche Unsicherheit jedoch gefährlich sein. Matthew Barker, ein Mitautor der Studie, unterstreicht die Notwendigkeit besserer Tools zur Neukalibrierung von KI-Modellen, die es den Menschen ermöglichen, Unsicherheit auszudrücken. Er merkt an:

„Obwohl Maschinen mit vollständiger Sicherheit trainiert werden können, können Menschen dies oft nicht, und Modelle des maschinellen Lernen kämpfen mit dieser Unsicherheit.“

Auswirkungen auf die Leistung

Das Forschungsteam führte Experimente mit verschiedenen Datensätzen durch, darunter einen, in dem menschliche Teilnehmer Vogelfarben unterschieden. Die Ergebnisse zeigten, dass der Ersatz maschineller Entscheidungen durch menschliche oft zu einem signifikanten Rückgang der Leistung führte. Dies demonstriert die Herausforderungen bei der nahtlosen Integration von Menschen in maschinelle Lernsysteme.

Um die Lücke zwischen KI und menschlicher Unsicherheit zu schließen, machen die Forscher ihre Datensätze öffentlich zugänglich, um weitere Forschungen in diesem Bereich zu fördern. Katherine Collins betont die Bedeutung von Transparenz und erklärt: „Unsicherheit ist eine Form der Transparenz, und das ist enorm wichtig.“ Sie unterstreicht die Notwendigkeit zu bestimmen, wann man einem Modell und wann man einem Menschen vertrauen sollte, insbesondere in Anwendungen wie Chatbots, wo das Verständnis der Sprache der Möglichkeit entscheidend für eine natürliche und sichere Benutzererfahrung ist.