MIT-Forscher entwickeln automatisiertes System, um Benutzern beizubringen, wann sie mit KI-Assistenten zusammenarbeiten sollen

Forscher des MIT haben in Zusammenarbeit mit dem MIT-IBM Watson AI Lab ein innovatives automatisiertes System entwickelt, das darauf abzielt, eine kritische Frage in der Mensch-KI-Zusammenarbeit zu beantworten: Wann sollten Benutzer dem Rat eines KI-Assistenten vertrauen? Dieses System bietet einen maßgeschneiderten Onboarding-Prozess, der Benutzern dabei hilft zu bestimmen, wann sie sich auf KI-Empfehlungen verlassen und wann sie Vorsicht walten lassen sollen.

Maßgeschneiderter Onboarding-Prozess verbessert die Mensch-KI-Zusammenarbeit

Das System des Forschungsteams ist darauf ausgelegt, Benutzern, wie medizinischen Fachkräften oder allen, die mit KI-Modellen arbeiten, beizubringen, wann sie effektiv mit KI-Assistenten zusammenarbeiten sollen. Dies wird durch einen maßgeschneiderten Onboarding-Prozess erreicht, der die Benutzer dabei unterstützt, die Zuverlässigkeit von KI-Ratschlägen in bestimmten Situationen zu verstehen.

Das System identifiziert Fälle, in denen Nutzer den Empfehlungen der KI fälschlicherweise vertrauen, selbst wenn die Vorhersagen der KI falsch sind. Es lernt dann automatisch Regeln für die Zusammenarbeit und kommuniziert diese Regeln in natürlicher Sprache während des Onboarding-Prozesses. Dies ermöglicht es Nutzern, die Zusammenarbeit mit der KI durch Trainingsübungen zu üben, die auf diesen Regeln basieren, und erhält Feedback zu ihrer Leistung sowie zur Leistung der KI.

Die Ergebnisse: Verbesserte Genauigkeit bei der Mensch-KI-Zusammenarbeit

Die Forscher führten Tests durch, um die Wirksamkeit ihres Onboarding-Prozesses zu bewerten. Die Ergebnisse zeigten eine signifikante Verbesserung der Genauigkeit um 5 Prozent, wenn Menschen und KI bei Bildvorhersageaufgaben zusammenarbeiteten, im Vergleich zu Szenarien, in denen den Nutzern lediglich mitgeteilt wurde, wann sie der KI vertrauen sollten, ohne den Vorteil eines Trainings.

Ein vollständig automatisiertes Lernsystem

Eine der wichtigsten Stärken dieses Systems ist seine volle Automatisierung. Es lernt, einen maßgeschneiderten Onboarding-Prozess basierend auf den Daten zu erstellen, die aus Mensch-KI-Interaktionen bei einer bestimmten Aufgabe generiert werden. Darüber hinaus kann es sich an verschiedene Aufgaben anpassen, was es zu einem vielseitigen Werkzeug für verschiedene Bereiche macht, in denen Menschen und KI-Modelle zusammenarbeiten, einschließlich der Moderation von Social-Media-Inhalten, des Schreibens, der Programmierung und, was wichtig ist, des medizinischen Bereichs.

Schließung der Lücke im KI-Training

Hussein Mozannar, Hauptautor des Forschungsartikels und Graduiertenstudent am MIT, hob das kritische Problem hervor, KI-Tools Nutzern ohne angemessenes Training zur Verfügung zu stellen. Er betonte, dass fast jedes andere Tool eine Form von Tutorial bietet, KI-Tools jedoch oft dieses essentielle Training vermissen lassen. Die Forscher zielen darauf ab, diese Lücke zu schließen, indem sie einen methodischen und verhaltensbezogenen Ansatz zur Schulung von Nutzern in der Mensch-KI-Zusammenarbeit bieten.

Auswirkungen auf medizinische Fachkräfte

Die Forscher sehen den Onboarding-Prozess als einen entscheidenden Bestandteil der Ausbildung für medizinische Fachkräfte, die zunehmend auf KI-Tools für die treffen von kritischen Entscheidungen angewiesen sein werden. Dieser Ansatz könnte die Art und Weise, wie die Weiterbildung im medizinischen Bereich angeboten wird, neu gestalten und das Design klinischer Studien beeinflussen.

Automatisiertes Onboarding: So funktioniert es

Im Gegensatz zu bestehenden Onboarding-Methoden, die auf Schulungsmaterialien basieren, die von menschlichen Experten für bestimmte Anwendungsfälle erstellt wurden, lernt das System der Forscher automatisch aus Daten. Es folgt einer Reihe von Schritten, um einen maßgeschneiderten Onboarding-Prozess zu erstellen:

1. Datenerfassung: Das System sammelt Daten sowohl über den Menschen als auch über die KI, während es eine bestimmte Aufgabe ausführt, wie das Erkennen von Objekten in Bildern.

2. Latenter Raum: Die erfassten Daten werden in einen latenten Raum eingebettet, der ähnliche Datenpunkte zusammenfasst.

3. Identifizierung von Kollaborationsfehlern: Ein Algorithmus identifiziert Bereiche im latenten Raum, in denen der Mensch falsch mit der KI zusammenarbeitet. Diese Bereiche stellen Situationen dar, in denen der Mensch der Vorhersage der KI vertraut hat, die Vorhersage jedoch falsch war, und umgekehrt.

4. Regelgenerierung: Ein zweiter Algorithmus verwendet ein Large Language Model, um jeden Bereich mit natürlichen Sprachregeln zu beschreiben und diese iterativ zu verfeinern, indem gegensätzliche Beispiele gefunden werden. Diese Regeln bilden die Grundlage für Schulungsübungen.

5. Schulungsübungen: Das Onboarding-System präsentiert dem Benutzer Beispiele, wie Bilder und KI-Vorhersagen, und bittet den Benutzer, Vorhersagen zu treffen. Wenn die Vorhersagen des Benutzers falsch sind, erhält er die richtige Antwort und Leistungsstatistiken.

6. Lernen für zukünftige Zusammenarbeit: Durch diesen Prozess lernen die Benutzer, wie sie effektiv mit der KI zusammenarbeiten können, indem sie die Regeln dafür verstehen, wann sie den Empfehlungen der KI vertrauen sollen.

Wirksamkeit des Onboarding-Prozesses

Die Forscher führten Tests mit Aufgaben wie dem Erkennen von Ampeln in unscharfen Bildern und dem Beantworten von Multiple-Choice-Fragen aus verschiedenen Bereichen durch. Die Ergebnisse zeigten, dass der Onboarding-Prozess ohne Empfehlungen die Genauigkeit der Nutzer bei der Ampelvorgabenaufgabe um etwa 5 Prozent erheblich verbesserte, ohne sie dabei zu verlangsamen. Das Onboarding war jedoch bei der Fragebeantwortung weniger effektiv, möglicherweise weil das KI-Modell bei jeder Antwort Erklärungen lieferte.

Im Gegensatz dazu hatte die Bereitstellung von Empfehlungen ohne Onboarding einen nachteiligen Effekt auf die Leistung und die Entscheidungsgeschwindigkeit der Nutzer. Die Nutzer scheinen Schwierigkeiten zu haben, wenn sie nur Empfehlungen erhalten, da dies ihren Denkprozess störte.

Zukünftige Forschung und Erweiterung

Das Forschungsteam plant, größere Studien durchzuführen, um sowohl die kurzfristigen als auch die langfristigen Auswirkungen des Onboarding-Prozesses zu bewerten. Sie beabsichtigen auch, ungelabelte Daten zu nutzen, um den Onboarding-Prozess zu verbessern, und Methoden zu erforschen, um die Anzahl der Regionen zu reduzieren, ohne wichtige Beispiele auszuschließen.

Dan Weld, Professor Emeritus an der University of Washington, betonte die Bedeutung von KI-Entwicklern, die Methoden entwickeln, die Nutzern helfen zu erkennen, wann es sicher ist, sich auf KI-Vorschläge zu verlassen. Das von den MIT-Forschern entwickelte automatisierte Onboarding-System stellt einen bedeutenden Schritt in Richtung dieses Ziels dar.

Das von den MIT-Forschern und dem MIT-IBM Watson AI Lab entwickelte automatisierte Onboarding-System bietet eine vielversprechende Lösung für die Herausforderung, zu bestimmen, wann Nutzer KI-Empfehlungen vertrauen sollten. Durch die Bereitstellung eines vollständig automatisierten, datengesteuerten und anpassungsfähigen Onboarding-Prozesses hat dieses System das Potenzial, die Mensch-KI-Zusammenarbeit in verschiedenen Bereichen, einschließlich Gesundheitswesen, Social Media, Schreiben und Programmierung, zu verbessern. Da KI weiterhin eine zunehmend bedeutende Rolle in Entscheidungsprozessen spielt, kann die Bedeutung solcher Trainingsmethoden nicht hoch genug eingeschätzt werden.