Es ist erwiesen, dass die Anwendung von maschinellem Lernen in der wissenschaftlichen Forschung gravierende Mängel aufweist. Dieses Problem wurde in zahlreichen Forschungsarbeiten verschiedener Fachrichtungendent. Ein Team von 19 Wissenschaftlern aus unterschiedlichen Disziplinen hat nun unter der Leitung von Arvind Narayanan und Sayash Kapoor, beide Informatiker an der Princeton University, KI-Richtlinien für den verantwortungsvollen Einsatz von maschinellem Lernen in der Wissenschaft veröffentlicht.
KI-Leitlinien für die wissenschaftliche Forschung
Die Autoren erklären in ihrem Bericht, dass ihre Arbeit ein Versuch sei, auf dieses Glaubwürdigkeitsproblem hinzuweisen, das das gesamte Forschungsökosystem durchdringen könne. Narayanan argumentiert, dass es keine universellen Standards zum Schutz der Integrität von Forschungsmethoden gebe und maschinelles Lernen mittlerweile in allen wissenschaftlichen Bereichen Anwendung finde. Daher könne dies zu einem gravierenderen Problem werden als die Replikationskrise, die vor einem Jahrzehnt in der Sozialpsychologie beobachtet wurde. Er bezeichnet die aktuelle Krise als Reproduzierbarkeitskrise. Wie Narayanan sagte:
„Wenn wir von traditionellen statistischen Methoden zu Methoden des maschinellen Lernens übergehen, gibt es weitaus mehr Möglichkeiten, sich selbst zu schaden.“
Quelle: AzoAI .
Doch die Autoren aus den Bereichen Gesundheitsforschung, Informatik, Sozialwissenschaften und Mathematik matic auch positive Nachrichten. Sie sagen, dass eine Reihe bewährter Verfahren zur Lösung des aktuellen Problems beitragen kann. Der Informatikstudent dent , der die Forschungsarbeit zur Erstellung der Checkliste für wissenschaftliches Arbeiten initiiert hat und mit Narayanan zusammenarbeitet, erklärte, dass das Problem systembedingt sei matic die Lösung daher ebenfalls matic .
Die Veröffentlichungstätigkeit mag sich verlangsamen, aber die Genauigkeit wird zunehmen
Ziel der neuen, konsensbasierten Checkliste ist es, die Authentizität von Forschungsergebnissen, die maschinelles Lernen nutzen, sicherzustellen. Wissenschaftlicher Fortschritt basiert auf der Reproduzierbarkeit von Ergebnissen und derdentValidierung von Behauptungen. Ohne diese ist es nicht möglich, auf bestehenden Arbeiten aufbauend, neue wissenschaftliche Erkenntnisse verlässlich weiterzuentwickeln, und das gesamte System verliert an Glaubwürdigkeit.
Die neue Checkliste verlangt von Forschern detaillierte Informationen über die Verwendung von Modellen des maschinellen Lernens. Sie müssen die Datensätze, die zum Trainieren des Modells verwendet wurden, den Code, die Hardwarekapazitäten, das Pilotdesign und die Forschungsziele sowie alle Einschränkungen für die Ergebnisse der Studie angeben, da der Schwerpunkt auf Transparenz liegt.
Auch wenn es möglich ist, dass die erhöhten Anforderungen dieser neuen Standards die Veröffentlichung neuer Forschungsstudien verlangsamen, glauben die Forscher der Initiative dennoch, dass die Annahme dieser Regeln dazu beitragen wird, die Rate von Entdeckungen und Innovationen insgesamt zu erhöhen.
Eine der Autorinnen der Studie, Emily Cantrell, Doktorandin dent der Princeton University, erklärte, dass ihnen das Tempo der wissenschaftlichen Forschung zwar wichtig sei, sie aber durch die Sicherstellung der Qualität der veröffentlichten Artikel eine Grundlage für zukünftige Forschung schaffen könnten. Kapoor ergänzt, dass Fehler aufgrund ihrer kollektiven Auswirkungen nachteilig seien und Zeit und damit Geld kosteten, da sie die wissenschaftliche Forschung, die Fördermittel und Investitionen erhält, behindern.
