Forscher schlagen KI-Richtlinien vor, um Fehler in der wissenschaftlichen Forschung zu reduzieren

Die Evidenz hat gezeigt, dass es große Mängel in der Anwendung von maschinellem Lernen in der wissenschaftlichen Forschung gibt. Dieses Problem wurde in vielen Forschungsarbeiten identifiziert, die verschiedene Felder abdecken, aber ein Team von 19 Forschern aus verschiedenen Disziplinen hat unter der Aufsicht von Arvind Narayanan und Sayash Kapoor, beide Informatiker an der Princeton University, KI-Richtlinien für den verantwortungsvollen Einsatz von maschinellem Lernen in der Wissenschaft veröffentlicht.

KI-Richtlinien für die wissenschaftliche Forschung

Die Autoren sagen in dem Bericht, dass ihre Arbeit ein Versuch ist, dieses Glaubwürdigkeitsproblem aufzuzeigen, das das gesamte Forschungsökosystem beherrschen kann. Narayanan argumentiert, dass es keine universellen Standards zum Schutz der Integrität der Forschungsmethoden gibt, und maschinelles Lernen wird jetzt in allen wissenschaftlichen Feldern angewendet, sodass dies zu einem ernsthafteren Problem werden kann als die Replikationskrise, die vor einem Jahrzehnt in der Sozialpsychologie beobachtet wurde. Er nennt die aktuelle Krise eine Reproduzierbarkeitskrise. Wie Narayanan sagte:

„Wenn wir von traditionellen statistischen Methoden zu maschinellen Lernmethoden wechseln, gibt es eine weitaus größere Anzahl von Möglichkeiten, sich selbst ins Bein zu schießen.“

Quelle: AzoAI.

Aber die Autoren aus Gesundheitsforschung, Informatik, Sozialwissenschaften und Mathematik haben auch einige positive Nachrichten. Sie sagen, dass eine Reihe von Best Practices helfen kann, das aktuelle Problem zu lösen. Der Informatik-Absolvent Kapoor, der die Forschungsanstrengungen zur Erstellung der Checkliste für wissenschaftliche Arbeiten organisiert hat und mit Narayanan zusammenarbeitet, sagte, dass das Problem systematisch ist und die Lösung dafür ebenfalls systematisch sein sollte.

Die Veröffentlichung kann sich verlangsamen, aber die Genauigkeit wird zunehmen

Der Fokus der neuen konsensbasierten Checkliste liegt auf der Sicherstellung der Authentizität der Forschung, die maschinelles Lernen nutzt. Die Evolution der Wissenschaft basiert auf der Reproduzierbarkeit von Ergebnissen und der Tatsache, dass Behauptungen unabhängig validiert werden sollten. Ohne dies ist neue Forschung in der Wissenschaft nicht auf einer verlässlichen Grundlage auf vorheriger Arbeit aufzubauen, und das gesamte System verliert an Glaubwürdigkeit.

Die neue Checkliste erfordert von Forschern, detaillierte Informationen über die Verwendung von maschinellen Lernmodellen bereitzustellen, da sie verpflichtet sind, die zur Schulung des Modells verwendeten Datensätze, seinen Code, die Hardwarekapazitäten, das Pilotdesign und die Forschungsziele sowie alle Einschränkungen der Studienergebnisse bereitzustellen, da der Fokus auf Transparenz liegt.

Zwar besteht die Möglichkeit, dass die erhöhten Anforderungen dieser neuen Standards die Veröffentlichung neuer Forschungsstudien verlangsamen könnten, doch die Forscher der Initiative sind weiterhin der Überzeugung, dass die Einführung dieser Regeln hilfreich sein wird, um die Rate der Entdeckungen und Innovationen insgesamt zu steigern. 

Eine der Autorinnen der Studie, Emily Cantrell, die Doktorandin an der Princeton University ist, sagte, dass sie sich um das Tempo der wissenschaftlichen Forschung kümmern, aber indem sie sicherstellen, dass die Qualität der veröffentlichten Papers auf dem neuesten Stand ist, können zukünftige Papers sich für weitere Forschung darauf verlassen. Kapoor sagt auch, dass Fehler nachteilig sind, wenn man ihre Gesamtauswirkungen betrachtet, und Zeit verschwendet, was wiederum Geld kostet, da sie die wissenschaftliche Forschung behindern, die Finanzierung und Investitionen erhält.