KI-Modelle, sogar ChatGPT, scheitern daran, Fragen aus SEC-Einreichungen zu beantworten
- KI-Modelle haben weiterhin Schwierigkeiten, Fragen aus den Dokumenten der US-Börsenaufsichtsbehörde Securities and Exchange Commission (SEC) präzise zu beantworten.
- Das fortschrittlichste ChatGPT-Modell konnte nur 79 % der Fragen korrekt beantworten, was als „inakzeptabel“ gilt.
- Solange LLMs nicht vertrauenswürdiger und zuverlässiger sind, könnte die Einführung in Branchen mit hohen Anforderungen an Datenqualität langsam voranschreiten.
In den letzten Monaten haben wir gesehen, wie große Sprachmodelle viele beeindruckende Dinge getan haben, wie das Zusammenfassen und Schreiben von Texten, aber sie haben immer noch Schwierigkeiten damit, Fragen aus SEC-Einreichungen genau zu interpretieren und zu beantworten, selbst das beste von ihnen allen – ChatGPT.
KI-Modelle haben Schwierigkeiten, Fragen aus SEC-Einreichungen zu beantworten
Während eines Tests, der von Forschern eines Startups namens Patronus AI durchgeführt wurde, weigerten sich die Modelle entweder, aus den SEC-Einreichungen zu antworten, oder halluzinierten Zahlen und Fakten.
Selbst das fortschrittlichste ChatGPT-Modell, „GPT-4-Turbo“, konnte nur 79 % der Fragen korrekt beantworten, so das Startup.
„Diese Art von Leistungsraten ist absolut inakzeptabel. Sie muss viel, viel höher sein, damit es wirklich in einer automatisierten und produktionsreifen Weise funktioniert“, sagte Anand Kannappan, Mitgründer von Patronus AI.
Nicht jeder verfügt über die juristische und finanzielle Expertise, um die Nuancen von SEC-Einreichungen sofort zu erfassen, und selbst das manuelle Durchsuchen komplexer Einreichungen ist zeitaufwändig und mühsam.
KI-Modelle, die wichtige Punkte genau zusammenfassen oder spezifische Fragen aus SEC-Einreichungen und wichtigen Dokumenten beantworten können, sind von großer Bedeutung und können Menschen wertvolle Zeit sparen, um sich auf tiefere Analysen und Interpretationen zu konzentrieren, insbesondere in der wettbewerbsintensiven Finanzbranche.
Es scheint jedoch, dass wir mit bestehenden KI-Modellen noch nicht so weit von dieser Zuverlässigkeit und Genauigkeit entfernt sind, um die Verwendung in tatsächlichen Produkten zu fördern.
„Es gibt einfach keine akzeptable Fehlermarge, denn besonders in regulierten Branchen ist selbst wenn das Modell die Antwort 1 von 20 Malen falsch gibt, die Genauigkeit immer noch nicht hoch genug“, sagte Rebecca Qian, Mitgründerin von Patronus AI.
KI-Modelle sind „nicht-deterministisch“
Laut Kannappan sind LLMs nicht-deterministisch, was bedeutet, dass sie nicht garantiert jedes Mal das gleiche Ergebnis aus derselben Eingabe generieren. Daher müssen Unternehmen, die KI-Modelle integrieren möchten, weiterhin rigorose Tests durchführen, um sicherzustellen, dass sie genaue und zuverlässige Ergebnisse liefern und nicht vom Thema abschweifen.
Bis LLMs vertrauenswürdiger und zuverlässiger werden, kann es in Branchen, in denen die Datenqualität am wichtigsten ist, insbesondere im Finanzsektor, zu einer langsamen Adoptionsrate kommen.
„Wir denken definitiv, dass die Ergebnisse ziemlich vielversprechend sein können“, sagte Kannappan. „Modelle werden im Laufe der Zeit weiter verbessert werden. Wir sind sehr hoffnungsvoll, dass dies langfristig viel automatisiert werden kann. Aber heute werden Sie definitiv mindestens einen Menschen im Loop benötigen, um zu helfen, jede Workflow zu unterstützen und zu leiten, den Sie haben.“
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Ibiam Wayas
Ibiam Wayas berichtet seit 2019 über Krypto-Nachrichten. Er studierte Informatik an der National Open University of Nigeria. Seine Arbeiten erschienen in verschiedenen Krypto-Nachrichtenplattformen, darunter Coinfomania, Crypto News Australia und AltcoinBuzz. Aufgrund seines Hintergrunds in der Informatik konzentriert er sich nun auf Nachrichten zu Kryptowährungen, Robotik und Langlebigkeit.
