Forscher der Universität Innsbruck in Österreich haben kürzlich eine Studie veröffentlicht, die die Anwendung der zeitlichen Gültigkeit in generativen Systemen der künstlichen Intelligenz (KI) untersucht. Ihre Ergebnisse deuten darauf hin, dass dieser Maßstab das KI-Ökosystem erheblich verbessern könnte, insbesondere das Verständnis der Relevanz von Aussagen im Zeitverlauf.
Verständnis der zeitlichen Gültigkeit
Die zeitliche Gültigkeit bezieht sich auf die Relevanz einer Aussage im Hinblick auf den zeitlichen Ablauf. Im Kontext von KI-Systemen spielt diese Kennzahl eine entscheidende Rolle, da sie es Modellen ermöglicht, den zeitlichen Wert von Aussagen zudent. Die Fähigkeit, die zeitliche Gültigkeit zu messen, ist ein grundlegendes Merkmal, das KI-Modelle voneinander unterscheidet.
Forschungserkenntnisse
In ihrer 18-seitigen Forschungsarbeit stellten die Wissenschaftler fest, dass KI-Modelle eine bemerkenswerte Fähigkeit zurdentder zeitlichen Gültigkeit einfacher Aussagen aufwiesen. Wurden sie jedoch mit zusätzlichen Kontextinformationen konfrontiert, zeigten generative KI-Modelle unterschiedliche Erfolge bei der Erkennung der zeitlichen Gültigkeit innerhalb von Aussagen.
Um die Effektivität großer Sprachmodelle (LLMs) beim Verständnis der zeitlichen Gültigkeit in komplexen Aussagen zu beurteilen, führten die Forscher ein Benchmarking-System ein, das Daten von X, ehemals Twitter, nutzte.
Benchmarking der Vorhersage der zeitlichen Gültigkeit
Die Studie führte das Konzept der „Vorhersage von Änderungen der zeitlichen Gültigkeit“ ein, eine Aufgabe der natürlichen Sprachverarbeitung, die die Fähigkeit von Modellen des maschinellen Lernens zur Erkennung kontextueller Aussagen, die zeitliche Veränderungen hervorrufen, bewertet. Die Forscher nutzten diesen Benchmark, um verschiedene gängige generative KI-Modelle zu evaluieren.
Die Auswertung der Studie ergab, dass OpenAIs ChatGPT hinsichtlich seiner Fähigkeiten im Bereich des zeitlichen Allgemeinwissens (Temporary Common Sense, TCS) keine überzeugenden Ergebnisse lieferte. Die Forscher führten diese schwache Leistung auf die während des Trainings des Chatbots angewandten Methoden zurück.
„ChatGPT zählt zu den leistungsschwächeren Modellen, was mit anderen Studien zum Verständnis von TCS übereinstimmt“, heißt es in der Forschungsarbeit. „Seine Schwächen lassen sich möglicherweise auf den Ansatz des Lernens mit wenigen Beispielen und mangelnde Kenntnisse über datensatzspezifische Merkmale zurückführen.“
Praktische Auswirkungen fortgeschrittener TCS
Erweiterte Fähigkeiten zur zeitlichen Verarbeitung (Temporal Common Sense, TCS) in KI-Modellen bergen vielversprechende Anwendungsmöglichkeiten in verschiedenen realen Bereichen. Zu den potenziellen Anwendungsfällen gehören:
1. Finanzmarktprognosen: KI-Modelle mit verbesserter TCS könnten bessere Einblicke in das Verhalten der Finanzmärkte bieten und Investoren und Analysten bei der Entscheidungsfindung unterstützen.
2. Generierung von Nachrichtenartikeln: KI-Modelle mit fortschrittlicher TCS könnten Nachrichtenartikel aus Social-Media-Beiträgen effektiver generieren und dabei sicherstellen, dass der zeitliche Kontext präzise erfasst wird.
3. Wissensverfolgung trac KI -Chatbots könnten ihre Fähigkeit verbessern, relevantes Wissen zu trac und zu speichern, während sie neue Eingaben auf Relevanz prüfen, um den Nutzern genauere und aktuellere Antworten zu bieten.
Fortschritte in der KI-Forschung
In den letzten Monaten hat die KI-Forschung neue Höhen erreicht und wichtige Erkenntnisse über die Fähigkeiten und Grenzen modernster KI und LLM-Studiengänge gewonnen:
1. Schmeichelei vs. sachliche Antworten : Eine Studie hob hervor, dass gängige KI-Modelle aufgrund ihrer Abhängigkeit vom Reinforcement Learning from Human Feedback (RLHF) während des Trainings eher zu schmeichelhaften als zu sachlichen Antworten neigen.
2. Sicherheitslücken bei Chatbots: Im Jahr 2023 dent , die es Angreifern ermöglichen könnte, auf Mitarbeiterdaten zuzugreifen, indem sie eine einfache Wortwiederholung ausnutzen. Dadurch weicht das Modell von seinem eigentlichen Ausrichtungstraining ab.
3. Blockchain-Integration: Andere Studien haben die Integration der Blockchain-Technologie mit KI-Modellen untersucht, um das Vertrauen der Nutzer, die Privatsphäre und die Sicherheit zu verbessern und so neue Möglichkeiten für den Schutz sensibler Daten zu eröffnen.
Die an der Universität Innsbruck durchgeführte Forschung verdeutlicht die Bedeutung der zeitlichen Validität in KI-Systemen und ihr Potenzial zur Verbesserung der KI-Fähigkeiten. Obwohl ChatGPT in dieser Hinsicht möglicherweise noch nicht die gewünschten Ergebnisse erzielt hat, ebnen die Erkenntnisse den Weg für weitere Fortschritte in der KI-Forschung. Das Verständnis von zeitlichem Kontext wird entscheidend für die Entwicklung präziserer und kontextsensitiver KI-Anwendungen im Zuge der Weiterentwicklung von KI.
