Googles Gemini-KI-Modell steht nach beeindruckendem Demo unter der Lupe

In einer jüngsten Enthüllung ist die Vorstellung von Googles Gemini-Künstlicher-Intelligenz-Modell (KI) unter die Lupe genommen worden, was Fragen zu den tatsächlichen Fähigkeiten der Technologie und ihrer Wettbewerbsposition gegenüber OpenAIs ChatGPT aufwirft.

Während Googles erste Demonstration von Gemini beeindruckend wirkte, hat sich nun herausgestellt, dass die Präsentation sorgfältig kuratiert war und keine genaue Darstellung der Echtzeit-Interaktionen mit dem KI-System darstellte. Diese Entwicklung hat Zweifel an den Fähigkeiten von Gemini geschürt und deutet darauf hin, dass Google im KI-Wettlauf noch einige Hürden zu nehmen hat.

Ein genauerer Blick auf das Demo

Googles Gemini-KI-Modell erregte mit einem auffälligen Demo Aufmerksamkeit, doch eine genauere Untersuchung hat ergeben, dass die Präsentation keine echte Darstellung seiner Fähigkeiten war. Laut Bloomberg nahm Google mehrere Änderungen an den Interaktionen mit Gemini vor, um das Demo zu erstellen, was Bedenken hinsichtlich der Genauigkeit seiner Behauptungen aufkommen lässt.

Eine bemerkenswerte Änderung war die Reduzierung der Latenz für die Demonstration. Dies impliziert, dass die tatsächlichen Antwortzeiten der KI erheblich langsamer sein könnten als im Video dargestellt. Darüber hinaus wurde die Ausgabe von Gemini aus Gründen der Kürze verkürzt, was bedeutet, dass die im Demo gezeigten Antworten nicht die typischen Antworten der KI in realen Szenarien widerspiegeln.

Vielleicht die bedeutendste Offenbarung ist, dass das Demo nicht in Echtzeit oder im Sprachformat durchgeführt wurde. Stattdessen wurde es aus Standbildern aus dem Filmmaterial und über Text bereitgestellten Prompts zusammengesetzt. Das bedeutet, dass Gemini im Wesentlichen Inhalte in statischen Bildern identifiziert hat, anstatt sich, wie Googles Präsentation nahelegte, an einer dynamischen Echtzeit-Konversation zu beteiligen. Die Diskrepanz zwischen Demo und Realität hat viele dazu veranlasst, die Genauigkeit von Geminis Fähigkeiten in Frage zu stellen.

Vergleich von Gemini mit OpenAI’s ChatGPT

Googles Demo behauptete auch, dass Gemini in fast jedem Benchmark-Test das GPT-4-Modell von OpenAI übertrifft. Eine detailliertere Prüfung der Zahlen offenbart jedoch einen weniger substantiellen Vorsprung für Gemini. Obwohl GPT-4 seit fast einem Jahr verfügbar ist, konnte Gemini in vielen Benchmarks nur um wenige Prozentpunkte davorliegen. Dies deutet darauf hin, dass Gemini OpenAI’s Produkt möglicherweise erst kürzlich aufgeholt hat, und wirft die Möglichkeit auf, dass sich die Landschaft verschieben könnte, sobald GPT-5 eingeführt wird.

Nutzer von Gemini Pro, der Version, die Google Bard antreibt, haben ihre Unzufriedenheit mit dem KI-Modul zum Ausdruck gebracht. Berichte auf X (ehemals Twitter) deuten darauf hin, dass Gemini anfällig für häufige „Halluzinationen“ ist, die auch andere Chatbots erleben. Als Beispiel produzierte Gemini, als es aufgefordert wurde, ein sechsbuchstabiges Wort auf Französisch anzugeben, selbstbewusst ein fünfbuchstabiges Wort, was seine Grenzen bei nicht-englischen Sprachen aufzeigt.

Nutzer haben auch Frustration erlebt, als sie von Gemini die Generierung genauen Codes und die Zusammenfassung sensibler Nachrichtenthemen anforderten. Selbst relativ einfache Aufgaben, wie die Benennung der jüngsten Oscar-Preisträger, führten zu falschen Antworten. Diese Nutzererfahrungen deuten darauf hin, dass Gemini vorerst den hohen Erwartungen, die Googles glattes Demo geweckt hat, möglicherweise nicht gerecht wird.