Apple ignorierte Warnungen der Ingenieure bezüglich fehlerhafter KI-Technologie

Apple ignorierte angeblich die Warnungen der Ingenieure bezüglich seiner fehlerhaften Apple Intelligence und veröffentlichte die Technologie, was zu enttäuschenden Marktbewertungen führte.

Die Apple Intelligence des iPhone-Herstellers machte aus den falschen Gründen Schlagzeilen und erntete weitverbreitete Kritik, insbesondere für das Erfinden falscher Informationen und das Verballhornen von Nachrichtenüberschriften.

Ingenieure entdeckten Fehler in vielen Modellen, einschließlich Apple Intelligence

Zwar ist es bei großen Sprachmodellen üblich, dass sie Halluzinationen produzieren – eine Herausforderung, die die KI-Branche bisher noch nicht gelöst hat, wenn überhaupt –, doch Apples Fall war etwas anders. Ingenieure stießen bereits vor der Veröffentlichung auf schwerwiegende Mängel im Modell. Das Unternehmen ignorierte die Warnungen jedoch.

Analysten zufolge war es fahrlässig des Tech-Riesen, das Modell freizugeben, nachdem Warnungen über die klaffenden Mängel seiner KI geäußert wurden. Die Warnungen kamen durch eine Studie, die im Oktober letzten Jahres veröffentlicht wurde.

Obwohl die Studie noch nicht peer-reviewed ist, kam sie zu dem Schluss, dass die Modelle nicht logisch schlussfolgern können, nachdem die mathematische „Argumentationsfähigkeit“ einiger der führenden LLMs der KI-Branche getestet wurde.

Um die Modelle zu testen, ließen die Ingenieure sie Tausende von Mathematikproblemen aus dem weit verbreiteten GSM8K-Datensatz lösen, der der Branchenstandard ist.

Laut Futurism lautet eine typische Frage aus dem Datensatz: „James kauft 5 Packungen Rindfleisch, die jeweils 4 Pfund wiegen. Der Preis für Rindfleisch beträgt 5,50 US-Dollar pro Pfund. Wie viel hat er bezahlt?“

Die Ingenieure legten die Lücken in den KI-Modellen offen, indem sie einfach einige Zahlen in den Fragen änderten, um Datenkontamination zu vermeiden. Dies führte bei den 20 untersuchten LLMs zu kleinen, aber bemerkenswerten Ungenauigkeiten.

Als die Forscher jedoch einen Schritt weiter gingen und Namen änderten sowie einige „irrelevante Details“ hinzufügten, waren die Ergebnisse „katastrophal“ und beliefen sich auf bis zu 65 %.

Die Forscher schrieben: „Dies offenbart einen kritischen Mangel in der Fähigkeit der Modelle, relevante Informationen für die Problemlösung zu erkennen, wahrscheinlich, weil ihre Schlussfolgerungen nicht im allgemeinen Sinne formal sind und größtenteils auf Mustererkennung basieren.“

Laut den Forschern variierten die Ergebnisse je nach Modell. OpenAIs 01-preview sank um 17,5 %, und sein Vorgänger GPT-4o sank um 32 %. Die Forscher stellten fest, dass selbst die „cleversten“ Modelle Probleme aufwiesen und schwerwiegende Mängel zeigten.

KI-Modelle kämpfen mit eigenständigen Aufgaben 

Die Tests zeigten auch, dass KI-Modelle beim Lösen von Problemen intelligent erscheinen können, aber sobald sie nicht wörtlich die Hausaufgaben anderer kopieren, haben sie Schwierigkeiten. Was Apple betrifft, so wusste der Tech-Riese angeblich von den Testergebnissen, veröffentlichte sein Modell jedoch trotzdem auf dem Markt.

Es dauerte ernsthafte Rückmeldungen vom Markt, einschließlich der BBC, die Bedenken regarding des Moduls äußerte, irreführende Informationen zu verbreiten, und Nachrichtenüberschriften verballhornte, damit Apple schließlich das Programm pausierte, bis es es beheben konnte.

Apples KI-Funktion sollte Nachrichtenbenachrichtigungen zusammenfassen, erfand jedoch manchmal eigenständig Nachrichten, was bei Lesern und Nachrichtenverlagen auf Unmut stieß.

Eine der ungenauen Nachrichtenbenachrichtigungen behauptete fälschlicherweise, Rafael Nadal sei schwul, und ein Mann, der beschuldigt wird, einen US-Versicherungschef getötet zu haben, habe sich selbst erschossen. Apples KI fasste auch Benachrichtigungen der BBC-App ungenau zusammen und behauptete, Luke Littler habe die PDC World Darts Championship gewonnen, Stunden bevor sie begann.

Eine weitere falsche Zusammenfassung eines New York Times-Artikels wurde am 6. Januar veröffentlicht und bezog sich auf den vierten Jahrestag der Stürme auf den Kapitolshügel.

„Apple Intelligence-Funktionen sind in der Beta-Phase und wir machen kontinuierlich Verbesserungen mit Hilfe von Benutzerfeedback“, sagte Apple in einer Erklärung an die BBC. „Ein Software-Update in den kommenden Wochen wird weiter klären, wann der angezeigte Text eine Zusammenfassung ist, die von Apple Intelligence bereitgestellt wird. Wir ermutigen Benutzer, ein Anliegen zu melden, wenn sie eine unerwartete Benachrichtigungszusammenfassung sehen“, fügte die Erklärung hinzu.

Apples fehlerhafte Funktion war eines der KI-Tools, die im Dezember an Nutzer einiger neuerer iPhones, darunter die iPhone 16, 15 Pro und 15 Pro Max, sowie auf einigen iPads und Macs, veröffentlicht wurden.