Apple ignorierte die Warnungen der Ingenieure vor fehlerhafter KI-Technologie

Berichten zufolge ignorierte Apple die Warnungen der Ingenieure vor der fehlerhaften Apple Intelligence-Technologie und brachte sie trotzdem auf den Markt, was zu eher enttäuschenden Marktreaktionen führte.

Die Apple Intelligence-Abteilung des iPhone-Herstellers sorgte aus den falschen Gründen für Schlagzeilen und erntete breite Kritik, insbesondere wegen der Verbreitung von Falschinformationen und der Verfälschung von Schlagzeilen.

Ingenieure entdeckten Fehler in vielen Modellen, darunter auch Apple Intelligence

Während es bei großen Sprachmodellen häufig vorkommt, dass sie Fehlinterpretationen vornehmen – eine Herausforderung, die die KI-Branche bisher, wenn überhaupt, nicht lösen konnte –, lag Apples Fall etwas anders. Ingenieure hatten bereits vor der Veröffentlichung des Modells gravierende Mängel festgestellt. Dennoch ignorierte das Unternehmen die Warnungen.

Analysten zufolge war die Veröffentlichung des Modells durch den Technologiekonzern leichtsinnig, nachdem bereits vor den eklatanten Mängeln seiner KI gewarnt worden war defiDie Warnungen erfolgten in einer Studie im Oktober letzten Jahres veröffentlichten

Obwohl die Studie noch nicht von Fachkollegen begutachtet wurde, kam sie auch zu dem Schluss, dass die Modelle nicht logisch denken, nachdem sie dasmatic„Denken“ einiger der besten LLMs in der KI-Branche getestet hatte.

Um die Modelle zu testen, ließen die Ingenieure sie Tausende von mathematischen Problemen aus dem weit verbreiteten GSM8K-Datensatz, der als Branchenstandard gilt.

Laut Futurism lautet eine typische Frage aus dem Datensatz: „James kauft 5 Packungen Rindfleisch à 4 Pfund. Der Preis für Rindfleisch beträgt 5,50 Dollar pro Pfund. Wie viel hat er bezahlt?“

Die Ingenieure deckten die Lücken in den KI-Modellen auf, indem sie lediglich einige Zahlen in den Fragen änderten, um Datenverfälschungen zu vermeiden. Dies führte zu einigen kleinen, aber bemerkenswerten Ungenauigkeiten in den 20 untersuchten LLM-Studiengängen.

Als die Forscher jedoch noch einen Schritt weiter gingen, indem sie Namen änderten und einige „irrelevante Details“ hinzufügten, waren die Ergebnisse „katastrophal“ und erreichten bis zu 65 %.

Die Forscher schrieben: „Dies offenbart einen entscheidenden Mangel in der Fähigkeit der Modelle, relevante Informationen für die Problemlösung zu erkennen, wahrscheinlich weil ihre Argumentation nicht formal im üblichen Sinne ist und hauptsächlich auf Mustererkennung basiert.“

Den Forschern zufolge variierten die Ergebnisse je nach Modell. OpenAIs 01-Preview sank um 17,5 %, sein Vorgänger GPT-40 sogar um 32 %. Die Forscher stellten fest, dass selbst die intelligentesten Modelle Probleme hatten und einige gravierende Mängel aufwiesen.

KI-Modelle haben allein Schwierigkeiten 

Die Tests zeigten auch, dass KI-Modelle zwar beim Lösen von Problemen intelligent erscheinen mögen, aber Schwierigkeiten haben, sobald sie nicht mehr wortwörtlich Hausaufgaben kopieren. Berichten zufolge Appledie Testergebnisse, brachte sein Modell aber dennoch auf den Markt.

Erst nach heftiger Kritik aus dem Markt, unter anderem von der BBC, die Bedenken hinsichtlich der Verbreitung irreführender Informationen durch das Modell äußerte, setzte Apple das Programm schließlich aus, bis es die Fehler beheben konnte.

Apples KI-Funktion sollte eigentlich Nachrichtenbenachrichtigungen zusammenfassen, doch manchmal erfand sie selbst Nachrichten, sehr zum Missfallen von Lesern und Nachrichtenverlagen.

Eine der fehlerhaften Meldungen behauptete, Rafael Nadal sei homosexuell und ein Mann, der beschuldigt wurde, einen US-amerikanischen Versicherungsboss getötet zu haben, habe sich selbst erschossen. Apples KI fasste außerdem Benachrichtigungen der BBC-App falsch zusammen und behauptete Stunden vor Beginn der PDC-Darts-Weltmeisterschaft, Luke Littler habe sie gewonnen.

Eine weitere fehlerhafte Zusammenfassung eines Artikels der New York Times wurde offenbar am 6. Januar veröffentlicht; sie bezieht sich auf den vierten Jahrestag der Unruhen auf dem Capitol Hill.

„Die Apple Intelligence-Funktionen befinden sich in der Beta-Phase und wir arbeiten kontinuierlich an Verbesserungen mithilfe von Nutzerfeedback“, erklärte Apple gegenüber der BBC. „Ein Software-Update in den kommenden Wochen wird genauer verdeutlichen, wann der angezeigte Text eine von Apple Intelligence bereitgestellte Zusammenfassung ist. Wir bitten Nutzer, uns zu informieren, falls sie eine unerwartete Benachrichtigungszusammenfassung sehen“, hieß es weiter.

Bei Apples fehlerhafter Funktion handelte es sich um eines der KI-Tools, die im Dezember für Nutzer einiger neuerer iPhones, darunter die Modelle iPhone 16, 15 Pro und 15 Pro Max, sowie für einige iPads und Macs veröffentlicht wurden.