Apple a ignoré les avertissements des ingénieurs concernant une technologie IA défectueuse

Selon les rapports, Apple a ignoré les avertissements des ingénieurs concernant son Apple Intelligence défectueuse et a procédé à sa commercialisation, recueillant des critiques mitigées du marché.

L’Apple Intelligence du fabricant d’iPhone a fait les gros titres pour de mauvaises raisons et a suscité une large critique, notamment pour avoir inventé de fausses informations et raté des titres d’actualités.

Les ingénieurs ont découvert des défauts dans de nombreux modèles, y compris Apple Intelligence

S’il est courant que les grands modèles de langage (LLM) hallucinent, un défi que l’industrie de l’IA n’a pas encore résolu, voire jamais, le cas d’Apple était un peu différent. Les ingénieurs ont signalé des failles profondes du modèle avant sa sortie. Pourtant, l’entreprise a ignoré les avertissements.

Selon les analystes, procéder à la libération du modèle était imprudent de la part du géant technologique après que des avertissements aient été émis concernant les lacunes béantes de son IA. Les avertissements sont venus à travers une étude publiée en octobre de l'année dernière.

Bien qu’elle n’ait pas encore été soumise à l’évaluation par les pairs, l’étude a également conclu que les modèles ne raisonnent pas, après avoir testé le raisonnement mathématique de certains des meilleurs LLM de l’industrie de l’IA.

Pour tester les modèles, les ingénieurs leur ont fait résoudre des milliers de problèmes de mathématiques à partir du jeu de données largement utilisé GSM8K, qui est la référence de l'industrie.

Selon Futurism, une question typique de l’ensemble de données se lit comme suit : « James achète 5 paquets de bœuf de 4 livres chacun. Le prix du bœuf est de 5,50 $ la livre. Combien a-t-il payé ? »

Les ingénieurs ont mis en évidence les lacunes des modèles d’IA en modifiant simplement certains chiffres dans les questions pour éviter la contamination des données. Cela a provoqué de petites mais notables inexactitudes dans les 20 LLM examinés.

Cependant, lorsque les chercheurs ont poussé le test plus loin en changeant les noms et en ajoutant des « détails non pertinents », les résultats ont été « catastrophiques », atteignant jusqu’à 65 %.

Les chercheurs ont écrit : « Cela révèle une faille critique dans la capacité des modèles à discerner les informations pertinentes pour la résolution de problèmes, probablement parce que leur raisonnement n’est pas formel au sens commun et repose principalement sur la correspondance de motifs. »

Selon les chercheurs, les résultats variaient selon chaque modèle. Le 01-preview d’OpenAI a chuté de 17,5 %, et son prédécesseur GPT-4o a chuté de 32 %. Les chercheurs ont noté que même les modèles les plus « intelligents » ont rencontré des problèmes et présenté certaines failles sérieuses.

Les modèles d’IA peinent à fonctionner seuls 

Les tests ont également prouvé que les modèles d'IA peuvent sembler intelligents pour résoudre des problèmes, mais une fois qu'ils ne copient pas les devoirs de quelqu'un mot pour mot, ils peinent. En ce qui concerne Apple, le géant technologique aurait connu les résultats des tests mais a libéré son modèle sur le marché.

Il a fallu un sérieux backlash du marché, y compris la BBC soulevant des préoccupations concernant le modèle distribuant des informations trompeuses, pour qu'Apple finisse par suspendre le programme jusqu'à ce qu'il puisse le corriger.

La fonctionnalité IA d’Apple devait résumer les notifications d’actualités, mais elle fabriquait parfois des nouvelles elle-même, au grand mécontentement des lecteurs et des éditeurs de presse.

L’une des alertes d’actualités inexactes alléguait que Rafael Nadal était gay et qu’un homme accusé d’avoir tué un dirigeant d’une compagnie d’assurance américaine s’était tiré une balle. L’IA d’Apple a également résumé de manière inexacte les notifications de l’application BBC pour affirmer que Luke Littler avait remporté le Championnat du monde de fléchettes de la PDC des heures avant son début.

Un autre résumé incorrect d’un article du New York Times semble avoir été publié le 6 janvier, concernant le quatrième anniversaire des émeutes du Capitole.

« Les fonctionnalités Apple Intelligence sont en version bêta et nous apportons continuellement des améliorations grâce aux retours des utilisateurs », a déclaré Apple dans un communiqué à la BBC. « Une mise à jour logicielle dans les prochaines semaines clarifiera davantage quand le texte affiché est une synthèse fournie par Apple Intelligence. Nous encourageons les utilisateurs à signaler toute préoccupation s’ils voient un résumé de notification inattendu », a ajouté le communiqué .

La fonctionnalité défectueuse d’Apple faisait partie des outils IA mis à disposition des utilisateurs de certains iPhone plus récents en décembre, notamment les iPhone 16, 15 Pro et 15 Pro Max, ainsi que sur certains iPad et Mac.