Apple a ignoré les avertissements des ingénieurs concernant les technologies d'IA défectueuses

Apple aurait ignoré les avertissements des ingénieurs concernant les défauts de sa technologie Apple Intelligence et aurait continué à la commercialiser, obtenant ainsi des critiques mitigées de la part du marché.

Apple Intelligence, le service de renseignement du fabricant d'iPhone, a fait les gros titres pour de mauvaises raisons et a suscité de nombreuses critiques, notamment pour avoir inventé de fausses informations et mal rédigé les titres des journaux.

Les ingénieurs ont découvert des défauts dans de nombreux modèles, y compris Apple Intelligence

Bien que les hallucinations soient fréquentes chez les grands modèles de langage (un problème que l'industrie de l'IA n'a pas encore résolu, voire qu'elle ne le résoudra jamais), le cas d'Apple était quelque peu différent. Des ingénieurs avaient relevé de graves failles dans le modèle avant sa publication. Pourtant, l'entreprise a ignoré ces avertissements.

D'après les analystes, la publication de ce modèle était une imprudence de la part du géant technologique, compte tenu des avertissements concernant les graves defi. Ces avertissements provenaient d'une étude publiée en octobre dernier.

Bien qu'elle n'ait pas encore fait l'objet d'une évaluation par les pairs, l'étude a également conclu que les modèles ne raisonnent pas, après avoir testé le « raisonnement »maticde certains des meilleurs LLM du secteur de l'IA.

Pour tester les modèles, les ingénieurs leur ont fait résoudre des milliers de problèmes mathématiques tirés de l' ensemble de données GSM8K, largement utilisé et qui constitue la référence du secteur.

Selon Futurism, une question typique tirée de l'ensemble de données est la suivante : « James achète 5 paquets de bœuf de 4 livres chacun. Le prix du bœuf est de 5,50 $ la livre. Combien a-t-il payé ? »

Les ingénieurs ont mis en évidence les failles des modèles d'IA en modifiant simplement quelques valeurs numériques dans les questions afin d'éviter la contamination des données. Cela a entraîné de petites, mais notables, inexactitudes dans les 20 masters en droit examinés.

Cependant, lorsque les chercheurs sont allés plus loin en changeant les noms et en ajoutant quelques « détails non pertinents », les résultats ont été « catastrophiques », atteignant jusqu'à 65 %.

Les chercheurs ont écrit : « Ceci révèle une faille critique dans la capacité des modèles à discerner les informations pertinentes pour la résolution de problèmes, probablement parce que leur raisonnement n'est pas formel au sens courant du terme et repose principalement sur la reconnaissance de formes. »

D'après les chercheurs, les résultats variaient selon les modèles. Le modèle OpenAI 01-preview a enregistré une baisse de 17,5 %, et son prédécesseur, GPT-40, une baisse de 32 %. Les chercheurs ont constaté que même les modèles les plus performants présentaient des problèmes et des failles importantes.

Les modèles d'IA peinent à se débrouiller seuls 

Les tests ont également prouvé que les modèles d'IA peuvent sembler performants pour résoudre des problèmes, mais qu'ils rencontrent des difficultés dès qu'ils ne reproduisent pas mot pour mot un devoir. Quant à Apple, le géant technologique aurait eu connaissance des résultats des tests, mais a malgré tout commercialisé son modèle.

Il a fallu de vives réactions du marché, notamment de la part de la BBC qui s'inquiétait de la diffusion d'informations trompeuses par le modèle, pour qu'Apple suspende finalement le programme jusqu'à ce qu'il puisse le corriger.

La fonctionnalité d'IA d'Apple était censée résumer les notifications d'actualités, mais elle fabriquait parfois de toutes pièces des informations, au grand dam des lecteurs et des éditeurs de presse.

L'une des alertes erronées affirmait que Rafael Nadal était homosexuel et qu'un homme accusé du meurtre d'un entrepreneur américain dans le secteur des assurances s'était suicidé. L'IA d'Apple a également résumé de manière inexacte les notifications de l'application BBC, annonçant la victoire de Luke Littler au championnat du monde de fléchettes PDC plusieurs heures avant le début de la compétition.

Un autre résumé erroné d'un article du New York Times semble avoir été publié le 6 janvier, à l'occasion du quatrième anniversaire des émeutes de Capitol Hill.

« Les fonctionnalités d’Apple Intelligence sont en version bêta et nous les améliorons constamment grâce aux commentaires des utilisateurs », a déclaré Apple à la BBC. « Une mise à jour logicielle dans les prochaines semaines précisera quand le texte affiché est un résumé fourni par Apple Intelligence. Nous encourageons les utilisateurs à signaler tout problème s’ils voient un résumé de notification inattendu », ajoute.

La fonctionnalité défectueuse d'Apple était l'un des outils d'IA mis à la disposition des utilisateurs de certains iPhone récents en décembre, notamment les iPhone 16, 15 Pro et 15 Pro Max, ainsi que sur certains iPad et Mac.