Illusions d'optique induites par l'IA : Le billet de blog d'un chercheur provoque de la désinformation dans les moteurs de recherche

Les chatbots d'intelligence artificielle (IA), alimentés par des modèles d'IA générative, ont été involontairement induits en erreur par un billet de blog de recherche. Cet incident met en lumière la nécessité de renforcer les mesures de protection à mesure que les moteurs de recherche améliorés par l'IA deviennent plus courants.

Illusions dans les chatbots IA

Le chercheur en sciences de l'information Daniel S. Griffin a involontairement déclenché un dilemme unique dans le domaine des chatbots IA lorsqu'il a publié des exemples de fausses informations sur son blog. Son objectif était d'illustrer des cas de diffusion de désinformation par les chatbots IA. Griffin a présenté deux exemples liés au scientifique informatique influent Claude E. Shannon, avec une mention claire indiquant que les informations fournies par les chatbots étaient fausses.

Cependant, cette mention a révélé être insuffisante pour empêcher les robots d'indexation de référencer les fausses informations. Griffin a été surpris de découvrir que plusieurs chatbots, y compris Bing de Microsoft et Bard de Google, avaient fait référence à ces données hallucinées comme s'il s'agissait de faits, les classant en tête de leurs résultats de recherche. Lorsque les utilisateurs interrogeaient les chatbots sur des détails spécifiques concernant Shannon, les bots s'appuyaient sur la mention de Griffin pour construire un récit cohérent mais erroné. Cela a conduit à attribuer à Shannon un article qu'il n'avait jamais rédigé.

De plus, l'aspect préoccupant de cette situation était l'absence de toute indication dans les résultats de recherche de Bing et Bard que leurs sources provenaient de l'IA de modèle de langage (LLM). Ce phénomène ressemble étroitement aux cas où des individus paraphrasent ou citent des sources hors contexte, conduisant à des recherches erronées. Cependant, l'incident Griffin a démontré que les modèles d'IA générative pourraient potentiellement automatiser cette erreur à une échelle beaucoup plus grande.

Les conséquences de la désinformation par l'IA

Les ramifications de cet incident vont au-delà de simples inexactitudes de recherche. Microsoft a depuis corrigé l'erreur dans Bing et a suggéré que le problème est plus susceptible de se produire dans des sujets avec peu de contenu écrit par des humains en ligne. Cette vulnérabilité ouvre la porte à une possibilité troublante – un plan théorique pour que des acteurs malveillants utilisent intentionnellement les LLM comme armes pour propager de la désinformation en manipulant les résultats des moteurs de recherche. Cette tactique ressemble à des cas passés où des pirates ont utilisé des sites web frauduleux pour distribuer des logiciels malveillants en obtenant les premiers rangs des résultats de recherche.

Cet incident fait écho à un avertissement précédent de juin, qui postulait qu'à mesure que l'internet devient de plus en plus saturé de contenu généré par des LLM, il sera utilisé pour entraîner les futurs LLM. Cette boucle de rétroaction pourrait entraîner une détérioration significative de la qualité et de la fiabilité des modèles d'IA , un phénomène appelé « Effondrement du modèle » (Model Collapse). La nécessité d'une vigilance accrue dans le développement et l'utilisation des modèles d'IA n'a jamais été aussi évidente.

L'incident impliquant Daniel S. Griffin souligne l'impératif pour les entreprises travaillant avec l'IA de prioriser l'entraînement continu des modèles avec du contenu créé par des humains. Préserver les informations moins connues et le matériel rédigé par des groupes minoritaires peut jouer un rôle pivot dans l'atténuation de la prolifération de la désinformation perpétuée par les systèmes d'IA.