La montée inquiétante du contenu IA dans les recherches

Lorsque Google a indexé les résultats de mauvaise qualité de l'infrastructure en tant que code produits par Pulumi AI, un développeur d'IA qui utilise un chatbot pour créer des modèles, nous avons vu ces entités artificielles apparaître en tête des résultats Google.

L'essor du contenu IA

Cette saga de « Pullumi » vise à « rédiger les résultats d'une saisie rapide de leurs utilisateurs qui seront affichés sur leur sous-site AI Answers ». Les réponses du robot sont indexées par les robots de classement de Google principalement parce que les réponses de l'IA sont souvent inappropriées.

Arian van Putten a cité des développeurs en disant : « C’est arrivé », dans une publication sur les réseaux sociaux ce week-end. Le premier résultat de recherche Google devrait être le manuel officiel de Pulumi, rempli de contenu LLM, accompagné d’une notification indiquant que le contenu généré par LLM simulera une fonctionnalité AWS qui n’existe pas.

Comme l'a souligné le Registre en 2022, la présence de contenus générés par l'IA soulève des interrogations quant à leur qualité. Ces contenus sont indexés plus rapidement par les moteurs de recherche et apparaissent en tête des résultats. 

Les réponses en ligne, qui soutiennent les fonctionnalités et le contenu de Pulumi AI et de son référentiel AI Answers, constituent un autre type de données illustrant la conception. L'infrastructure en tant que code, rendue possible par des outils tels que Pulumi, génère le résultat de l'IA. Le robot d'exploration de Google l'indexe et le présente aux utilisateurs, accompagné de liens vers le contenu du site web rédigé par des humains. Ces documents et fragments de code, produits par un système d'IA, ont permis à d'autres développeurs de constater que de nombreux systèmes avaient produit des résultats inexacts, voire non fonctionnels.

préoccupations liées au classement dans les moteurs de recherche

Le problème est survenu le 21 mars 2024. Pete Nykänen l'a découvert et signalé sur le forum GitHub dédié à Pulumi AI. « Récemment, j'effectuais des recherches sur Google avec des mots-clés liés à l'infrastructure. J'ai alors constaté une tendance inquiétante : les réponses de Pulumi AI apparaissent en première position sur la page de résultats, même si la question n'a jamais été posée. Ce phénomène se produit même avec plusieurs requêtes, et je suis certain que le problème va s'aggraver. » Nicky a indiqué au Register par courriel avoir commencé à remarquer des problèmes de recherche avec Pulumi AI.

Le PDG a fait remarquer : « Nous, les ingénieurs, passons beaucoup de temps à chercher des réponses en ligne, et je n'ai pas pu manquer de remarquer l'IA en tête des résultats de recherche la nuit pour des mots clés qui n'avaient aucun lien ni avec Pulumi ni avec l'IA elle-même. » 

Nykänen a affirmé que l'IA occupe actuellement les premières places dans les résultats de recherche. Avec la multiplication des entreprises développant des programmes de génération de contenu, l'implication de spécialistes de l'IA dans le travail concret devient cruciale et pourrait nuire à la fiabilité du Web. 

Un autre rôle joué par l'IA dans la documentation était que, bien que les réponses de l'IA couvrent plus de la moitié (près des deux tiers) des sujets concernant l'utilisation des services, Aaron Friel, un ingénieur en IA chez Pulumi, a suggéré que les nouvelles réponses de l'IA seraient supprimées. 

Contrôle de la qualité

Friel a mentionné que les pages API constituent une autre initiative où Pulumi présente des cas concrets ou des documents relatifs à l'amont. Google ignore encore qu'après un mois, ils ont testé le code généré et l'ont ajouté à leur liste de tâches. Lundi, The Register a utilisé l'expression-clé « Aws light sail x-ray » pour sa recherche, et Pulumi AI a obtenu un résultat proche du deuxième. Le mardi suivant, en saisissant les mêmes mots-clés dans le moteur de recherche, nous avons été surpris : Pulumi AI s'est classé premier, devant même la documentation officielle d'AWS.

Ils ont interrogé Google sur son opinion concernant la situation actuelle, et un représentant de Google a déclaré que « l'entreprise s'efforce toujours d'afficher les informations de la plus haute qualité, mais que sur certains sujets précis dans la liste de requêtes, il se peut qu'aucun contenu de haute qualité ne soit disponible sur le Web pour se classer en première position. »

Le géant de la recherche a par ailleurs affirmé que sa politique repose sur le fait que « le contenu de faible qualité produit en masse dans le seul but de polluer les résultats de recherche est considéré comme du spam » et que la technologie récemment améliorée cible 45 % de ce contenu non original/totalement inutile sur les moteurs de recherche.

Le moteur de recherche Bing de Microsoft a trouvé une page Wikipédia en arrière-plan pour cette même requête. Bien que le contenu généré par l'IA de Bing ne présente aucun problème, les résultats affichés contenaient un bouton de chat qui apparaissait si l'utilisateur cliquait dessus. Brave Against, quant à lui, n'avait pas inclus la réponse de l'IA Pulumi. 

Selon DuckDuckGo, Pulumi AI apparaissait en quatrième position sur leur page de résultats de recherche (SERP) pour la requête « Que contiennent les produits d'intelligence artificielle ? ». Duffy a déclaré que la qualité du code de Pulumi avait été testée et améliorée au fil du temps. L'entreprise a constaté une augmentation à deux chiffres du taux de réussite des exemples de code chaque trimestre.