Les détecteurs d’IA cessent de fonctionner : étude de cas de la Constitution américaine

L’intelligence artificielle (IA) a envahi la vie moderne, en particulier dans la génération de contenu écrit. Bien que cela soit amusant, l’inexactitude des détecteurs de contenu IA est alarmante. Pire encore, Les détecteurs d’IA marquent le contenu écrit par des humains comme généré par GPT ; Étude de cas : la Constitution des États-Unis.

À lire aussi :Paul Graham de Y Combinator critiqué pour avoir affirmé que les textes contenant « Delve » sont écrits par une IA

La Constitution des États-Unis a été rédigée en 1787, ratifiée en 1788, et est en vigueur depuis 1789. Il s’agit de la charte gouvernementale écrite la plus ancienne au monde. La Constitution existait depuis un siècle avant l’invention de la première voiture. Pourtant, un détecteur d’IA l’a marquée comme étant générée à 97,97 % par une IA.

Les détecteurs d’IA qualifient la Constitution américaine de non humaine

L’année 2023 a vu une augmentation du contenu écrit par intelligence artificielle. Peu après, les développeurs du marché ont saisi l’opportunité de créer des détecteurs indiquant les pourcentages de contenu généré par l’IA. Cela aurait dû constituer une avancée positive, mais ce n’est pas le cas.

Un détecteur d’IA a identifié la Constitution des États-Unis comme du contenu généré par l’IA. Le pourcentage ? Un total de 97,97 %. Le terme « intelligence artificielle » a été inventé et est devenu populaire lors de la naissance de l’IA, entre 1950 et 1956. Alors, comment une IA aurait-elle pu écrire un document 163 ans plus ancien que son invention ?

En 1950, Alan Turing a publié un article de journal intitulé « Computer Machinery and Intelligence », proposant un test d’intelligence machine appelé The Imitation Game. Cet article a marqué le début du monde dans lequel nous vivons aujourd’hui.

En 1952, un informaticien nommé Arthur Samuel a développé un programme pour jouer aux dames, le premier à apprendre le jeu de manière autonome. Peu après, en 1955, John McCarthy a organisé un atelier à Dartmouth sur l’« intelligence artificielle », qui fut la première utilisation du terme.

Les détecteurs d’IA ont des limites

Les détecteurs d'IA ont des limites parce que le texte généré par l'IA imite l'écriture humaine. Ces détecteurs ont été entraînés par les mêmes humains qui ont appris aux machines à écrire. Alors, comment fonctionnent leurs détecteurs d'IA, et quelle est leur précision ? Un autre détecteur d'IA a indiqué 1 % de contenu IA dans la Constitution des États-Unis. D'où venait ce 1 % ?

Voici la disparité : Certains détecteurs d’IA recherchent certains mots comme « delve, tapestry, utilize, numerous, etc. » qui sont généralement utilisés par l’IA mais sont peu courants chez les Américains. 

Cependant, pour certaines personnes originaires de pays ayant un passé colonial britannique, ces mots sont couramment utilisés dans le langage parlé et écrit.

Le mois dernier, Paul Graham, cofondateur de Y Combinator, a été vivement critiqué après avoir émis une théorie sur l’attribution de textes via ChatGPT sur X (anciennement Twitter). Graham a publié une proposition de courriel froid qu’il avait reçue pour un projet, qu’il a conclu être une écriture IA car elle contenait le mot « delve ».

Un utilisateur X a déclaré, « Les personnes qui ont appris l’anglais dans les pays ayant un passé colonial britannique – c’est exactement comme ça que nous avons appris l’anglais […] “Delve” est un mot courant que nous utilisons. Un autre a affirmé qu’il s’agit d’un problème américain.

Certains pays et certaines personnes utilisent encore ce que je décrirais comme un « anglais littéraire ».

Le malheureux, c’est que le vocabulaire américain est principalement basé sur des colloquialismes (ce qu’on appelle l’argot) et des idiomes contemporains américains, au point que l’utilisation sophistiquée de…

— Africa Research Desk (@MightiJamie) 10 2024 avril

Cela soulève la question : les détecteurs d’IA et les générateurs de contenu devraient-ils être spécifiques à l’anglais régional ? Ou devrait-on abandonner tous ces outils d’écriture et ces détecteurs ?

Les détecteurs d’IA sont inexacts

Les détecteurs d’IA s’appuient sur des caractéristiques linguistiques incohérentes. Le langage humain est intrinsèquement variable, avec une grande variété de styles, de dialectes et d’idiomes. Le texte généré par l’IA peut tomber dans ces variations, ce qui rend difficile pour les détecteurs d’être précis.

Environ 20 % des textes générés par l’IA passent à travers ces systèmes de détection sans être détectés, ce qui compromet la fiabilité des détecteurs d’IA. De même, environ 25 % du texte écrit par des humains est faussement signalé comme étant généré par une IA.

Un utilisateur sur Quora a écrit, “Le détecteur d’IA identifie mon travail comme étant généré à 100 % par une IA. Parce que j’ai utilisé, par ignorance, cet outil comme correcteur grammatical et d’édition sur la demande d’un conseiller académique. Les mots, les concepts et l’expérience de vie contenus dans la pièce déjà publiée sont les miens. Que dois-je faire ?”

Beaucoup ont exprimé leur frustration face à ce problème. Récemment, dans un article de presse publié par Cryptopolitan, un générateur d’IA a signalé des mots prononcés par Donald Trump. Il a déclaré : « Je suis très positif et ouvert d’esprit envers les entreprises de cryptomonnaies et tout ce qui est lié à cette nouvelle industrie en pleine expansion. » ⁤Comment l’IA est-elle ajoutée aux paroles prononcées ? Est-ce dans l’esprit d’une personne ? Dans les pensées exprimées ?

D’autres contenus provenaient de David Bailey : “⁤Nous nous mobiliserons pour nous défendre. ⁤⁤Nous ne votons pas pour Trump en soi, nous votons contre Biden. ⁤⁤La seule personne à blâmer pour cela est Biden. “

À lire également : La campagne crypto de Trump – Tout ce que vous devez savoir

En 2023, OpenAI a publié des conseils à l’intention des éducateurs dans un article de blog promotionnel montrant comment certains enseignants utilisent ChatGPT comme aide pédagogique.  

Dans une section de la FAQ intitulée « Les détecteurs d’IA fonctionnent-ils ? », OpenAI a écrit, « En bref, non. Bien que certains (y compris OpenAI) aient publié des outils prétendant détecter le contenu généré par l’IA, aucun de ces outils n’a prouvé qu’il pouvait distinguer de manière fiable le contenu généré par l’IA du contenu généré par des humains. » Le problème de la distinction entre le contenu humain et le contenu IA persiste. La question est : que faut-il faire pour l’avenir ?

Reporting de Cryptopolitan par Florence Muchai