L'étude de Stanford signale 97 % d'erreurs des détecteurs de GPT pour le texte généré par l'IA

Des chercheurs de l'Université de Stanford ont mené une étude éclairant la fiabilité et les limites des détecteurs de GPT, les outils conçus pour différencier le texte écrit par des humains de celui généré par l'IA. Un détecteur en particulier a signalé qu'une écrasante 97,8 % des dissertations TOEFL étaient générées par l'IA, attribuant cette mauvaise classification à une « perplexité du texte » plus faible dans l'écriture anglaise non native.

Les détecteurs avaient tendance à percevoir moins de variabilité et de richesse dans le vocabulaire et la grammaire, conduisant à l'hypothèse erronée que le texte avait été généré par l'IA. Ce biais à l'encontre des locuteurs non natifs de l'anglais pourrait avoir des effets néfastes sur divers domaines, y compris les processus de sélection des emplois et les examens académiques.

Les implications de ces biais et vulnérabilités soulèvent des inquiétudes quant aux impacts négatifs potentiels sur les locuteurs non natifs de l'anglais dans divers contextes, tels que l'embauche et les examens scolaires. Les résultats indiquent que ces détecteurs classent fréquemment à tort l'écriture des locuteurs non natifs de l'anglais et peuvent être facilement trompés par le langage littéraire.

L'expérience de l'étude sur la mauvaise classification

Dans leur enquête, les chercheurs de Stanford ont évalué les performances de sept détecteurs de GPT prêts à l'emploi, y compris le détecteur d'OpenAI et GPTZero. Ils ont analysé 91 dissertations écrites par des personnes chinoises passant l'examen TOEFL (Test of English as a Foreign Language) et 88 dissertations rédigées par des élèves américains de huitième année. Les détecteurs ont présenté un écart significatif de précision, classant à tort les dissertations TOEFL écrites par des humains comme générées par l'IA 61 % du temps. En comparaison, seulement 5,1 % des dissertations des étudiants américains ont été faussement classées comme générées par l'IA.

Biais contre les locuteurs non natifs de l'anglais

Un détecteur en particulier a signalé qu'une écrasante 97,8 % des dissertations TOEFL étaient générées par l'IA, attribuant cette mauvaise classification à une « perplexité du texte » plus faible dans l'écriture anglaise non native. Les détecteurs avaient tendance à percevoir moins de variabilité et de richesse dans le vocabulaire et la grammaire, conduisant à l'hypothèse erronée que le texte avait été généré par l'IA. Ce biais à l'encontre des locuteurs non natifs de l'anglais pourrait avoir des effets néfastes sur divers domaines, y compris les processus de sélection des emplois et les examens académiques.

Tromper les détecteurs de GPT avec un langage littéraire

Les chercheurs ont également examiné la capacité des détecteurs de GPT à identifier le texte généré par l'IA. Ils ont utilisé ChatGPT pour générer des réponses aux sujets de rédaction des admissions universitaires américaines et ont constaté qu'en moyenne, les détecteurs ont réussi à détecter les dissertations générées par l'IA 70 % du temps. Cependant, lorsque ChatGPT a été invité à améliorer les dissertations en utilisant un langage littéraire, les détecteurs ont été trompés et n'ont pu identifier correctement le texte généré par l'IA que 3,3 % du temps. Des résultats similaires ont été observés lorsque ChatGPT a produit des résumés scientifiques.

Implications et questions soulevées

L'étude de Stanford soulève des inquiétudes quant à l'efficacité des détecteurs de GPT, compte tenu de leur susceptibilité à être trompés et de leur tendance à classer à tort le texte écrit par des humains. Cela remet en question la fiabilité et l'utilité de ces détecteurs. Les chercheurs soulignent la nécessité de recherches supplémentaires et plaident pour la participation de toutes les parties prenantes affectées par les modèles d'IA générative, tels que ChatGPT, dans les discussions concernant leur utilisation appropriée.

Pour renforcer les détecteurs, les chercheurs proposent de comparer plusieurs écrits sur le même sujet, englobant les réponses humaines et celles de l'IA, et de les regrouper pour analyse. Cette approche pourrait potentiellement conduire à un mécanisme de détection plus robuste et équitable. Les détecteurs conçus pour identifier les phrases et structures surutilisées pourraient promouvoir la créativité et l'originalité dans l'écriture.

Alors que le développement des modèles d'IA générative et des logiciels de détection se poursuit, l'étude de Stanford met en lumière les biais et les vulnérabilités présents dans les détecteurs de GPT. Leur propension à classer à tort l'écriture anglaise non native et à être trompés par le langage littéraire appelle à la prudence dans leur utilisation, en particulier dans les contextes d'évaluation ou éducatifs. Les chercheurs insistent sur l'importance de recherches continues et de discussions inclusives impliquant toutes les parties prenantes pour garantir une application responsable et équitable des modèles d'IA générative.