Depuis le lancement d'outils d'IA comme ChatGPT, le terme « IA » est devenu un mot à la mode dans des secteurs aussi variés que l'éducation et la création de contenu. Les auteurs et lesdentdoivent désormais relever un nouveau défi : défendre leur travail, qu'il soit généré par l'IA ou par des humains.
D'après les statistiques de Stastia de l'année dernière, le terme « IA » a été recherché plus de 30,4 millions de fois en juillet 2023, soit trois fois plus que le mois précédent. Face popularité croissante de l'IA, les enseignants et les correcteurs ont dû trouver d'autres moyens de déterminer si un texte qui leur était présenté était généré par l'IA. C'est ainsi qu'ont émergé les détecteurs d'IA.
Cependant, de nombreux auteurs et enseignants ont mis en doute la fiabilité de ces outils. Parmi eux, Christopher Pen, cofondateur de TrustInsights.ai, a déclaré sur LinkedIn que les « détecteurs d'IA » étaient une plaisanterie. Il n'est pas le seul à penser que ces détecteurs ne sont pas fiables. Dianna Mason, spécialiste du référencement (SEO), a affirmé dans une publication : « Les détecteurs de contenu basés sur l'IA ne fonctionnent pas. »
Selon un autre message publié sur Reddit, un utilisateur a déclaré : « Oui, les détecteurs d'IA sont une arnaque. Il n'y a jamais eu d'article universitaire prouvant qu'un détecteur d'IA puisse fonctionner de manière fiable. Il n'existe pas non plus de cadre théorique prometteur expliquant comment un détecteur d'IA fiable pourrait fonctionner. »
Plusieurs exemples largement médiatisés illustrent l'inefficacité des détecteurs d'IA. Par exemple, un détecteur a identifié àdent97,75 % de la Déclaration d'indépendance des États-Unis comme étant composée par une IA.
Dans un autre cas, des textes bibliques se sont révélés avoir été écrits par une IA. La Bhagavad-Gita, un texte sacré hindou, a également été maldentpar cette dernière. De telsdentsoulèvent de sérieuses questions quant à la crédibilité des systèmes de détection par IA.
Pour étudier plus en détail l'efficacité des détecteurs d'IA, nous avons testé un extrait de la Bible avec quatre détecteurs différents. Les résultats ont été très variés
- Quilbott - Selon ce site, l'extrait utilisé était probablement à 0 %, et non généré par une IA.
- Grammaly - Grammaly a égalementdentque le texte était écrit à 100% par des humains.
- Gpt Zero - Ce site a attribué au texte une probabilité de 96 % qu'il ait été écrit par des humains.
- Zero Gpt - C'était le dernier site que j'ai testé et les résultats étaient assez époustouflants : selon le site, le texte était écrit à 96 % par une IA.
Comment fonctionnent les détecteurs d'IA
Les détecteurs d'IA, ou détecteurs GPT, sont des systèmes conçus pourdentle contenu généré par l'IA. Ces détecteurs comparent le texte en fonction de ses motifs et de l'agencement des mots, à l'instar des modèles linéaires généralisés (LLM) appliqués au texte. Les LLM fonctionnent avec des probabilités inférées à partir des données et fondent leurs prédictions uniquement sur la détection de séquences de mots. Les détecteurs d'IA exploitent ces probabilités pour détecter le contenu généré par l'IA.
Les détecteurs d'IA utilisent principalement deux mesures : la perplexité et la variabilité. La perplexité mesure la probabilité que le mot suivant soit correct, tandis que la variabilité correspond à la diversité du nombre de mots et de groupes de mots. Si l'écriture humaine tend à présenter une plus grande variété, les textes générés par l'IA sont souvent plus uniformes. Malgré cela, à mesure que des modèles d'IA comme GPT-4 progressent, ils parviennent à reproduire l'écriture humaine avec une plus grande précision, rendant ainsi la détection encore plus difficile.
Selon Jodie Cook , la fondatrice de Coachvox, « Pour l'instant, nous rions des commentaires LinkedIn générés par l'IA… Mais à mesure que la technologie progresse, nous n'aurons plus la moindre idée de ce qui est vrai et de ce qui ne l'est pas. Personne ne le saura. »
Pour les écrivains, lesdentet les entreprises, les enjeux sont considérables. Dès lors, peut-on se demander si les détecteurs d'IA sont fiables ?
