Les détecteurs d'IA sont-ils encore efficaces ?

Depuis le lancement d'outils d'IA comme ChatGPT, le terme « IA » est devenu un mot à la mode dans des secteurs allant de l'éducation à la création de contenu. Les rédacteurs et les étudiants font désormais face à un nouveau défi : défendre leur travail, qu'il soit généré par l'IA ou par un humain. 

Selon les statistiques de Stastia l'année dernière, le terme « IA » a été recherché plus de 30,4 millions de fois en juillet 2023, soit le triple du nombre du mois précédent. À mesure que l'IA devenait plus répandue, les enseignants et les éditeurs ont dû trouver un moyen alternatif de déterminer si le texte qui leur était présenté était généré par l'IA ou non. Cela a conduit à l'essor des détecteurs d'IA.

Cependant, de nombreux rédacteurs et éducateurs ont remis en question l'authenticité de l'IA. L'un d'eux est Christoper Pen, le cofondateur de TrustInsights.ai, qui a déclaré sur LinkedIn post que « Narratifs IA les « détecteurs » sont une plaisanterie. Pen n'est pas le seul à penser que les détecteurs d'IA ne sont pas fiables. Dianna Mason, spécialiste du contenu SEO, a déclaré dans un article, « Les détecteurs de contenu IA ne fonctionnent pas. »

Selon un autre post sur Reddit, un utilisateur a déclaré, “Oui, les détecteurs d'IA sont une arnaque. Il n'y a jamais eu de document académique prouvant qu'un détecteur d'IA peut fonctionner de manière fiable. Il n'existe également pas de cadre théorique prometteur sur la manière dont un détecteur d'IA fiable pourrait fonctionner. “

Plusieurs exemples largement médiatisés montrent l'inefficacité des détecteurs d'IA. Par exemple, un détecteur a identifié à tort 97,75 % de la Déclaration d'indépendance des États-Unis comme étant composée par une IA. 

Dans un autre cas, des textes de la Bible ont été jugés écrits par une IA. La Bhagavad Gita, un texte sacré hindou, a également été mal identifiée par l'IA. De tels incidents soulèvent de sérieuses questions sur la crédibilité des détecteurs d'IA.

Pour approfondir l'efficacité des détecteurs d'IA, nous avons testé un extrait de la Bible avec quatre détecteurs différents. Les résultats étaient très différents

• Quilbott- Selon ce site, l'extrait utilisé était probablement à 0 %, non généré par une IA.
• Grammaly- Grammaly a également identifié le texte comme étant écrit à 100 % par un humain.
• Gpt Zero- Ce site a donné au texte une probabilité de 96 % d'avoir été écrit par des humains.
• Zero Gpt- C'était le dernier site que j'ai testé et les résultats étaient assez stupéfiants ; selon le site, le texte était écrit à 96 % par une IA.

Comment fonctionnent les détecteurs d'IA

Les détecteurs d'IA, ou détecteurs GPT, sont des systèmes conçus pour identifier le contenu généré par l'IA. Ces détecteurs comparent le texte en termes de motifs et d'agencement des mots, tout comme les LLM le font avec le texte. Les LLM fonctionnent avec des probabilités inférées à partir de données et fondent leurs prédictions uniquement sur la détection de séquences de mots. Les détecteurs d'IA opèrent sur ces probabilités pour détecter le contenu généré par l'IA. 

Les détecteurs d'IA utilisent principalement deux mesures, à savoir la perplexité et la burstiness (variabilité). La perplexité mesure la probabilité que le mot suivant soit correct, et la burstiness est la variabilité du nombre de mots et de phrases. Alors que l'écriture humaine a tendance à présenter plus de variété, le texte généré par l'IA est souvent plus uniforme. Malgré cela, à mesure que des modèles d'IA comme GPT-4 progressent, ils peuvent reproduire l'écriture humaine avec une plus grande maîtrise, rendant ainsi la détection encore plus difficile. 

Selon Jodie Cook, la fondatrice de Coachvox, “En ce moment, nous rions des commentaires générés par l'IA sur LinkedIn…. Mais à mesure que la technologie s'améliore, nous ne saurons plus ce qui est réel et ce qui ne l'est pas. Personne ne le saura. “

Pour les rédacteurs, les étudiants et les entreprises, les enjeux sont élevés. Cela soulève la question suivante : peut-on faire confiance aux détecteurs d'IA ?