Sind die KI-Detektoren immer noch effektiv?

Seit der Einführung von KI-Tools wie ChatGPT ist der Begriff „KI“ zu einem Schlagwort in Branchen von der Bildung bis zur Content-Erstellung geworden. Schriftsteller und Studenten stehen nun vor einer neuen Herausforderung, ihre Arbeit zu verteidigen, ob es sich um KI- oder menschliche Inhalte handelt. 

Laut Statistiken von Stastia im vergangenen Jahr wurde der Begriff „KI“ im Juli 2023 mehr als 30,4 Millionen Mal gesucht, was das Dreifache der Zahl im Vormonat ist. Als KI häufiger wurde, mussten Lehrer und Redakteure alternative Wege finden, um zu bestimmen, ob der ihnen vorgelegte Text KI oder nicht war. Dies führte zum Aufstieg von KI-Detektoren.

Allerdings haben viele Schriftsteller und Pädagogen die Authentizität von KI in Frage gestellt. Einer davon ist Christoper Pen, Mitbegründer von TrustInsights.ai, der in einem LinkedIn Beitrag die „KI- Detektoren“ als Witz bezeichnete. Pen ist nicht der Einzige, der denkt, dass KI-Detektoren nicht zuverlässig sind. Dianna Mason, SEO-Content-Spezialistin, erklärte in einem Beitrag, „KI-Content-Detektoren funktionieren nicht.“

Laut einem weiteren Beitrag auf Reddit erklärte ein Benutzer, “Ja, KI-Detektoren sind ein Betrug. Es gab noch nie eine akademische Arbeit, die beweist, dass ein KI-Detektor zuverlässig funktionieren kann. Es gibt auch keinen vielversprechenden theoretischen Rahmen dafür, wie ein zuverlässiger KI-Detektor funktionieren würde. “

Mehrere gut dokumentierte Beispiele zeigen die Ineffizienz von KI-Detektoren. Zum Beispiel identifizierte ein Detektor 97,75 % der US-Unabhängigkeitserklärung als KI-generiert. 

In einem anderen Fall wurden Texte aus der Bibel als KI-geschrieben befunden. Die Bhagavad Gita, eine hinduistische Schrift, wurde ebenfalls von der KI falsch identifiziert. Solche Vorfälle werfen sehr ernste Fragen über die Glaubwürdigkeit von KI-Detektoren auf.

Um die Wirksamkeit von KI-Detektoren weiter zu untersuchen, testeten wir einen Auszug aus der Bibel mit vier verschiedenen Detektoren. Die Ergebnisse waren recht unterschiedlich

• Quilbott – Laut dieser Website war der verwendete Auszug wahrscheinlich zu 0 %, nicht KI-generiert.
• Grammaly – Grammaly identifizierte den Text ebenfalls als zu 100 % menschlich geschrieben.
• Gpt Zero – Diese Website gab dem Text eine Wahrscheinlichkeit von 96 %, von Menschen geschrieben worden zu sein.
• Zero Gpt – Dies war die letzte Site, die ich getestet habe, und die Ergebnisse waren ziemlich verblüffend. Laut der Website war der Text zu 96 % KI-geschrieben.

Wie KI-Detektoren funktionieren

KI-Detektoren, oder GPT-Detektoren, sind Systeme, die darauf ausgelegt sind, von KI generierte Inhalte zu identifizieren. Diese Detektoren vergleichen Texte in Bezug auf Muster und Wortanordnung, genau wie LLMs es mit Texten tun. LLMs arbeiten mit Wahrscheinlichkeiten, die aus Daten abgeleitet werden, und stützen ihre Vorhersagen ausschließlich auf die Sequenzerkennung von Wörtern. Die KI-Detektoren operieren auf diesen Wahrscheinlichkeiten, um KI-Inhalte zu erkennen. 

KI-Detektoren verwenden hauptsächlich zwei Maße, nämlich Perplexität und Burstiness. Perplexität misst die Wahrscheinlichkeit, dass das nächste Wort korrekt ist, und Burstiness ist die Variabilität der Anzahl von Wörtern und Phrasen. Während menschliche Schreibweise tendenziell mehr Vielfalt aufweist, ist KI-generierter Text oft homogener. Trotz dessen können KI-Modelle wie GPT-4 menschliches Schreiben mit höherer Kompetenz replizieren, was die Erkennung noch schwieriger macht. 

Laut Jodie Cook, der Gründerin von Coachvox, “Im Moment lachen wir über KI-generierte LinkedIn-Kommentare…. Aber wenn sich die Technologie verbessert, werden wir keine Ahnung haben, was echt und was nicht echt ist. Niemand wird es wissen. “

Für Schriftsteller, Studenten und Unternehmen sind die stakes hoch. Dies wirft die Frage auf, ob KI-Detektoren vertrauenswürdig sein können?