Seit dem Aufkommen von KI-Tools wie ChatGPT ist der Begriff „KI“ in Branchen von der Bildung bis zur Content-Erstellung zu einem Modewort geworden. Autoren unddentstehen nun vor der neuen Herausforderung, ihre Arbeit zu verteidigen, unabhängig davon, ob es sich um KI-generierte oder von Menschen erstellte Inhalte handelt.
Laut Statistiken von Stastia wurde der Begriff „KI“ im Juli 2023 über 30,4 Millionen Mal gesucht – dreimal so oft wie im Vormonat. Mit der zunehmenden Verbreitung mussten Lehrkräfte und Redakteure alternative Methoden finden, um festzustellen, ob ein Text von KI generiert wurde oder nicht. Dies führte zum Aufkommen von KI-Detektoren.
Viele Autoren und Pädagogen bezweifeln jedoch die Zuverlässigkeit von KI. Einer von ihnen ist Christopher Pen, Mitbegründer von TrustInsights.ai, der in einem LinkedIn- Beitrag , „KI- Detektoren“ seien ein Witz. Pen ist nicht der Einzige, der KI-Detektoren für unzuverlässig hält. Dianna Mason, SEO-Content-Spezialistin, schrieb in einem Beitrag: „KI-Content-Detektoren funktionieren nicht.“
Einem anderen Beitrag zufolge erklärte ein Nutzer: „ Ja, KI-Detektoren sind Betrug. Es gibt keine wissenschaftliche Arbeit, die beweist, dass ein KI-Detektor zuverlässig funktionieren kann. Es gibt auch kein vielversprechendes theoretisches Rahmenwerk dafür, wie ein zuverlässiger KI-Detektor funktionieren würde.“
Mehrere vielbeachtete Beispiele belegen die Ineffizienz von KI-Detektoren. Sodentein Detektor beispielsweise 97,75 % der US-amerikanischen Unabhängigkeitserklärung fälschlicherweise als von einer KI verfasst.
In einem anderen Fall stellte sich heraus, dass Texte der Bibel von einer KI verfasst worden waren. Auch die Bhagavad Gita, eine hinduistische Schrift, wurde von der KI falschdent. Solchedentwerfen sehr ernste Fragen hinsichtlich der Glaubwürdigkeit von KI-Erkennungssystemen auf.
Um die Effektivität von KI-Detektoren weiter zu untersuchen, testeten wir einen Bibelabschnitt mit vier verschiedenen Detektoren. Die Ergebnisse waren recht unterschiedlich
- Quilbott – Laut dieser Webseite war der verwendete Auszug höchstwahrscheinlich nicht KI-generiert.
- Grammaly hat den Text ebenfalls als zu 100 % von Menschen verfasstdent.
- GPT Zero – Diese Website gab dem Text eine Wahrscheinlichkeit von 96 %, dass er von Menschen geschrieben wurde.
- Zero Gpt – Das war die letzte Website, die ich getestet habe, und die Ergebnisse waren ziemlich verblüffend. Laut der Website wurden 96 % der Texte von KI geschrieben.
Wie KI-Detektoren funktionieren
KI-Detektoren, auch GPT-Detektoren genannt, sind Systeme, die KI-generierte Inhaltedent. Sie vergleichen Texte hinsichtlich Mustern und Wortanordnung, ähnlich wie LLMs (Late-Level-Matrix-Systeme). LLMs arbeiten mit Wahrscheinlichkeiten, die aus Daten abgeleitet werden, und stützen ihre Vorhersagen ausschließlich auf die Erkennung von Wortsequenzen. Die KI-Detektoren nutzen diese Wahrscheinlichkeiten, um KI-Inhalte zu erkennen.
KI-Erkennungssysteme verwenden hauptsächlich zwei Kennzahlen: Perplexität und Burstiness. Die Perplexität misst die Wahrscheinlichkeit, dass das nächste Wort korrekt ist, während Burstiness die Variabilität der Anzahl von Wörtern und Phrasen beschreibt. Während menschliche Texte tendenziell abwechslungsreicher sind, ist KI-generierter Text oft einheitlicher. Trotzdem können KI-Modelle wie GPT-4 mit zunehmender Entwicklung menschliche Texte immer besser imitieren, was die Erkennung zusätzlich erschwert.
Laut Jodie Cook , der Gründerin von Coachvox: „ Momentan lachen wir noch über KI-generierte LinkedIn-Kommentare… Aber mit fortschreitender Technologieentwicklung werden wir nicht mehr wissen, was echt und was nicht echt ist. Niemand wird es dann noch wissen.“
Für Autoren,dentund Unternehmen steht viel auf dem Spiel. Das wirft die Frage auf: Kann man KI-Detektoren vertrauen?
