KI-Detektoren versagen: Fallstudie zur US-Verfassung

Künstliche Intelligenz (KI) hat den modernen Alltag erobert, insbesondere die Erstellung von Texten. So faszinierend das auch klingen mag, die Ungenauigkeit bei der Erkennung von KI-generierten Inhalten ist alarmierend. Noch besorgniserregender ist, dass KI-Systeme von Menschen verfasste Texte fälschlicherweise als GPT-generiert kennzeichnen; ein Beispiel hierfür ist die Verfassung der Vereinigten Staaten.

Lesen Sie auch:Paul Graham von Y Combinator wird für seine Behauptung kritisiert, Texte mit dem Wort „Delve“ seien von KI geschrieben.

Die Verfassung der Vereinigten Staaten wurde 1787 verfasst, 1788 ratifiziert und ist seit 1789 in Kraft. Sie ist die weltweit am längsten bestehende schriftliche Regierungsurkunde. Die Verfassung entstand rund ein Jahrhundert vor der Erfindung des ersten Autos. Dennoch ergab ein KI-Test, dass sie zu 97,97 % KI-generiert ist.

KI-Detektoren kennzeichnen die US-Verfassung als unmenschlich

Im Jahr 2023 war ein Anstieg von KI-generierten Inhalten zu verzeichnen. Kurz darauf nutzten Marktentwickler die Gelegenheit, Detektoren zu entwickeln, die den Anteil dieser Inhalte ermitteln. Das hätte eigentlich ein positiver Fortschritt sein sollen, doch dem ist nicht so.

Ein KI-Detektor hat die US-Verfassung als KI-Inhalt markiert. Der Prozentsatz? Sage und schreibe 97,97 %. Der Begriff „Künstliche Intelligenz“ entstand in der Zeit der KI-Entwicklung zwischen 1950 und 1956 und erlangte dort große Popularität. Wie also konnte eine KI ein Dokument verfassen, das 163 Jahre älter ist als ihre Erfindung?

Im Jahr 1950 veröffentlichte Alan Turing einen Zeitschriftenartikel mit dem Titel „Computer Machinery and Intelligence“, in dem er einen Test für künstliche Intelligenz vorschlug, das sogenannte Imitationsspiel. Dieser Artikel markierte den Beginn der Welt, in der wir heute leben.

1952 entwickelte der Informatiker Arthur Samuel ein Programm zum Damespielen – das erste, das das Spieldenterlernte. Kurz darauf, 1955, veranstaltete John McCarthy in Dartmouth einen Workshop zum Thema „Künstliche Intelligenz“, bei dem der Begriff erstmals verwendet wurde.

KI-Detektoren haben ihre Grenzen

KI-Erkennungssysteme stoßen an ihre Grenzen, da KI-generierte Texte menschlicher Handschrift ähneln. Diese Systeme wurden von denselben Menschen trainiert, die auch Maschinen das Schreiben beigebracht haben. Wie funktionieren also ihre KI-Erkennungssysteme und wie genau sind sie? Ein anderes KI-Erkennungssystem ermittelte einen KI-Anteil von 1 % in der US-Verfassung. Woher kommt dieser Anteil?

Nun, hier liegt der Unterschied: Einige KI-Detektoren achten auf bestimmte Wörter wie „delve“, „tapestry“, „utilize“, „numbered“ usw., die zwar von KIs häufig verwendet werden, für Amerikaner aber eher ungewöhnlich sind. 

Für einige Menschen aus Ländern mit britischer Kolonialgeschichte sind diese Wörter jedoch sowohl in der gesprochenen als auch in der geschriebenen Sprache gebräuchlich.

Letzten Monat geriet Paul Graham, Mitbegründer von Y Combinator, in die Kritik, nachdem er auf X (ehemals Twitter) eine Theorie zur Textzuordnung im ChatGPT-Format aufgestellt hatte. Graham veröffentlichte eine unaufgefordert per E-Mail erhaltene Projektanfrage, die seiner Ansicht nach auf KI-generiertem Text basierte, da sie das Wort „delve“ enthielt.

Ein X-Nutzer sagte: „Menschen, die Englisch in Ländern mit britischer Kolonialvergangenheit gelernt haben – genau so haben wir Englisch gelernt […] ‚Delve‘ ist ein ganz normales Wort, das wir benutzen.“ Ein anderer meinte, es sei ein amerikanisches Problem.

Manche Länder und Bevölkerungsgruppen verwenden immer noch das, was ich als „literarisches Englisch“ bezeichnen würde.

Das Bedauerliche daran ist, dass der amerikanische Wortschatz hauptsächlich auf Umgangssprache (was Sie Slang nennen) und modernen amerikanischen Redewendungen basiert, sodass der differenzierte Gebrauch von…

— Afrika-Forschungsredaktion (@MightiJamie) 10. April 2024

Dies wirft die Frage auf, ob KI-Erkennungsgeräte und Inhaltsgeneratoren regionsspezifisch sein sollten? Oder sollten all diese Schreibwerkzeuge und Erkennungsgeräte abgeschafft werden?

KI-Detektoren sind ungenau

KI-Erkennungssysteme basieren auf inkonsistenten sprachlichen Merkmalen. Die menschliche Sprache ist von Natur aus variabel und weist eine große Bandbreite an Stilen, Dialekten und Redewendungen auf. KI-generierte Texte können diese Variationen widerspiegeln, was die Genauigkeit der Erkennungssysteme beeinträchtigt.

Etwa 20 % der KI-generierten Texte passieren diese Erkennungssysteme unentdeckt, was die Zuverlässigkeit der KI-Erkennungssysteme untergräbt. Umgekehrt werden etwa 25 % der von Menschen verfassten Texte fälschlicherweise als KI-Texte eingestuft.

Ein Nutzer Quora schrieb „Der KI-Detektor erkennt meine Arbeit als 100 % KI-generiert. Das liegt daran, dass ich sie unwissentlich auf Bitte eines akademischen Betreuers als Bearbeitungs- und Grammatiktool verwendet habe. Die Worte, das Konzept und die Lebenserfahrung in dem bereits veröffentlichten Text stammen jedoch von mir. Was soll ich tun?“

Viele haben ihre Frustration über dieses Thema zum Ausdruck gebracht. Kürzlich markierte ein KI-Generator in einem Artikel von CryptopolitanAussagen von Donald Trump. Er sagte: „Ich stehe Kryptowährungsunternehmen und allem, was mit dieser neuen und aufstrebenden Branche zu tun hat, sehr positiv und aufgeschlossen gegenüber.“ ⁤Wie wird KI in gesprochene Worte integriert? Findet sie im Kopf des Menschen statt? In den geäußerten Gedanken?

Weitere Inhalte stammten von David Bailey: „Wir werden uns mobilisieren, um uns zu verteidigen. Wir wählen nicht Trump an sich, wir wählen Biden. Der Einzige, der dafür die Schuld trägt, ist Biden.“

Lesen Sie auch: Trumps Krypto-Kampagne – Alles, was Sie wissen müssen

Im Jahr 2023 veröffentlichte OpenAI in einem Werbeblogbeitrag Tipps für Pädagogen, die zeigten, wie einige Lehrer ChatGPT als pädagogisches Hilfsmittel einsetzen.  

In einem FAQ-Abschnitt mit dem Titel „Funktionieren KI-Detektoren?“ schrieb: „Kurz gesagt: Nein. Zwar haben einige (darunter auch OpenAI) Tools veröffentlicht, die angeblich KI-generierte Inhalte erkennen können, doch keines dieser Tools hat sich als zuverlässig erwiesen, um zwischen KI-generierten und von Menschen erstellten Inhalten zu unterscheiden.“ Das Problem, menschliche Inhalte von KI-Inhalten zu unterscheiden, bleibt bestehen. Die Frage ist: Wie geht es in Zukunft weiter?

Cryptopolitan Berichterstattung von Florence Muchai