KI-Detektoren funktionieren nicht mehr: Fallstudie zur US-Verfassung
KI-Detektoren funktionieren nicht mehr: Fallstudie zur US-Verfassung
- KIs-Prüfungen (Artificial Intelligence) schaffen eine globale Diskrepanz zwischen dem, was echt ist und was nicht.
- Die Diskrepanz und Genauigkeit der KI-Prüfung weisen auf grundlegendes Englisch und dessen Verwendungsort hin, nämlich britisches und amerikanisches Englisch.
- OpenAI räumt ein, dass KI-Prüfungen nicht funktionieren.
Künstliche Intelligenz (KI) hat das moderne Leben übernommen, insbesondere bei der Erstellung von Textinhalten. Während dies alles Spaß macht, ist die Ungenauigkeit bei der Erkennung von KI-Inhalten alarmierend. Was noch schlimmer ist, KI-Detektoren markieren menschlich geschriebene Inhalte als von GPT generiert; Fallstudie: die Verfassung der Vereinigten Staaten.
Die Verfassung der Vereinigten Staaten wurde 1787 verfasst, 1788 ratifiziert und ist seit 1789 in Kraft. Sie ist die am längsten bestehende geschriebene Regierungscharta der Welt. Die Verfassung existierte bereits ein Jahrhundert, bevor das erste Auto erfunden wurde. Dennoch markierte ein KI-Detektor sie zu 97,97 % als KI-generiert.
KI-Detektoren kennzeichnen die US-Verfassung als inhuman
Im Jahr 2023 stieg die Menge an KI-generierten Inhalten. Kurz darauf nutzten Marktentwickler die Gelegenheit, Detektoren zu erstellen, die den Prozentsatz an KI-Inhalten angeben. Das hätte ein guter Fortschritt sein sollen, aber dem ist nicht so.
Ein KI-Detektor hat die Verfassung der Vereinigten Staaten als KI-Inhalt markiert. Der Prozentsatz? Ein abschließender Wert von 97,97 %. Der Begriff „Künstliche Intelligenz“ wurde geprägt und wurde zwischen 1950 und 1956 im Zuge der Geburt der KI populär. Wie also konnte eine KI ein Dokument schreiben, das 163 Jahre älter ist als ihre Erfindung?
Im Jahr 1950 veröffentlichte Alan Turing einen Fachartikel mit dem Titel „Computer Machinery and Intelligence“, in dem er einen Test der Maschinenintelligenz vorschlug, der als „The Imitation Game“ (Das Imitationsspiel) bekannt wurde. Dieser Artikel markierte den Beginn der Welt, in der wir heute leben.
Im Jahr 1952 entwickelte ein Computerwissenschaftler namens Arthur Samuel ein Programm zum Damespielen, das erste, das das Spiel eigenständig lernte. Kurz darauf, im Jahr 1955, hielt John McCarthy an der Dartmouth University einen Workshop über „Künstliche Intelligenz“ ab, was die erste Verwendung dieses Begriffs war.
KI-Detektoren haben Grenzen
KI-Detektoren haben Einschränkungen, weil KI-generierter Text menschliches Schreiben imitiert. Diese Detektoren wurden von denselben Menschen trainiert, die Maschinen das Schreiben beigebracht haben. Wie funktionieren also ihre KI-Detektoren und wie genau sind sie? Ein weiterer KI-Detektor erzielte 1 % KI-Inhalte in der US-Verfassung. Woher kam der 1-%-Anteil?
Nun, hier liegt die Diskrepanz: Einige KI-Detektoren achten auf bestimmte Wörter wie „delve, tapestry, utilize, numerous“ usw., die normalerweise von KI verwendet werden, aber für Amerikaner unüblich sind.
Für einige Menschen aus Ländern mit britischer Kolonialgeschichte sind diese Wörter jedoch sowohl in der gesprochenen als auch in der geschriebenen Sprache gebräuchlich.
Letzten Monat geriet Y-Combinator-Mitbegründer Paul Graham in die Kritik, nachdem er eine Theorie zur Zuordnung von ChatGPT-Texten auf X (ehemals Twitter) aufgestellt hatte. Graham postete einen Kaltakquise-E-Mail-Vorschlag, den er von jemandem für ein Projekt erhalten hatte, und schloss daraus, dass es sich um KI-Schreiben handele, weil es das Wort „delve“ enthielt.
Ein X-Nutzer sagte, „Menschen, die Englisch in Ländern gelernt haben, die eine britische Kolonialvergangenheit haben – so haben wir Englisch genau gelernt […] ‚Delve‘ ist ein normales Wort, das wir sprechen.“ Ein anderer sagte, es sei ein amerikanisches Problem.
Einige Länder und Menschen verwenden immer noch das, was ich als „literarisches Englisch“ beschreiben würde.
— Africa Research Desk (@MightiJamie) April 10, 2024
Das Unangenehme daran ist, dass der amerikanische Wortschatz hauptsächlich auf Umgangssprachen (was man Slang nennt) und zeitgenössischen amerikanischen Redewendungen basiert, bis zu dem Maße, dass die anspruchsvolle Verwendung von…
Dies wirft die Frage auf, sollten KI-Detektoren und Content-Generatoren auf regionales Englisch spezialisiert sein? Oder sollten all diese Schreibwerkzeuge und Detektoren abgeschafft werden?
KI-Detektoren sind ungenau
KI-Detektoren verlassen sich auf inkonsistente linguistische Merkmale. Menschliche Sprache ist inhärent variabel, mit einer breiten Palette an Stilen, Dialekten und Redewendungen. KI-generierter Text kann in diese Variationen fallen, was es für Detektoren schwierig macht, genau zu sein.
Etwa 20 % der KI-generierten Texte durchlaufen diese Erkennungssysteme unentdeckt, was die Zuverlässigkeit von KI-Detektoren untergräbt. Ebenso werden etwa 25 % der menschlich geschriebenen Texte fälschlicherweise als KI markiert.
Ein Nutzer auf Quora schrieb, „Der KI-Detektor erkennt meine Arbeit als 100 % KI-generiert an. Weil ich es unwissentlich als Bearbeitungs- und Grammatik-Tool auf Wunsch eines akademischen Beraters verwendet habe. Die Wörter, Konzepte und Lebenserfahrungen im bereits veröffentlichten Stück sind meine eigenen. Was soll ich tun?“
Viele haben ihre Frustration über dieses Problem geäußert. Kürzlich markierte ein KI-Generator in einem von Cryptopolitan veröffentlichten Nachrichtenbeitrag Wörter, die von Donald Trump gesprochen wurden. Er sagte: „Ich bin sehr positiv und aufgeschlossen gegenüber Kryptowährungsunternehmen und allem, was mit dieser neuen und aufstrebenden Branche zu tun hat.“ Wie wird KI in gesprochene Wörter eingebaut? Ist es im Kopf einer Person? In ausgedrückten Gedanken?
Andere Inhalte stammten von David Bailey: „Wir werden uns mobilisieren, um uns zu verteidigen. Wir stimmen nicht per se für Trump, sondern gegen Biden. Der Einzige, der dafür die Schuld trägt, ist Biden. “
Auch lesen: Die Trump-Krypto-Kampagne – Alles, was Sie wissen müssen
Im Jahr 2023 veröffentlichte OpenAI Tipps für Pädagogen in einem Werbeblogbeitrag, der zeigte, wie einige Lehrer ChatGPT als pädagogisches Hilfsmittel nutzen.
In einem Abschnitt der FAQ mit dem Titel „Funktionieren KI-Detektoren?“ heißt es bei OpenAI schrieb, „Kurz gesagt: Nein. Während einige (einschließlich OpenAI) Tools veröffentlicht haben, die behaupten, KI-generierte Inhalte zu erkennen, hat sich keines dieser Tools als zuverlässig erwiesen, um zwischen KI-generierten und menschlich generierten Inhalten zu unterscheiden.“ Das Problem der Unterscheidung zwischen menschlichen und KI-Inhalten bleibt bestehen. Die Frage ist: Was sollte in Zukunft getan werden?
Berichterstattung von Cryptopolitan von Florence Muchai
Lesen Sie nicht nur Krypto-Nachrichten. Verstehen Sie sie. Abonnieren Sie unseren Newsletter. Es ist kostenlos.
Haftungsausschluss. Die bereitgestellten Informationen stellen keine Anlageberatung dar. Cryptopolitan.com Wir übernehmen keine Haftung für Investitionen, die auf den auf dieser Seite bereitgestellten Informationen basieren. Wir empfehlen dringend, vor jeglichen Anlageentscheidungen eine unabhängige Recherche durchzuführen und/oder einen qualifizierten Fachmann zu konsultieren.
Florence Muchai
Florence berichtet seit sechs Jahren über Kryptowährungen, Gaming, Technologie und KI. Ihr Studium der Computerwissenschaften an der Meru University of Science and Technology sowie ihr Studium im Bereich Katastrophenmanagement und internationale Diplomatie an der MMUST haben sie umfassend mit Sprach-, Beobachtungs- und technischen Fähigkeiten ausgestattet. Florence war bei der VAP Group tätig und arbeitete als Redakteurin für mehrere Krypto-Medienhäuser.
