In den kommenden Wochen sollen, laut OpenAI, KI-generierte Texte von ChatGPT und Codex innerhalb der Europäischen Union mit unsichtbaren Wasserzeichen zu versehen sein. Eine Reaktion auf die Transparenzanforderungen des EU AI Acts, der eine maschinenlesbare Kennzeichnung KI-generierter Inhalte vorsieht.
Wasserzeichen sind statistische Muster. Die Technologie namens textGrain integriert statistische Muster in die Wortwahl der KI. Spezielle Erkennungssysteme können anhand dieser Muster feststellen, ob ein Text mit einem OpenAI-Modell erstellt wurde. Damit ordnet sich diese Technologie in die Reihe bestehender Wasserzeichenverfahren wie Googles SynthID ein.
Allerdings weist OpenAI ausdrücklich auf die Grenzen der Technologie hin. In Tests wurden bei Texten mit 400 Tokens etwa 95% der Wasserzeichen erkannt. Bei kürzeren Texten mit 200 Tokens wurden nur noch 80% des textGrain erkannt. Außerdem können bereits kleinere Veränderungen können die Zuverlässigkeit erheblich reduzieren: Werden 25% der Wörter durch Synonyme ersetzt, sinkt die Erkennungsrate in einem gesonderten Test von 92% auf 17%.
Bleibt die Qualität des Inhalts bei Texten mit statistischen Mustern unverändert? OpenAI sehe keine signifikanten Unterschiede in verschiedenen Benchmarks. Die Performance sei nur bis zu 0,6% schlechter, in manchen Fällen sogar bis zu 3% besser.
Doch wer kann das aktuell überprüfen? Während der Zugang zur Überprüfung von Bild und Audiodateien offen zur Verfügung steht, bleibt der Zugang zum Textdetektor zunächst auf ausgewählte Forschungseinrichtungen und Fachorganisationen beschränkt. Wasserzeichendetektoren oder Wasserzeichen-Entferner könnten in naher Zukunft jedoch einen weiteren Markt öffnen und neue Kategorien zur Beurteilung von Online-Inhalten führen.
Was bedeutet das also für die professionelle Recherche und Informationsbewertung?
Wasserzeichen können künftig zusätzliche Hinweise auf die Herkunft von Texten liefern, sind jedoch bei kürzeren Textpassagen kein verlässlicher Nachweis für oder gegen KI-Nutzung. Auch wenn die Methode der Wasserzeichenvergabe offengelegt ist, kann man aktuell noch keine genauen Aussagen darüber treffen, wie es im konkreten Beispiel die Bedeutung von Texten verändert. Nur, dass diese kleinen statistischen Anpassungen die Informationsdichte und Präzision des Wissens verändern, vielleicht sogar verwässern können. Insofern bleibt nicht nur eine kritische Quellenprüfung, sondern auch eine kritische Prüfung des Outputs an sich unverzichtbar.
Von Marcel Ohrenschall