KI-Anwendungen sollen Aufgaben erleichtern, indem sie sich im Laufe der Nutzung an individuelle Arbeitsweisen anpassen. Dazu speichern sie etwa bevorzugte Stile, wiederkehrende Themen oder inhaltliche Kontexte. Theoretisch entsteht dadurch ein besseres Verständnis für die Nutzenden und ihre Anforderungen. Neue Forschungsergebnisse zeigen jedoch, dass diese Anpassungsfähigkeit auch problematisch sein kann.
Forschende des KI-Unternehmens WRITER AI haben untersucht, wie Speichersysteme Modelle beeinflussen können. Demnach können falsche Annahmen oder Missverständnisse, die Nutzende entweder im Prompt oder über gespeicherten Kontext einbringen, die Antworten der Modelle verzerren. Je stärker ein Modell durch solche Ankerpunkte geprägt wird, desto eher neigt es dazu, vorhandene Annahmen zu bestätigen, statt sie kritisch zu prüfen oder zu korrigieren.
Für fakten- und wissensbasierte Arbeit ist das besonders relevant. Deshalb haben wir ausprobiert, wie stark sich KI-Modelle von falschen, polarisierenden oder suggestiven Aussagen im Prompt lenken lassen. Getestet haben wir ChatGPT, Googles KI-Modus und Perplexity.
Bei allen drei Anwendungen fiel auf, dass Antworten zunächst häufig mit Zustimmung oder Bestärkung beginnen, selbst wenn unsere Aussagen falsch oder sehr einseitig waren. Die danach folgende Relativierung und das Aufzeigen von Gegenbeispielen unterschieden sich allerdings leicht:
- Bei politisch oder wirtschaftlich stärker aufgeladenen Themen widersprach ChatGPT insgesamt klarer und verwies auf öffentlich belegbare Informationen. Unser Eindruck war, dass ChatGPT bei „ernsteren“ Themen, die wir bspw. als Grundlage für einen Vortrag recherchierten, vorsichtiger reagierte und sich auch durch weitere Überzeugungsversuche weniger beeinflussen ließ. Anders war es bei alltäglicheren Themen. Bei einer Kaffeemaschine, die bei Stiftung Warentest durchgefallen war, erkannte ChatGPT das Problem zunächst nicht und bestätigte unsere positive Einschätzung. Erst nach mehreren Hinweisen relativierte das Modell seine Antwort.
- Bei Perplexity zeigte sich teilweise das umgekehrte Muster: Aussagen zu politisch-wirtschaftlichen Themen wurden eher argumentativ unterstützt, während die schlecht bewertete Kaffeemaschine direkt erkannt und benannt wurde.
- Googles KI-Modus stimmte ebenfalls zunächst haltlosen Annahmen zu, etwa der Aussage, dass günstigere ÖPNV-Tickets Laufkundschaft verdrängten und einem Einzelhandelsstandort schadeten. Erst als wir auf gegenteilige Belege hinwiesen, änderte das Modell seine Einschätzung deutlich. Auch die schlecht bewertete Kaffeemaschine wurde zunächst nicht erkannt; auf Nachfrage entschuldigte sich das System.
Unser Fazit: Bereits die Art der Fragestellung kann KI-Antworten stark beeinflussen. Wer im Prompt eine beispielhafte Antwort, eine Wertung oder eine Annahme vorgibt, erhöht das Risiko verzerrter Ergebnisse. Sinnvoll ist es deshalb, möglichst offene Fragen zu stellen, kritisch nachzufragen und die Ergebnisse verschiedene KI-Anwendungen miteinander zu vergleichen. Außerdem kann es hilfreich sein, Ergebnisse gelegentlich mit einem Modell ohne gespeicherten Kontext gegenzuprüfen.
Von Ida Kandler