Untersuchungen zum „AI Citation Drift“ befassen sich mit der Frage, wie stabil Quellenverweise von Sprachmodellen tatsächlich sind. Bislang wurde das Thema vor allem im Kontext des Online-Marketings diskutiert, da es für Marken und Webseitenbetreiber entscheidend ist, langfristig sichtbar zu bleiben.
Sistrix hat dazu eine umfangreiche Analyse durchgeführt: Untersucht wurden drei Plattformen in sechs Ländern über einen Zeitraum von 17 Wochen. Die zentralen Ergebnisse zeigen, dass KI-Antworten zwar einen stabilen Kern aus wenigen Quellen besitzen, viele weitere Quellen jedoch stark rotieren. Dabei unterscheiden sich die Sprachmodelle deutlich in ihrem Rotationsverhalten. Während die Quellen bei ChatGPT pro Woche um bis zu 74% wechseln, liegt die Rotation im KI-Modus von Google bei maximal 56%. Außerdem zeigt sich, dass sich zitierte Unterseiten verändern können, selbst wenn die jeweilige Domain weiterhin Teil der Zitation bleibt.
Auch abhängig von der Art des Inhalts ergeben sich deutliche Unterschiede bei der Stabilität der Quellen. Videos auf YouTube bleiben vergleichsweise konstant als zitierte Quellen erhalten. Inhalte von Newsportalen sowie Beiträge aus Foren wie Reddit verschwinden dagegen besonders häufig wieder aus den Quellenangaben.
Was bedeutet das für den KI-Einsatz in der professionellen Recherche?
Die Ergebnisse der Untersuchung sind auch für den Einsatz von Sprachmodellen in der Recherche relevant. Zum einen erschwert die hohe Dynamik der Quellen die Reproduzierbarkeit von Ergebnissen, da bei einer späteren Wiederholung derselben Suche mit anderen Quellen zu rechnen ist. Zum anderen kann die geringe Stabilität von News- und Foreninhalten dazu führen, dass einzelne Beiträge, die für die Einordnung oder Interpretation der Rechercheergebnisse wichtig wären, nur zufällig im Ergebnis auftauchen.
Von Markus Hoffmann