KI als Informationsquelle: Studie zeigt klare Grenzen bei Recherche-Assistenz

In der vergangenen Woche veröffentlichte die Europäische Rundfunkunion eine Studie, die signifikante Fehlerquoten bei populären KI-Chatbots aufdeckt. Demnach erfinden ChatGPT & Co. regelmäßig Informationen und präsentieren sie als Fakten, wobei die Quellen entweder falsch zugeordnet oder gar nicht angegeben werden.

Laut der Studie verbreiten KI-Chatbots in bis zu 40 % der Fälle Fake News und interpretieren in 45 % der Fälle Nachrichteninhalte fehlerhaft – unabhängig von Sprache, Region oder Plattform. Dies hat zwei Gründe: Einerseits bedienen sich die KI-Systeme mitunter veralteter Trainingsdaten. Zum anderen entstehen die sogenannten Halluzinationen, indem die KI fehlende Informationen ergänzt und statistisch plausible Wortketten erstellt. Zwar kann die KI inzwischen auch im Internet recherchieren, das tut sie aber nur, wenn man sie durch Prompting explizit dazu auffordert.

Die Auswirkungen sind unter anderem im Journalismus spürbar, der immer häufiger auf KI-generierte Nachrichten zurückgreift. Laut der neuesten Untersuchung der University of Maryland sind bereits jetzt ca. 9 % aller neuen Zeitungsartikel in den USA teilweise oder vollständig KI-generiert. Eine ähnliche Tendenz könnte es auch in Deutschland geben.

Was heißt das konkret für den KI-Einsatz in der professionellen Recherche?

• Man sollte KI-Inhalte stets sorgfältig prüfen. Bei Monitorings für unsere Kunden greifen wir zwar auf KI-Zusammenfassungen zurück, was uns Zeit beim Ausformulieren spart. Jedoch überprüfen wir immer die Schwerpunktsetzung und Fakten anhand eines Abgleichs mit den Originalartikeln.
• Da Chatbots häufig Fehler bei der Quellenangabe machen, sollten Links, falls welche ausgegeben werden, in jedem Fall geprüft werden. Die damit einhergehenden Zeitaufwände sind teils nicht unerheblich, sodass der KI-Einsatz die Recherche nicht immer effizienter macht. Hierbei empfiehlt sich auf jeden Fall, gleich im Prompt nach den aktuellsten Informationen zu fragen.
• Chatbots können vor allem am Anfang helfen, wenn man sich in neue Themengebiete vertiefen möchte. In solchen Fällen verschafft eine allgemeine KI-Linksammlung einen guten Überblick. So kann man sich in einzelne Quellen einlesen und selbst Zusammenhänge herstellen. Insbesondere bei fortgeschrittener Recherche oder vertiefter Fakten-/Kontextarbeit empfiehlt sich der Einsatz von Chatbots hingegen nur ergänzend, bspw. um zu prüfen, ob sich ggf. weitere Quellen für Informationen identifizieren lassen.

Von Maria Kleiner