Da Sprachmodelle nachgewiesenermaßen Informationen halluzinieren, haben wir gezielt getestet, wie verschiedene KI-Chats mit (1) widersprüchlichen Informationen umgehen und (2) wie sie verfahren, wenn die angefragten Informationen im Internet fehlen. Für solide Researchergebnisse ist wichtig, dass Widersprüchlichkeiten offengelegt werden und ebenso klar angegeben wird, wenn sich Fragen nicht beantworten lassen.
Case 1: Im Netz sind widersprüchliche Informationen vorhanden
Für (1) fragten wir nach der Liste von Filialen einer Einzelhandelsmarke in München. Das Geschäft hatte nur eine Filiale in der Innenstadt, die jedoch Ende 2023 geschlossen wurde. Im Internet gab es dazu jedoch nur einen einzigen Hinweis und die restlichen Quellen enthielten die veraltete Information auf die mittlerweile geschlossene Filiale.
ChatGPT hat zunächst nur die veraltete Info herausgegeben und erst auf Nachhaken hin jenen einen Link angegeben, der auf die Schließung hindeuten würde. Perplexity nannte teilweise Standorte von anderen (verbundenen) Händlern, die jedoch unter einem anderen Markennamen firmieren, und kam auch nach dem Nachhaken nicht auf die richtige Information, dass die Filiale nicht mehr existiert. Copilot von Microsoft nannte zwar sofort die richtige Antwort. Allerdings gab es hier Probleme mit der Quellennachverfolgung, denn die angegebenen Links bezogen sich auf die Schließung der Filiale einer anderen Marke des Konzerns.
Case 2: Im Netz sind keine Informationen vorhanden
Für (2) fragten wir, ob Unternehmen X und Y mit Content5 zusammenarbeiten bzw. unsere Kunden sind. Dafür gab es beim Unternehmen X in öffentlichen Quellen Indizien, aber keine direkten Hinweise. Bzgl. der Kooperation mit dem Unternehmen Y gab es überhaupt keine öffentlich zugänglichen Informationen.
Am besten zeigte sich ChatGPT: Hinsichtlich beider Unternehmen wurden richtige Aussagen getroffen. Mit Hinblick auf das Unternehmen X identifizierte ChatGPT die richtigen Quellen und schloss anhand der einzelnen Formulierungen auf eine Geschäftsbeziehung. Die Formulierung war vorsichtig und die Antwort differenziert. Copilot traf beim Unternehmen X die falsche Annahme. Perplexity identifizierte zwar richtigerweise die Quellen mit den Indizien und traf eine richtige Aussage. Die Antwort war aber weniger differenziert als bei ChatGPT. Genauso verhielt es sich im KI-Modus von Google. Beim Unternehmen Y gaben alle Modelle die richtige Antwort, nämlich dass es keine Hinweise auf eine Zusammenarbeit bzw. Geschäftsbeziehung gibt.
Unser Fazit: Gerade wenn es um Fragestellungen geht, zu denen widersprüchliche Informationen existieren könnten, bleibt eine manuelle Recherche unerlässlich. Denn keines der KI-Modelle wies ohne Nachhaken bei der Frage (1) darauf hin, dass es eine widersprüchliche Informationslage gibt. Das Nicht-Vorhandensein der Information bei Frage (2) wurde in Bezug auf das Unternehmen Y richtig angegeben und es wurden keine Aussagen erfunden.
Von Maria Kleiner