Wie gut funktioniert die Suche mittels Sprachmodellen, wenn quantitative Daten für zukünftige Zeiträume gesucht werden?
Für die aktuelle Ausgabe des Newsletters haben wir getestet, wie KI-Tools mit quantitativen Zukunftsprognosen umgehen. Als Ausgangsfrage diente die Entwicklung der Arbeitslosenquote in Deutschland in den nächsten 10 bis 25 Jahren. Die Recherche erfolgte mithilfe mehrerer KI-Tools wie:
- ChatGPT
- Google-KI
- Google KI-Übersicht
Die Zahl tatsächlich relevanter und belastbarer Quellen erwies sich als objektiv sehr gering. Umso interessanter war es zu beobachten, wie die einzelnen KI-Systeme mit dieser Herausforderung umgingen.
Die zielführendsten Ergebnisse lieferte ChatGPT. Unter anderem verwies das Tool auf einen Report der EU-Kommission, der Tabellen mit langfristigen Projektionen zur Arbeitslosenquote in allen EU-Ländern enthält. Der Abgleich mit einer manuellen Recherche bestätigte, dass es sich hierbei um den insgesamt besten Treffer handelte – bemerkenswert auch deshalb, weil diese Quelle bei der klassischen Recherche nicht prominent angezeigt wurde.
Als zweitwichtigste Quelle nannte ChatGPT eine Bundestagsdrucksache, die ebenfalls konkrete, wenn auch knapper gehaltene Prognosezahlen enthielt. Beide Quellen deckten die langfristige Perspektive bis 2070 ab. Bei einer erneuten Nachfrage nach Prognosen für kürzere Zeiträume (2035–2040) fielen die Ergebnisse schwächer aus. Dies entsprach jedoch der objektiven Quellenlage.
Die Google-KI und die KI-Übersicht erwiesen sich im Vergleich als weniger hilfreich. Häufig wurden Quellen genannt, die entweder keine konkreten Zahlen speziell zur Arbeitslosenquote enthielten oder deren Seriosität fraglich war. Zudem fehlte – im Gegensatz zu ChatGPT – der Hinweis darauf, wo genau sich relevante Angaben innerhalb der Dokumente befinden. Für die weitere Recherche war daher ein deutlich höherer manueller Aufwand erforderlich.
Unser Fazit: ChatGPT überzeugt bei der Identifizierung relevanter Quellen für diese quantitative Prognose. Besonders hilfreich ist die Priorisierung der Quellen sowie die Einordnung, welche Messparameter an welcher Stelle der jeweiligen Dokumente zu finden sind. Das erleichtert die anschließende Vertiefung der Recherche erheblich. Gerade bei zukunftsbezogenen Fragestellungen, etwa in Markt- oder Trendanalysen, kann dies einen spürbaren Mehrwert bieten, indem Quellen identifiziert werden, die bei manueller Suche nur schwer zu entdecken sind.
Von Maria Kleiner