Wie gut eignen sich Sprachmodelle für die automatisierte Bearbeitung großer Datenlisten, etwa das Zuordnen, Bereinigen oder Anreichern mehrerer hunderter oder tausender Einträge mit Daten? Das wollten wir wissen, um zu überprüfen, ob es neben kostenpflichtiger Webcrawl-Software auch mit LLMs möglich ist, Daten in größerer Menge aus öffentlich zugänglichen Quellen herauszufinden. Gerade weil es inzwischen für nahezu jeden Anwendungsfall spezialisierte KI- oder Software-Lösungen gibt, ist es sinnvoll zu evaluieren, ob ein bereits verfügbares LLM diese Aufgaben mitübernehmen kann und so Komplexität, Kosten und Tool-Landschaft reduziert.
In der Praxis stießen die genutzten KI-Chatbots schnell an fundamentale Einschränkungen. Eine Tabelle mehreren hunderten oder gar tausenden Zeilen, ob Firmen, Produkte oder Adressen, wird vom Modell nicht als strukturierte Matrix erkannt, sondern als fortlaufender Textstrom. Die präzise Zeilen-zu-Zeilen-Zuordnung geht verloren, was Verwechslungen und Auslassungen begünstigt.
Wir haben diesen Use Case getestet, indem wir ChatGPT, Perplexity und Claude mit der Aufgabe konfrontierten, aus einer Liste von Einträgen passende Zusatzinformationen (z. B. Webadressen oder Kategorien) zu ermitteln. Dabei wurde betont, dass man sich auf öffentlich zugängliche Daten beschränken solle. Die Ergebnisse waren ernüchternd, denn nicht nur die Ergebnisse der Recherche waren teilweise falsch und halluzinierend, sondern auch das technische Handling.
Bei dem Versuch eine ca. 2.000 Zeilen lange Excel-Liste einlesen zu lassen, weisen die Sprachmodelle darauf hin, dass eine Liste dieser Größe nicht insgesamt bearbeitet werden kann. Als Handlungsoption wurde hier jedoch beispielsweise die Bearbeitung der Liste in Zehnerblöcken vorgeschlagen, wobei man nach jedem Rechercheergebnisse die Bitte „Weiter“ oder eine ähnliche Aufforderung geben musste, damit ChatGPT oder Perplexity fortfährt. Auch Claude zeigte ein ähnliches Verhalten. Zusätzlich fiel auf, dass dann die gefundenen Informationen eher als unvollständig bezeichnet werden können.
Auch eine Anpassung der Prompts konnte diese technische Hürde nicht überwinden. Die Chatbots schlagen indes selbst wiederholt im Gesprächsverlauf vor, andere Lösungen wie etwa Crawl-Bots zu nutzen, da diese auf solche Fälle spezialisiert sind.
Unser Fazit: KI-Chatbots sind gut für explorative Analysen und Textaufgaben geeignet, erreichen bei strukturierter Massenverarbeitung jedoch schnell strukturelle Grenzen.
Von Frederic Simon