Wie schaffen wir es, aus einem von uns gesammelten Dokumentenbestand möglichst schnell und umfassend Informationen herauszufiltern? Hintergrund dieser Frage ist ein Rechercheauftrag, für dessen Bearbeitung wir auch mehrere hundert PDF-Dokumente durchsucht und analysiert haben.
Microsoft Copilot bietet einen KI-Agenten an, der auf ein definiertes Quellenset zugreifen und je nach Zweck mit konkreten Anweisungen angepasst werden kann. Dazu zählen auch scheinbar einfache Instruktionen wie „Wenn du keine Informationen findest, erfinde bitte nichts.“, um Halluzinationen vorzubeugen.
In der Praxis zeigten sich bei mehreren Wiederholungen der Recherche unterschiedliche Ergebnisse, je nachdem wie präzise der Agent im Vorfeld eingestellt bzw. gebrieft wurde. Negativ fiel auf, dass – wie bei LLMs generell üblich – ein gleich formulierter Prompt an unterschiedlichen Tagen unterschiedliche Resultate lieferte, was die Wiederholbarkeit erschwert. Positiv hervorzuheben ist hingegen, dass der Agent im Vergleich zu klassischen Suchfunktionen in SharePoint oder dem Datei-Explorer mit relativ wenig Aufwand deutlich komplexere und inhaltlich spezifischere Abfragen ermöglicht.
In unserem Fall wollten wir zunächst alle Artikel auflisten lassen, die das gesuchte Thema behandeln. Dabei zeigte sich, dass in einem ersten Versuch tatsächlich nur Dokumente aufgelistet wurden, in denen der Begriff wortwörtlich vorkam. In einem zweiten Schritt erhielt der Agent die zusätzliche Anweisung, automatisch auch Synonyme und thematisch verwandte Begriffe aus demselben Fachbereich zu berücksichtigen. Auch hier war der Agent in der Lage, die Anweisung umzusetzen und lieferte weitere passende Dokumente.
Zudem waren tiefere Analysen möglich, bspw. Zusammenstellungen mit der Nennung von Herstellern und Merkmalen verschiedener Varianten des gesuchten Produkts. Der Agent konnte diese Informationen aus sämtlichen Dokumenten extrahieren, mit Quellenbezug zusammenführen und übersichtlich darstellen. Hilfreich war, dass der Agent dabei teils proaktiv Vorschläge für die Datenaufbereitung machte, etwa zur tabellarischen oder visuellen Darstellung der Ergebnisse.
Unser Fazit: Trotz der intelligenten Anpassungsmechanismen und des „Mitdenkens“ des Agenten hängt der Erfolg der Nutzung maßgeblich von der Qualität der Prompt-Formulierung ab. Copilot-Agenten sollten daher stets spezifisch auf den jeweiligen Use Case abgestimmt werden. Aufgrund der eingeschränkten Reproduzierbarkeit bleiben sie in ihrem Anwendungsbereich begrenzt und die Nutzer sollten sich der potenziellen Variabilität der Ergebnisse bewusst sein.
Von Frederic Simon