Die größte Schwäche von KI-Suchagenten liegt offenbar nicht in der Recherche selbst, sondern darin, mehrdeutige Anfragen rechtzeitig zu erkennen und bei den Nutzenden gezielt nachzufragen. Zu diesem Ergebnis kommt ein neuer Benchmark von Forschenden von Tencent Hunyuan und der Tsinghua-Universität.
Da KI-Agenten zunehmend anspruchsvolle Informationsaufgaben übernehmen, bei denen Recherche, Wissensabruf und mehrstufiges Schlussfolgern zusammenspielen, ist es wichtig zu prüfen, wie robust sie in realistischen Suchsituationen tatsächlich arbeiten.
Genau hier setzt DiscoBench an. Während bisherige Benchmarks meist von klaren und vollständig formulierten Anfragen ausgehen, berücksichtigt DiscoBench stärker die Praxis: Anfragen können vage, unvollständig oder sogar faktisch falsch sein. Der Benchmark untersucht daher, ob Sprachmodelle in längeren Suchketten Unklarheiten selbstständig erkennen, passende Rückfragen stellen und ihre Recherche entsprechend anpassen. Denn bei komplexen Aufgaben kann eine anfängliche Unschärfe dazu führen, dass sich der Agent Schritt für Schritt in die falsche Richtung bewegt.
DiscoBench setzt sich aus 211 Aufgaben mit insgesamt 463 Mehrdeutigkeitspunkten zusammen und deckt 11 Wissensbereiche ab. Jede Aufgabe ist in mehrere Checkpoints unterteilt, an denen der Agent entscheiden muss, ob er weiter recherchiert, Nutzende um Klärung bittet oder bereits eine Antwort gibt.
Getestet wurden 11 Modelle, u.a. Claude Opus 4.7, GPT 5.4, Gemini 3.1 Pro Preview, Doubao Seed 2.0 Pro und DeepSeek V4 Pro. Insgesamt lag die Genauigkeit aller Modelle unter 50%: Mit gut 43% erzielte Doubao Seed 2.0 Pro die beste End-to-End-Genauigkeit, gefolgt von Gemini 3.1 Pro und Claude Opus 4.7 mit jeweils rund 40%. Diese Ergebnisse wurden ohne ausdrücklichen Hinweis auf mögliche Mehrdeutigkeiten erreicht. Wurde den Modellen im System-Prompt mitgegeben, Mehrdeutigkeiten zu beachten und bei Bedarf nachzufragen, verbesserte sich die Genauigkeit im Schnitt von 28,6 auf 33,7%. Der Effekt blieb jedoch begrenzt: Zwar erkannten die Modelle Mehrdeutigkeiten häufiger, konnten die Recherche dadurch aber nicht automatisch erfolgreicher abschließen.
Auffällig waren u.a. zwei Punkte:
- Der Unterschied zwischen der Leistung bei einzelnen Checkpoints und dem Gesamtergebnis zeigte, wie anfällig mehrstufige Suchketten sind: Bspw. bearbeitete Claude Opus 4.7 zwar 57% der Zwischenschritte korrekt, kam insgesamt aber nur auf knapp 40% Genauigkeit. Auch wenn viele Zwischenschritte gelingen, kann eine einzige nicht geklärte Mehrdeutigkeit das Endergebnis verfälschen.
- Manche Modelle führten Suchanfragen wiederholt aus, ohne Nutzende in den Prozess einzubeziehen. Laut Benchmark deutet das darauf hin, dass die Unsicherheit zwar intern erkannt, aber nicht in eine Rückfrage übersetzt wurde. Mehr Suchschleifen führten daher nicht zwangsläufig zu besseren Resultaten.
Was bedeutet das für den KI-Einsatz in der professionellen Recherche?
Entscheidend ist also nicht nur, ob ein Agent mehrdeutige Stellen bemerkt, sondern auch, ob er sinnvolle Rückfragen formuliert, die die Recherche tatsächlich voranbringen. Insgesamt legt DiscoBench nahe, dass künftige KI-Suchagenten neben Abruf- und Schlussfolgerungsfähigkeiten auch Mechanismen brauchen, die Suchunsicherheit zuverlässig in hilfreiche Interaktionen mit Nutzenden zu übersetzen.
Von Ida Kandler