Große KI-Modelle halluzinieren weiterhin in über 30 % der Fälle

Der neue Benchmark HalluHard, entwickelt von Forschenden aus der Schweiz und Deutschland, zeigt, dass große Sprachmodelle nach wie vor unzuverlässig sind. Laut der Studie erzeugt selbst das leistungsstärkste getestete Modell, Claude Opus 4.5, bei aktivierter Websuche noch in rund einem Drittel der Fälle halluzinierte Inhalte. Ohne Websuche verdoppelt sich diese Quote sogar. Auch GPT-5.2 Thinking weist mit aktivierter Websuche eine Halluzinationsrate von 38,2 % auf. Demnach reduziert die Websuche Halluzinationen zwar, kann diese aber nicht vollständig verhindern.

Die Stärke von HalluHard liegt in seinem realitätsnahen Evaluationsansatz. Der Benchmark basiert auf simulierten Gesprächen, die eine mehrschrittige Interaktion abbilden. Ein integrierter Algorithmus analysiert dabei systematisch alle vom Modell referenzierten Quellen und Dateien, einschließlich vollständiger Texte und PDFs. Ziel ist es, Aussagen oder Details zu identifizieren, die in den angegebenen Quellen nicht belegt sind. Auf diese Weise lassen sich Halluzinationen erkennen, die bei oberflächlicheren Prüfungen möglicherweise unentdeckt geblieben wären.

Durch den Einsatz mehrstufiger Dialoge unterscheidet sich HalluHard von vielen bisherigen Benchmarks. Diese basieren häufig auf einschrittigen Dialogen, verfügen nur über begrenzte Beurteilungsmöglichkeiten und stoßen zudem schnell an eine Sättigungsgrenze.

Von Ida Kandler

Quelle: Linux Magazin, 11.02.2026, von Jens-Christoph Brendel