Schlagwort: Benchmarks
-
KI-Textdetektoren: Imitation von Schreibstilen wird zum blinden Fleck
KI-Textdetektoren sollen maschinell erzeugte Inhalte identifizieren. Eine aktuelle Untersuchung von Epoch AI zeigt jedoch, wie stark ihre Aussagekraft vom Entstehungsprozess eines Textes abhängt. Getestet wurden Pangram, GPTZero und Originality.ai mit 495 nachweislich vor dem Start von ChatGPT veröffentlichten menschlichen Textpassagen sowie jeweils 297 KI-Texten aus einfachen Prompts und 297 KI-Texten, die gezielt den Stil realer…
-
DiscoBench: So gehen KI-Agenten mit Unklarheiten um
Die größte Schwäche von KI-Suchagenten liegt offenbar nicht in der Recherche selbst, sondern darin, mehrdeutige Anfragen rechtzeitig zu erkennen und bei den Nutzenden gezielt nachzufragen. Zu diesem Ergebnis kommt ein neuer Benchmark von Forschenden von Tencent Hunyuan und der Tsinghua-Universität. Da KI-Agenten zunehmend anspruchsvolle Informationsaufgaben übernehmen, bei denen Recherche, Wissensabruf und mehrstufiges Schlussfolgern zusammenspielen, ist…
-
Wenn KI-Modelle Annahmen übernehmen
KI-Anwendungen sollen Aufgaben erleichtern, indem sie sich im Laufe der Nutzung an individuelle Arbeitsweisen anpassen. Dazu speichern sie etwa bevorzugte Stile, wiederkehrende Themen oder inhaltliche Kontexte. Theoretisch entsteht dadurch ein besseres Verständnis für die Nutzenden und ihre Anforderungen. Neue Forschungsergebnisse zeigen jedoch, dass diese Anpassungsfähigkeit auch problematisch sein kann. Forschende des KI-Unternehmens WRITER AI haben…
-
Kostenpflichtige KI-Angebote werden beliebter: Warum Nutzende zahlen
—
Kostenpflichtige KI-Angebote gewinnen an Bedeutung. Das zeigt eine aktuelle Umfrage des Digitalverbands Bitkom unter 579 KI-Nutzenden ab 16 Jahren. Demnach zahlen derzeit 13% der KI-Nutzenden für entsprechende Angebote. Im Vorjahr waren es noch 8%. Weitere 29% können sich vorstellen, künftig auf ein kostenpflichtiges Abonnement umzusteigen – ebenfalls mehr als ein Jahr zuvor. Der wichtigste Grund…
-
Wenn KI zu viel zustimmt: Warum Widerspruch wichtig ist
KI-Modelle neigen dazu, die Meinungen und Wahrnehmungen von Nutzenden zu bestätigen. Diese wiederkehrende Zustimmung kann jedoch problematisch sein: Sie birgt das Risiko, bspw. Denkmuster zu verstärken und Abwärtsspiralen zu begünstigen. Da dieses Verhalten eine subtile Form der Manipulation darstellt, wird das bedingungslose „Ja-Sagen“ von Chatbots als sogenanntes „Dark Pattern“ eingeordnet. Darunter versteht man Gestaltungsmuster im…
-
Große KI-Modelle halluzinieren weiterhin in über 30 % der Fälle
—
Der neue Benchmark HalluHard, entwickelt von Forschenden aus der Schweiz und Deutschland, zeigt, dass große Sprachmodelle nach wie vor unzuverlässig sind. Laut der Studie erzeugt selbst das leistungsstärkste getestete Modell, Claude Opus 4.5, bei aktivierter Websuche noch in rund einem Drittel der Fälle halluzinierte Inhalte. Ohne Websuche verdoppelt sich diese Quote sogar. Auch GPT-5.2 Thinking…
-
Typische KI-Benchmarks haben große Schwächen
Von einem internationalen Forscherteam wurden 445 Publikationen zum Benchmarking für Large Language Models untersucht. Die Forscher kommen zum Ergebnis, dass die gängigen Benchmarking-Verfahren methodische Schwächen aufweisen. Beispielsweise verwenden nur ca. 10 % der KI-Benchmarks vollständig reale Aufgaben, die tatsächliche Anwendungsszenarien widerspiegeln. Zudem seien viele Benchmarks methodisch unsauber, da nicht präzise definiert sei, was eigentlich gemessen…