LLMs erreichen ihre Grenzen – Sind jetzt mehr Daten oder ein neuer Ansatz erforderlich?

Bisher war das Motto bei LLMs: Je mehr Daten, desto besser der Output. Aber ist das wirklich die langfristige Lösung oder braucht man nicht einen anderen Ansatz? Es gibt zwei Limitationen, weswegen das Prinzip „Mehr Daten = Besserer Output“ nicht endlos funktionieren wird:

1. Im Jahr 2026 haben die prominenten KI-Modelle voraussichtlich das gesamte öffentlich zugängliche Internet als Datensatz erfasst. (EpochAI)
2. Die technischen Grenzen in Qualität, Konsistenz, Logik und Reproduzierbarkeit der Outputs von LLMs werden immer deutlicher. (Cambridge University)

Grund für diese Limitationen ist die probabilistische Natur der Modelle. D. h. bei mehr Daten würde man zwar der richtigen Antwort für seine Fragen näherkommen, diese aber nie 100-prozentig erreichen. Da aber für industriespezifische Anwendungsfälle Präzision und deterministische Sicherheit erforderlich sind, zeichnen sich zwei Trends ab, mit denen man diesen Limitationen entgegenwirken kann:

1. Nicht mehr, sondern spezifischere Daten für bessere Outputs. Unternehmen werden, laut Mistral CEO, vermehrt auf ihre eigenen industriespezifischen Daten setzen müssen, um sich in Kombination mit eigens angepassten Open-Source-Modellen einen qualitativen Vorteil gegenüber Modellen von Anthropic, Google oder OpenAI zu erarbeiten. Die Handlungsempfehlung für Unternehmen: um langfristige Souveränität zu gewährleisten und nicht von externen Anbietern abhängig zu sein, werden der Aufbau interner KI-Kompetenzen und die Entwicklung unternehmensspezifischer KI-Lösungen entscheidend.
2. Besserer Umgang mit Daten durch alternative Modelle. Wäre es möglich die probabilistische Logik zu verlassen und ein Model zu finden, das vom statistischen Denken ins Wissen kommt? Hoffnung bekommt man diesbezüglich mit einem Blick in die Forschung. Hier fällt der Fokus auf KI-Systeme, die die probabilistische Lernfähigkeit von neuronalen Netzen mit der deterministischen Logik von regelbasierten Systemen kombiniert: Die sog. Neuro-Symbolic AI. Unternehmen wie Amazon, IBM oder Microsoft setzen diesen Ansatz in bestimmten Feldern, wie beispielsweise Amazon in seiner Logistik, bereits um. Welche Herausforderungen uns in diesem Feld bevorstehen, zeigt sich nachvollziehbar in diesem Artikel des European Data Protection Supervisor (EDPS).

Die Zukunft liegt vermutlich in der Kombination von spezialisierten Daten und spezialisierten Modellen. Der allgemeine „Universal-KI-Ansatz“ weicht maßgeschneiderten Lösungen.

Von Marcel Ohrenschall