Bereits kleine Mengen an „Gift-Dokumenten“ können Sprachmodelle manipulieren

Eine neue Forschungsarbeit zur Sicherheit großer KI-Sprachmodelle zeigt, dass bereits eine sehr kleine Anzahl von „vergifteten Dokumenten“ genügt, um schädliche Anweisungen in Sprachmodelle einzuschleusen. Da es nicht auf den prozentualen Anteil der „vergifteten Dokumente“ ankommt, sondern auf deren absolute Zahl, bietet die zunehmende Größe von Sprachmodellen auch keinen besseren Schutz – im Gegenteil, Sprachmodelle mit hoher Lerneffizienz sind besonders anfällig, da diese auch gut darin sind, seltene, aber konsistente Muster in den Trainingsdaten zu erkennen. Desinformationskampagnen im Online-Raum können damit für die Weiterverwendung von mittels Sprachmodellen recherchierten Informationen zu einem Problem werden. Denn konsistent falsche Informationen aus einer verhältnismäßig kleinen Zahl an Quellen würden dann schon ausreichen, um im Sprachmodell die Ausgabe von fehlerhaften Antworten zu erreichen.

Von Markus Hoffmann

Quelle: heise.de, 15.10.2025, von Dr. Volker Zota