KI korrumpiert deine Dokumente still und leise

Eine Microsoft-Research-Studie hat etwas gemessen, das viele Content-Teams bereits ahnen, aber nicht beziffern konnten: LLMs machen beim Bearbeiten von Dokumenten eine spezifische Art von Fehler, die gefährlicher ist als eine klassische Halluzination. Die Fehler sind selten, aber schwerwiegend. Und sie lesen sich grammatikalisch korrekt.

Das DELEGATE-52-Benchmark-Projekt testete 19 LLMs über 20 Editing-Interaktionen hinweg in 52 professionellen Domänen. Das Ergebnis ist ernüchternd: Selbst die leistungsstärksten Frontier-Modelle, darunter Gemini 3.1 Pro, Claude 4.6 Opus und GPT 5.4, korrumpierten im Schnitt 25 Prozent des Dokumenteninhalts bis zur 20. Interaktion. Über alle 19 getesteten Modelle hinweg lag die durchschnittliche Degradation bei 50 Prozent.

Was das so heikel macht: Die Fehler sind keine Tippfehler. Es sind hochwertige, grammatikalisch einwandfreie Veränderungen, die beim normalen Korrekturlesen durchrutschen. Eine verschobene Zahl, ein weggelassener Halbsatz, eine subtil veränderte Quellenangabe. Wer nicht weiß, wie das Original lautete, wird den Fehler nicht finden.

Besonders interessant ist der Befund zu agentischen Setups: Wer die LLMs mit File-Tools in einen agentischen Harness einbettet, also die Konfiguration die eigentlich mehr Leistung bringen soll, bekommt im Schnitt 6 Prozent mehr Degradation bei zwei- bis fünffachem Token-Verbrauch. Die Annahme, dass agentic Workflows das Problem lösen, hält der Datenlage nicht stand.

Python-Code war die einzige Domäne, in der die meisten Modelle die 98-Prozent-Genauigkeitsschwelle überschritten. Für Prosa-lastige Inhalte, also genau das, was Content-Teams täglich produzieren, sieht die Bilanz deutlich schlechter aus.