Warum die meisten RAG-Systeme im Mittelstand scheitern.

Vier von fünf Wissens-Suchen, die ich mir ansehe, scheitern an drei wiederkehrenden Fehlern. Keiner davon liegt im Modell.

Die Versuchung ist groß: Daten in einen Vektor-Index werfen, Modell oben drauf, fertig. Das Ergebnis sieht aus wie ein Demo-Erfolg und scheitert in Woche drei am Realbetrieb.

Fehler 01 — Chunking ohne Sinn

Standard-Chunking nach Tokenlänge zerschneidet Antworten. In einem Verfahrenshandbuch steht der relevante Hinweis oft drei Absätze nach der Frage.

Fehler 02 — Kein Quellen-Zwang

Wenn das System ohne Belegstelle antworten darf, antwortet es ohne Belegstelle. Dann ist es ein Halluzinations-Generator.

Fehler 03 — Keine Governance

Mandanten-Daten, Personal-Daten, vertrauliche Vermerke. Wer was sehen darf, ist organisatorisch komplex. Wer das nachträglich nachrüstet, baut zwei Mal.