Jedes AI-Modell kennt das Internet. Keines kennt Ihr Haus. Es kennt weder Ihre Arbeitsanweisungen noch Ihre Produktbedingungen, weder die Vorstandsbeschlüsse noch die Sondervereinbarungen mit Ihrem größten Kunden. RAG – Retrieval Augmented Generation – schließt genau diese Lücke: Das Modell beantwortet Fragen nicht aus seinem Trainingswissen, sondern aus Ihren Dokumenten, mit Quellenangabe. Das klingt technisch. Es ist die Architekturentscheidung, die darüber bestimmt, ob AI in Ihrem Haus Allgemeinplätze produziert oder Arbeitsergebnisse.
RAG holt die Antwort aus Ihren Dokumenten, nicht aus dem Modell
Das Prinzip in einem Absatz, ohne Fachvokabular: Bevor das Modell antwortet, sucht ein vorgeschalteter Schritt die relevanten Passagen aus den freigegebenen Unternehmensquellen – Handbücher, Verträge, Richtlinien, Protokolle. Diese Fundstellen bekommt das Modell als Kontext mitgeliefert und formuliert daraus die Antwort, idealerweise mit Verweis auf die Quelle. Drei Dinge folgen daraus. Erstens Aktualität: Ändert sich die Richtlinie, ändert sich die Antwort – ohne dass ein Modell neu trainiert wird. Zweitens Nachprüfbarkeit: Die Quellenangabe macht aus einer Behauptung einen belegten Befund; im regulierten Umfeld ist das der Unterschied zwischen einsetzbar und unbrauchbar. Drittens Berechtigung: Die Suche kann Zugriffsrechte respektieren – wer ein Dokument nicht sehen darf, bekommt auch keine Antwort daraus.
Warum ist das für Entscheider relevant und nicht nur für die IT? Weil RAG die Antwort auf die häufigste Enttäuschung mit AI ist. Ein generisches Modell beantwortet die Frage nach der Kündigungsfrist im eigenen Tarifwerk mit einer plausiblen, falschen Zahl. Genau solche Erlebnisse treiben Mitarbeitende zurück in die Schatten-Nutzung oder in die Resignation. Ein RAG-System, das die tatsächliche Klausel zitiert, macht aus dem Spielzeug ein Werkzeug – und ist damit der Kern fast jedes ernsthaften internen AI-Angebots.
RAG-Projekte scheitern an den Dokumenten, nicht am Modell
Jetzt die Ernüchterung, die im Anbieter-Pitch fehlt. Die Qualität eines RAG-Systems ist die Qualität seiner Wissensbasis – und die ist in den meisten Häusern schlechter als angenommen. Drei Versionen derselben Arbeitsanweisung in drei Laufwerken, veraltete Dokumente ohne Gültigkeitsdatum, Wissen in E-Mail-Postfächern statt in Systemen: Das Modell findet dann drei widersprüchliche Antworten und zitiert die falsche – mit Quellenangabe, was den Fehler glaubwürdiger macht statt sichtbarer. Unsere Faustregel aus der Praxis: Der Aufwand eines RAG-Projekts liegt überwiegend in Kuratierung und Berechtigungsstruktur der Wissensbasis, nicht in der AI-Komponente.
Dazu kommt die Betriebsdimension, die RAG von einem Einführungsprojekt unterscheidet. Eine Wissensbasis lebt: Dokumente kommen dazu, veralten, widersprechen sich. Ohne definierten Pflegeprozess – wer gibt frei, wer archiviert, wer misst die Antwortqualität – degradiert jedes RAG-System binnen Monaten zur schön formulierten Fehlerquelle. Das ist dieselbe Betriebslogik, die für alle produktiven AI-Systeme gilt: Der Wert entsteht nicht beim Go-live, sondern im gepflegten Dauerbetrieb. Und architektonisch gilt: RAG ist ein Baustein, kein Gegenmodell zu Agenten – über standardisierte Schnittstellen wie MCP wird die kuratierte Wissensbasis zur Quelle für jeden Agenten im Haus, vom Kundenservice bis zur Sachbearbeitung.
Der richtige Start: ein Wissensgebiet, das weh tut
Konkret bewährt hat sich der schmale, tiefe Einstieg. Ein Wissensgebiet wählen, in dem heute messbar Zeit verloren geht – Produktbedingungen im Service, Arbeitsanweisungen in der Sachbearbeitung, Vertragsklauseln im Einkauf. Die Dokumente dieses einen Gebiets konsolidieren: eine gültige Version, ein Eigentümer, ein Freigabeprozess. Dann das RAG-System darauf aufsetzen und die Qualität messen – Anteil korrekt beantworteter Testfragen, Quote der Quellenverweise, Nutzungszahlen. Erst wenn dieses Gebiet trägt, das nächste. Der umgekehrte Weg – alle Laufwerke anschließen und hoffen – produziert beeindruckende Demos und unbrauchbare Antworten.
Ihr Wettbewerbsvorteil steckt nicht im Modell – das haben alle. Er steckt in dreißig Jahren dokumentiertem Firmenwissen, das heute niemand findet. RAG macht es abrufbar. Wenn Sie das erste Wissensgebiet identifizieren wollen: Sprechen Sie uns an.
Häufige Fragen zu RAG
Was ist RAG (Retrieval Augmented Generation)?
RAG ist eine AI-Architektur, bei der das Sprachmodell vor der Antwort relevante Passagen aus den eigenen Unternehmensdokumenten erhält und daraus die Antwort formuliert – mit Quellenangabe. Das Modell antwortet damit aus dem aktuellen Firmenwissen statt aus seinem allgemeinen Trainingswissen.
Welche Vorteile hat RAG gegenüber einem normalen Chatbot?
Drei: Aktualität, weil geänderte Dokumente sofort geänderte Antworten liefern, ohne Modelltraining. Nachprüfbarkeit, weil jede Antwort auf die Quelle verweist – im regulierten Umfeld die Voraussetzung für den Einsatz. Und Berechtigungssteuerung, weil die Suche Zugriffsrechte respektiert und niemand Antworten aus Dokumenten erhält, die er nicht sehen darf.
Woran scheitern RAG-Projekte am häufigsten?
An der Wissensbasis, nicht am Modell: mehrfache Dokumentversionen, veraltete Inhalte ohne Gültigkeitsdatum, fehlende Freigabeprozesse. Der Hauptaufwand liegt in Kuratierung und Berechtigungsstruktur der Dokumente – und im laufenden Pflegeprozess, ohne den jede Wissensbasis binnen Monaten degradiert.
