RAG-System für Unternehmen: Kosten, Aufbau und Datenbasis

Ein RAG-System für Unternehmen lässt ein Sprachmodell vor jeder Antwort in Ihren eigenen Unterlagen nachschlagen, etwa in Verträgen, Preislisten oder Prozessbeschreibungen. Was es kostet, hängt vor allem vom Zustand Ihrer Daten ab: Die Aufbereitung der Daten ist meist der größere Posten, die laufenden Cloud-Kosten sind der kleinere. Wenn sich Ihr Problem mit einer besseren Vorlage oder einem klaren Workflow lösen lässt, brauchen Sie kein RAG.

Ein gewöhnlicher Chatbot kennt Ihre Preislisten, Verträge und internen Abläufe nicht. Im Zweifel formuliert er eine plausible Antwort, die schlicht falsch ist. Genau dieses Problem soll RAG lösen. In unserer KI Beratung sehen wir aber regelmäßig, dass der Engpass nicht beim Modell liegt, sondern bei den Daten dahinter. Dieser Artikel zeigt die Bausteine, die Anforderungen an Ihre Daten, die Kostenblöcke, die offenen Datenschutzfragen und eine Entscheidungshilfe, wann RAG die falsche Wahl ist.

Was ist ein RAG-System, und was macht es anders als ein normaler Chatbot?

RAG steht für Retrieval-Augmented Generation. Das Sprachmodell ruft während der Antwort zusätzliche Informationen aus Datenquellen ab, statt sich nur auf sein statisches Trainingswissen zu verlassen (Haufe Akademie). Bildlich gesprochen antwortet das Modell mit aufgeschlagenem Ordner statt aus dem Gedächtnis.

Wichtig für die Einordnung: Das Modell wird dabei nicht neu trainiert. Es bekommt bei jeder Frage die passenden Textstellen aus Ihren Unterlagen mitgeliefert und formuliert daraus die Antwort. Der Nutzen laut BVDW-Whitepaper sind fachlich präzise, kontextgenaue Antworten, auf Wunsch mit nachvollziehbaren Quellenangaben. Dasselbe Whitepaper macht aber auch klar, dass RAG eine klare Informationsstruktur erfordert. Ein RAG-System ist also nur so gut wie die Wissensbasis, auf die es zugreift.

Aus welchen Bausteinen besteht RAG für Unternehmen?

Die meisten Anbieter reden zuerst über das Sprachmodell. In der Praxis entscheiden aber die anderen Bausteine, ob das System brauchbare Antworten liefert.

1. Datenquellen: Sie legen fest, welche Informationen angebunden werden (BVDW). Typisch sind SharePoint, CRM, ERP, Postfächer und PDF-Ablagen. Häufiger Fehler: Es wird alles angebunden, inklusive veralteter Versionen, die sich widersprechen.
2. Aufbereitung: Texte werden extrahiert, in Abschnitte geteilt und mit Metadaten versehen. Hier entscheidet sich die Qualität, weil schlecht zerlegte Tabellen oder fehlende Datumsangaben später zu falschen Treffern führen. Bei Azure AI Search ist die reine Textextraktion laut Microsoft kostenlos, die Bildextraktion wird berechnet.
3. Suche: Gute Systeme kombinieren semantische Suche mit klassischer Stichwortsuche und Filtern (Haufe Akademie). Ein verbreiteter Baustein am Markt ist Azure AI Search. Fehlerquelle: Nur semantische Suche findet Artikelnummern oder Paragrafen oft schlechter als eine simple Stichwortsuche.
4. Sprachmodell: Es formuliert die Antwort aus den gefundenen Stellen. Auswahlkriterien sind Antwortqualität auf Deutsch, Hosting-Region und Preis. Fehlerquelle: Das Modell wird nicht angewiesen, bei fehlenden Treffern „weiß ich nicht“ zu sagen.
5. Zugriffsrechte: Das System darf nur Inhalte zeigen, die die fragende Person auch sonst sehen dürfte. Fehlt diese Prüfung, wird die Suche zum Datenleck, etwa bei Gehaltslisten oder Personalakten im selben Laufwerk.

Welche Anforderungen müssen Ihre Daten erfüllen?

Strukturierte Daten brauchen eine Struktur. Fließtext reicht nicht. Bei einem internationalen Holzkonzern mit über 1.000 Produktvarianten haben wir das deutlich gesehen: Microsoft Copilot hat die Produkttabelle als Fließtext statt als strukturierte Daten gelesen und falsche Ergebnisse geliefert. Erst nach Überführung der Daten in eine Dataverse-Struktur hat es funktioniert. Für Sie heißt das: Preise, Varianten und Maße gehören in eine Tabelle oder Datenbank, nicht in ein PDF, das man hofft, richtig auszulesen.

Bevor Sie ein Angebot einholen, prüfen Sie diese Punkte:

• Gibt es pro Fragestellung eine führende Quelle, oder existieren mehrere Versionen mit unterschiedlichem Inhalt?
• Liegen Tabellen, Preise und Varianten als Daten vor oder nur in PDFs und E-Mails?
• Wer pflegt die Inhalte, und wie aktuell sind sie?
• Haben Dokumente Rechte oder Vertraulichkeitsstufen, die das System übernehmen kann?
• Enthalten die Unterlagen personenbezogene Daten?

Der zweite Engpass liegt oft vor den Daten, nämlich in den Abläufen. Bei einer großen österreichischen Sozialorganisation läuft die Automatisierung technisch, der Echtbetrieb hängt aber an gewachsenen Abläufen mit uneinheitlichen Formaten und vielen Eingangskanälen, nicht an der KI. Die Konsequenz für Ihr Projekt: zuerst Kanäle und Formate vereinheitlichen, dann automatisieren. Als einfacher Test hilft eine Frage: Kann eine Kollegin die Frage anhand von zwei oder drei Quellen eindeutig beantworten? Wenn nicht, kann es das System auch nicht.

Was kostet der Aufbau eines RAG-Systems?

Eine seriöse Pauschalzahl gibt es nicht. Wir haben keine belastbare Quelle für typische Projektkosten oder Bauzeiten gefunden und nennen deshalb auch keine. Was sich sagen lässt: Der Preis setzt sich aus vier Blöcken zusammen, und deren Gewicht hängt stark von Ihrer Datenlage ab.

• Analyse und Datenaufbereitung: Bereinigen, Strukturieren, Rechte klären. Der Aufwand richtet sich nach Datenmenge, Zustand und Anzahl der Quellen.
• Aufbau und Anbindung: Suchdienst einrichten, Quellen anbinden, Antwortlogik und Prompts entwickeln, Oberfläche bereitstellen (etwa in Microsoft Teams).
• Laufende Plattformkosten: Suchdienst, Speicher und Sprachmodell-Nutzung.
• Betrieb und Pflege: Daten aktuell halten, Antwortqualität prüfen, Rechte nachziehen, Anwender schulen.

Am Beispiel Azure AI Search lassen sich die Plattformkosten gut erklären. Laut Microsoft Learn gibt es zwei Preismodelle. Dedicated bietet feste Kapazität über Search Units mit Stundensatz je Tarifstufe (Free, Basic, Standard S1 bis S3, Storage Optimized L1 und L2). Serverless wird nach Compute Units und indexiertem Speicher abgerechnet, ist aber noch in der Preview, ohne SLA und nicht für den Produktivbetrieb empfohlen. Basic kann laut Microsoft Produktivlast tragen und mit bis zu drei Replicas SLA-Anforderungen erfüllen. Der Speicher pro Partition reicht von 15 GB (Basic) bis 2 TB (L2).

Für die Entscheidung relevant: Der Free-Tier ist nur für Entwicklung gedacht, kann nach Inaktivität gelöscht werden und unterstützt keine Private Endpoints, Customer-Managed Keys oder IP-Firewall. Laut der Kostenseite von Microsoft wird im Dedicated-Modell nicht pro Abfrage abgerechnet, und das gewählte Preismodell lässt sich später nicht wechseln. Semantic Ranker, Agentic Retrieval und KI-Anreicherung kosten extra. Vektorisierung und Sprachmodelle werden zum Tarif des Modellanbieters verrechnet, eigene Schlüssel erfordern einen kostenpflichtigen Azure Key Vault. Konkrete Preise nennt Microsoft nur im Portal und auf der regionsabhängigen Preisseite.

Unsere Empfehlung: Verlangen Sie von jedem Anbieter eine Aufstellung nach diesen vier Blöcken, nicht nur einen Gesamtpreis. So sehen Sie, ob die Datenaufbereitung realistisch eingeplant ist oder ob sie still im Projekt landet.

Ist ein RAG-System in Österreich datenschutzkonform?

Das lässt sich nicht pauschal beantworten. Es hängt davon ab, welche Daten in der Wissensbasis liegen, wo sie verarbeitet werden und wer darauf zugreift. Dieser Abschnitt ersetzt keine Rechtsberatung. Er zeigt, welche Fragen Sie mit Ihrem Datenschutzbeauftragten klären sollten.

Die erste Frage ist, ob personenbezogene Daten enthalten sind, etwa Mitarbeiterdaten, Kundenmails oder Klienten- und Gesundheitsdaten. Ohne solche Daten ist die Lage deutlich einfacher. Danach folgen Hosting und Vertrag: In welcher Region liegen Index, Protokolle und Modellverarbeitung? Gibt es einen Auftragsverarbeitungsvertrag, und werden Eingaben für das Training des Anbieters verwendet? Zugriffsrechte und Protokollierung gehören ebenfalls ins Datenschutzkonzept. Im Gesundheitswesen und bei Non-Profits mit Klientendaten sollten Sie die Sensibilität der Daten besonders sorgfältig prüfen lassen.

Die EDPB-Stellungnahme 28/2024 vom 17. Dezember 2024 betrifft vor allem das Training von KI-Modellen und ist für RAG nur indirekt relevant. Eine Aussage daraus gilt aber auch hier: Berechtigtes Interesse nach Art. 6 Abs. 1 lit. f DSGVO darf nicht automatisch als Rechtsgrundlage angenommen werden (CMS). Wie Sie Anbieter in dieser Hinsicht vergleichen, beschreiben wir im Beitrag KI-Einführung: 5 häufige Fehler vermeiden.

Wann lohnt sich RAG, und wann reicht eine Vorlage oder ein Workflow?

Wir sagen Projekte ab, wenn KI nicht das richtige Werkzeug ist. Diese Gegenüberstellung hilft bei der Entscheidung:

Ihre Situation	Passende Lösung
Viele Dokumente, wechselnde Fragen, Antworten müssen auf Quellen verweisen, Wissen ändert sich laufend	RAG
Die Aufgabe ist immer gleich, etwa ein Standardschreiben mit fester Struktur	Bessere Vorlage
Der Ablauf steht fest (Eingang, Prüfung, Entwurf, Freigabe), die Hürde liegt bei Formaten und Kanälen	Klarer Workflow, eventuell mit KI-Schritten
Die Antwort steht in einer Tabelle, etwa Preise oder Produktvarianten	Strukturierte Datenbank mit Abfrage
Niemand pflegt die Daten oder die Rechtelage ist offen	Noch kein Projekt starten

Zwei Punkte werden in dieser Entscheidung oft übersehen. Erstens die Nutzung: Wer arbeitet täglich mit dem System, wer pflegt es und wer prüft stichprobenartig die Antworten? Zweitens die Abgrenzung zu Agenten, die nicht nur nachschlagen, sondern Aktionen auslösen. Wenn Ihr Vorhaben eher in diese Richtung geht, lesen Sie KI-Agenten für Unternehmen: Wo sie sich lohnen und wie Sie starten.

Wie starten Sie mit einem RAG-System für Unternehmen?

Starten Sie klein und klar begrenzt: eine konkrete Fragestellung, eine gepflegte Datenquelle, ein Pilot-Team. Lassen Sie die Antworten in dieser Phase stichprobenartig gegen die angegebene Quelle prüfen. So sehen Sie schnell, ob Fehler aus der Suche, aus den Daten oder aus dem Modell kommen. Klären Sie Datenschutz und Rechtekonzept, bevor Sie zum ersten Mal mit Echtdaten testen, nicht danach.

Erst wenn dieser Prototyp verlässlich funktioniert, lohnt die Entscheidung über weitere Quellen, Nutzergruppen und das passende Preismodell. Wenn Sie ein RAG-System für Unternehmen planen und wissen wollen, ob Ihre Datenlage dafür reicht, begleiten wir Sie mit individuellen KI-Lösungen von der Discovery bis zum Rollout. Ein erster Schritt ist ein kostenfreies 30-minütiges Erstgespräch, für das Sie einfach Kontakt aufnehmen können.