RAG AI: Was Retrieval-Augmented Generation ist und wann Unternehmen es brauchen

Was ist RAG?

RAG ist ein Verfahren, bei dem ein KI-Sprachmodell vor dem Antworten in einer externen Wissensquelle nachschlägt. Der Begriff stammt aus einem Forschungspapier von Patrick Lewis und Kollegen aus dem Jahr 2020. Die Autoren beschreiben dort das Grundproblem, das bis heute gilt: Große Sprachmodelle speichern viel Wissen in sich, kommen aber schlecht gezielt daran heran, können ihre Quellen nicht belegen und lassen sich nicht einfach mit neuem Wissen aktualisieren. Ihre Lösung war, das Modell mit einem durchsuchbaren Textbestand zu koppeln. In den Tests waren die Antworten dadurch genauer und sachlich richtiger als die eines Modells ohne Suche.

Das Fraunhofer IESE beschreibt RAG als Kopplung eines Sprachmodells mit einer Suche über Dokumente, Datenbanken oder Wissensgraphen. Das Wissen für die Antwort kommt aus den angebundenen Quellen, das Modell formuliert.

Für ein Unternehmen heißt das: Sie können eine KI fragen „Welches Anzugsdrehmoment gilt für die Lagerschrauben an Baureihe X?“ oder „Welche Kündigungsfrist steht im Rahmenvertrag mit Lieferant Y?“ und bekommen eine Antwort aus Ihren eigenen Dokumenten, samt Verweis auf die Fundstelle.

Wie funktioniert ein RAG-System?

Ein RAG-System arbeitet in drei Schritten: Unterlagen vorbereiten, passende Stellen suchen und daraus eine Antwort formulieren.

1. Unterlagen vorbereiten

Zuerst werden Ihre Dokumente eingelesen und in kleinere Abschnitte zerlegt, im Fachjargon Chunks. Ein Embedding-Modell wandelt jeden Abschnitt in eine Zahlenfolge um, die seine Bedeutung abbildet. Diese Vektoren landen in einer Vektordatenbank, verknüpft mit dem Originaltext. Das passiert einmal vorab und danach regelmäßig, sobald sich Dokumente ändern. AWS empfiehlt, Dokumente und ihre Vektoren automatisch oder in festen Abständen zu aktualisieren, damit das System keine veralteten Stände ausgibt.

2. Passende Stellen suchen

Stellt jemand eine Frage, wird auch die Frage in einen Vektor umgewandelt. Das System sucht die Abschnitte, deren Bedeutung am besten passt. Diese semantische Suche findet auch Stellen, in denen andere Wörter stehen als in der Frage. Viele Systeme kombinieren sie mit einer klassischen Stichwortsuche, weil Artikelnummern oder Normbezeichnungen per Stichwort zuverlässiger gefunden werden. Bei strukturierten Daten, etwa in einer SQL-Datenbank, kann das Sprachmodell statt einer Textsuche auch eine Datenbankabfrage erzeugen.

3. Antwort formulieren

Die gefundenen Abschnitte werden zusammen mit der Frage an das Sprachmodell gegeben, mit der Anweisung, nur auf dieser Grundlage zu antworten. Das Modell fasst zusammen, formuliert und nennt die Quellen. Der Nutzer kann die Fundstelle öffnen und selbst nachlesen.

Warum reicht ein normales Sprachmodell nicht?

Ein Sprachmodell kennt nur das, was in seinen Trainingsdaten stand, und diese Daten enden zu einem bestimmten Zeitpunkt. Ihre Wartungshandbücher, Preislisten und Verträge waren nie darin enthalten. AWS nennt die typischen Folgen: Das Modell gibt falsche Antworten, wenn es keine kennt, nennt veraltete Informationen oder verwechselt Fachbegriffe.

Neu trainieren ist für die meisten Unternehmen keine Option. Das ist teuer, und jede Änderung an einem Dokument würde ein neues Training nach sich ziehen. RAG umgeht das: Neue Dokumente werden einfach in den Suchbestand aufgenommen. Dazu kommt die Nachprüfbarkeit. Weil jede Antwort auf konkrete Fundstellen verweist, können Mitarbeitende sie kontrollieren. Bei Verträgen und technischen Vorgaben ist das unverzichtbar.

Ist ChatGPT ein RAG-System?

ChatGPT ist zunächst ein Sprachmodell mit Chat-Oberfläche. Sobald es im Web sucht und die Treffer in seine Antwort einbaut, arbeitet es nach dem RAG-Prinzip. Ähnlich ist es, wenn Sie Dateien hochladen. Für Entwickler bietet OpenAI dafür ein eigenes Werkzeug namens File Search an, mit dem ein Modell in zuvor hochgeladenen Dateien per semantischer Suche und Stichwortsuche nachschlägt.

Microsoft Copilot (früher Microsoft 365 Copilot) ist ein gutes Beispiel für RAG im Unternehmensalltag. Laut Microsoft wird jede Anfrage mit Inhalten aus Microsoft Graph angereichert, also aus E-Mails, Dateien, Besprechungen und Kalendern, und zwar nur aus dem, worauf die jeweilige Person Zugriff hat. Wichtig für die Lizenzwahl: Copilot Chat, das in vielen Microsoft-365-Lizenzen ohne Aufpreis enthalten ist, nutzt laut Microsoft vor allem Webdaten. Firmeninhalte bezieht es nur, wenn Sie Dateien selbst hochladen, in Outlook oder Teams geöffnete Inhalte nutzen oder einen nutzungsabhängig abgerechneten Agenten einsetzen. Wie Sie in Microsoft Copilot eigene Agenten mit Firmenwissen anlegen, lesen Sie im Artikel Copilot-Agent erstellen.

RAG oder Fine-Tuning: Was passt wofür?

Für Firmenwissen ist RAG fast immer der bessere Weg. Fine-Tuning, also das Nachtrainieren eines Modells, verändert eher Stil und Verhalten als den Wissensstand, und jede Änderung an den Dokumenten würde neues Training nötig machen. Als Ergänzung kann es sinnvoll sein, etwa für einen bestimmten Antwortstil.

Wann braucht ein Unternehmen RAG?

RAG lohnt sich, wenn viele Menschen immer wieder Antworten in einem großen Bestand an Unterlagen suchen. Typische Fälle im Mittelstand:

• Service und Technik: Servicetechniker oder der Innendienst fragen nach Wartungsintervallen, Fehlercodes oder Ersatzteilen und bekommen die Antwort aus Handbüchern und Servicemitteilungen. Gerade im Maschinenbau liegen solche Unterlagen oft verstreut auf Laufwerken.
• Verträge und Einkauf: Wer wissen will, welche Lieferbedingungen, Haftungsgrenzen oder Kündigungsfristen gelten, muss nicht mehr zwanzig PDFs öffnen.
• Produktdaten und Angebote: Der Vertrieb fragt nach technischen Daten, Zulassungen oder Alternativen zu einem Artikel und hat die Antwort im Gespräch parat.
• Kundenservice: Ein Chatbot beantwortet Kundenfragen aus Bedienungsanleitungen und FAQ, statt frei zu formulieren. Mehr dazu unter KI im Kundenservice.
• Interne Regeln: Reisekosten, Urlaubsregeln, Qualitätsvorgaben. AWS nennt als Beispiel einen Personal-Chatbot, der die Urlaubsregelung und das Resturlaubskonto eines Mitarbeiters abruft.

Kein RAG brauchen Sie, wenn es um ein paar Dokumente geht, die selten gebraucht werden. Da reicht das Hochladen in ein KI-Werkzeug mit Firmenlizenz. Ebenso wenig, wenn die Antwort eigentlich in einer Tabelle im ERP steht, etwa Lagerbestand oder Lieferstatus. Dann ist eine direkte Abfrage der Datenbank zuverlässiger als eine Textsuche.

Woran RAG-Projekte in der Praxis scheitern

Die Technik selbst ist selten das Problem. Schwierig wird es bei den Daten und bei der Prüfung. Ein wirklich gutes RAG-System braucht viel Detailarbeit und bietet auch keine Garantie gegen erfundene Antworten.

Die häufigsten Stolpersteine:

• Schlechte Vorlagen: Eingescannte PDFs ohne Texterkennung, Tabellen über mehrere Seiten oder fünf Versionen desselben Handbuchs führen zu falschen Treffern. Vor dem Start lohnt es sich, veraltete Fassungen auszusortieren.
• Fehlende Zugriffsrechte: Wenn alle Dokumente in einem Topf landen, sieht plötzlich jeder die Gehaltstabelle. Die Rechte müssen aus den Quellsystemen übernommen werden.
• Kein Prüfmaßstab: Ohne eine Liste echter Fragen mit richtigen Antworten weiß niemand, ob eine Änderung das System besser oder schlechter macht. Richten Sie die Bewertung ein, bevor Sie optimieren.
• Sprache: Kleinere offene Modelle können im Deutschen schwächer sein als große. Das spielt eine Rolle, wenn Sie das Modell aus Datenschutzgründen selbst betreiben wollen.

Wie baut man ein RAG-System?

Es gibt drei Wege, je nach Datenmenge, Anspruch und Datenschutzvorgaben.

Fertige Funktionen nutzen. Microsoft Copilot greift auf E-Mails, Dateien und Termine in Microsoft 365 zu, Gemini in Google Workspace auf die Workspace-Inhalte, die der jeweilige Nutzer öffnen darf. Für viele Firmen ist das der schnellste Einstieg, solange die Unterlagen ohnehin dort liegen und die Berechtigungen sauber gepflegt sind.

Bausteine von Modellanbietern. Anbieter wie OpenAI stellen Vektorspeicher und Suche als fertigen Dienst bereit. Sie laden die Dateien hoch, Zerlegen, Umwandeln und Indexieren übernimmt der Anbieter. Das spart Entwicklungszeit, die Daten liegen dann aber beim Anbieter.

Eigene Lösung. Mit Frameworks wie LangChain oder Haystack lässt sich ein RAG-System frei zusammenstellen, inklusive eigener Vektordatenbank und Anbindung an ERP, DMS oder Wiki. Mit einem offenen Sprachmodell auf eigenen Servern kann die gesamte Verarbeitung im eigenen Netz stattfinden. Das ist mehr Aufwand, gibt Ihnen aber volle Kontrolle über Daten und Modellwahl.

In der Praxis bleibt es selten bei der reinen Frage-Antwort-Funktion. Sobald die KI nach dem Nachschlagen auch etwas tun soll, etwa ein Angebot vorbereiten oder eine Reklamation anlegen, wird aus dem RAG-System ein KI-Agent. Was ein solcher Agent ist, erklärt der Artikel Intelligenter Agent, und wie man ihn aufsetzt, steht unter KI-Agent erstellen.

Was ist beim Datenschutz zu beachten?

Bei RAG geht es um Ihre internen Dokumente, deshalb ist die Frage nach dem Speicherort zentral. Klären Sie vor dem Start, wo die Vektordatenbank liegt, welcher Anbieter die Anfragen verarbeitet und ob ein Vertrag zur Auftragsverarbeitung besteht. Microsoft gibt für Copilot an, dass der Datenverkehr von Nutzern aus der EU innerhalb der EU-Datengrenze bleibt. Ausgenommen sind derzeit Modelle von Anthropic, die Microsoft als Unterauftragsverarbeiter einsetzt. Bei anderen Anbietern sollten Sie das im Vertrag nachlesen.

Mindestens genauso wichtig sind die Zugriffsrechte. Ein gutes RAG-System zeigt jeder Person nur Antworten aus Dokumenten, die sie auch ohne KI öffnen dürfte. Bei Microsoft Copilot ist das laut Microsoft so geregelt. Bei einer eigenen Lösung müssen Sie es selbst einbauen. Wenn Sie unsicher sind, ob Ihre Unterlagen und Systeme dafür bereit sind, ist der kostenlose KI-Check ein guter erster Schritt.