RAG verbindet Sprachmodelle mit einem vorgeschalteten Abruf relevanter Informationen aus Datenbanken, Dokumenten oder anderen Wissensquellen. Das Modell antwortet also nicht nur aus seinem Training, sondern auf Basis zusätzlicher Inhalte.
Ein Beispiel: Ein Mitarbeiter fragt einen internen Chatbot nach der aktuellen Urlaubsregelung. RAG ruft dazu das entsprechende HR-Dokument ab und bezieht es direkt in die Antwort ein – anstatt nur auf allgemeines Trainingswissen zurückzugreifen.
Durch den Zugriff auf externe Daten lassen sich Wissenslücken und Halluzinationen reduzieren. Besonders bei aktuellen, unternehmensspezifischen oder sehr genauen Informationen ist dieser Ansatz hilfreich.
Im Unterschied zum Fine-Tuning, bei dem ein Modell mit neuen Daten nachtrainiert wird, bleibt beim RAG-Ansatz das Modell selbst unverändert – nur die Wissensbasis, auf die es zugreift, wird erweitert. RAG ist dadurch flexibler und einfacher aktuell zu halten, da keine erneute Trainingsphase notwendig ist.
RAG ist ein zentraler Baustein für interne Wissensassistenten und dokumentengestützte Chatbots. Es ermöglicht, bestehendes Unternehmenswissen direkt in die Antworterstellung einzubinden.