RAG steht für Retrieval-Augmented Generation (Retrieval-Augmented Generation), im Chinesischen allgemein als Retrieval-Augmented Generation bezeichnet. Sein Kern besteht nicht darin, dass das Modell sich alle Informationen merkt, sondern zunächst relevante Inhalte in externen Wissensdatenbanken sucht, bevor es antwortet, und dann das große Modell Antworten auf Basis dieser Informationen generieren zu lassen.
Welches Problem löst es?
Gewöhnliche große Modelle basieren ausschließlich auf Wissen, das während der Schulung erworben wurde, und sind anfällig für Fehler bei Unternehmensrichtlinien, Produktdokumenten, Vertragsbedingungen oder den neuesten Materialien. RAG trennt das "Finden von Informationen" vom "Antworten schreiben": Das Abrufsystem ist dafür verantwortlich, relevante Dokumentfragmente zu finden, während das Modell sie organisiert, erklärt und ausdrückt.
Der grundlegende Prozess von RAG
- Teile das Dokument in kleinere Segmente auf und behalte Metadaten wie Titel, Quelle und Berechtigungen.
- Verwenden Sie das Embedding-Modell, um Fragen und Dokumentfragmente in Vektoren umzuwandeln.
- Nutzen Sie Vektordatenbanken oder Suchmaschinen, um die relevantesten Segmente zu finden.
- Füge den Clip in den Prompt ein und lass das Modell anhand von Beweisen antworten.
- Falls nötig, kehren Sie zur Quelle zur manuellen Überprüfung zurück.
RAG bedeutet nicht, dass es keine Halluzinationen gibt
RAG kann Halluzinationen nur reduzieren und beseitigt sie nicht automatisch. Wenn die Suche unvollständig ist, die Slices zu schlecht sind, Fehler bei der Berechtigungsfilterung, die Clips veraltet sind oder die Anforderungen an den Prompt unklar sind, führt all dies dazu, dass die Antwort off-topic ist. Viele Q&A-Fehler in der Wissensdatenbank sind nicht auf schlechte Modelle zurückzuführen, sondern darauf, dass Abruf und Dokumentenverwaltung nicht gut umgesetzt werden.
Für welche Szenarien sind sie geeignet?
RAG eignet sich für Unternehmenswissensdatenbanken, Kundenservice-Q&A, Richtliniensuche, Organisation von Papiermaterial und Produkthandbuchassistenten. Sie eignet sich nicht für Aufgaben, bei denen Modelle aus dem Nichts erstellt werden müssen, komplexe mathematische Argumentation oder fehlende verlässliche Datenquellen. Um zu entscheiden, ob ein Projekt ROG verwenden sollte, könnten Sie fragen: Muss die Antwort aus einer Charge rückverfolgbarer externer Daten stammen? Wenn ja, ist RAG in der Regel stabiler als ein einfacher Prompt.
