GraphRAG ist eine Methode, die Wissensgraphen mit retrieval-augmentierter Generierung kombiniert. Zunächst extrahiert es Entitäten, Beziehungen und Ereignisse aus einer Reihe von Dokumenten, um verknüpfbare Graphen zu bilden, und generiert dann Zusammenfassungen nach Gemeinschaft und Hierarchie innerhalb des Graphen. Bei Fragen wie "Was sind die Hauptthemen in der gesamten Datenbank und wie stehen verschiedene Organisationen in Beziehung?" ist es leichter, die Gesamtstruktur zu erkennen als bei traditionellem RAG, das nur wenige ähnliche Textblöcke findet.
Welche Probleme sind traditionelle RAGs anfällig dafür, zu übersehen?
Das gewöhnliche RAG wandelt Abfragen in Vektoren um, ruft die ähnlichsten Fragmente ab und gibt sie dann dem Modell zur Antwort vor. Dies ist ideal, um Fakten wie das Beendigungsdatum eines Vertrags zu klären; Doch Hinweise auf globale Probleme könnten sich über Dutzende von Dokumenten erstrecken, ohne dass ein einzelnes Fragment dem Problem sehr ähnlich ist. Nur wenige hochrangige Clips zu nehmen, kann lokalisierte, hochfrequente Inhalte leicht mit dem Gesamtergebnis verwechseln.
Der typische Indexierungsprozess von GraphRAG ist umfangreicher:
- Teile das Originaldokument auf und extrahiere Menschen, Institutionen, Orte, Konzepte und deren Beziehungen.
- Organisiere Entitäten und Beziehungen in Graphen und identifiziere eng verbundene Gruppen durch Community-Discovery.
- Zusammenfassungen werden für Gemeinschaften auf verschiedenen Ebenen erstellt und bewahren lokale Fakten und globale Themen.
- Wählen Sie während der Anfrage relevante Einheiten, Communities oder Zusammenfassungen aus und fassen Sie diese dann zu einer endgültigen Antwort zusammen.
Es geht nicht darum, Vektorabruf zu eliminieren, sondern vielmehr um das Hinzufügen relationaler und hierarchischer Perspektiven zum traditionellen RAG-Fragmentabruf.
Wann lohnt es sich, die Kartenkosten zu bezahlen?
Sammlungen von Dokumenten wie Richtlinienakten, Forschungsmaterialien, Kundeninterviews und Umfrageberichte enthalten häufig dokumentübergreifende Beziehungen, thematische Entwicklung und Gruppenmuster, was sie für globale Zusammenfassungen mit GraphRAG geeignet macht. Wenn Nutzer nur nach einzelnen Produktparametern, genauen Begriffen oder den neuesten Datensätzen fragen, sind gewöhnliche Keyword- und Vektorsuchen in der Regel direkter und günstiger.
Die Qualität des Spektrums hängt von der Entitätsaufklärung und der Beziehungsextraktion ab. Wenn Personen mit demselben Namen nicht zusammengeführt werden, dieselbe Institution in mehrere Knoten aufgeteilt wird oder das Modell Beziehungen konstruiert, verstärken nachfolgende Community-Zusammenfassungen die Fehler. Indizes benötigen außerdem zusätzliche Modellaufrufe, Speicher- und Aktualisierungsprozesse; Wenn Dokumente häufig wechseln, kann das Nachzeichnen zu einem erheblichen Kostenfaktor werden.
Sie kann auch keine ursprünglichen Textbelege ersetzen
Eine Community-Zusammenfassung ist eine Kompression der Daten, nicht der ursprünglichen Fakten selbst. Zuverlässige Systeme sollten weiterhin die Quellzuordnung von Knoten zu Dokumentfragmenten behalten, sodass Benutzer den Originaltext überprüfen können; Für Zahlen, Daten und Compliance-Urteile sollte auch Priorität auf die Rückholung präziser Fragmente gelegt werden.
Das Kriterium für die Wahl von GraphRAG ist nicht "der Graph klingt fortschrittlicher", sondern ob dokumentübergreifende Beziehungen und globale Themen wirklich notwendig sind. Zunächst wurden repräsentative Fragen verwendet, um die Abdeckung, Rückverfolgbarkeit der Beweise, die Indexierungskosten und die Aktualisierungszeit zwischen traditionellem RAG und GraphRAG zu vergleichen, und anschließend wurde entschieden, ob eine komplexe Pipeline eingeführt werden sollte.
