1. Die Concept
Vector Library ist eine Datenbank für "Vektoren" (Einbettungen): Sie speichert hochdimensionale Vektoren, die aus Text, Bildern, Audio und anderen Daten durch Einbettungsmodelle konvertiert wurden, und bietet Nearest-Neighbor-Retrieval-Funktionen basierend auf Ähnlichkeit (z. B. Kosinus, inneres Produkt, L2-Abstand). Im Vergleich zur reinen Suche nach exakt passenden Keywords sind Vektorbibliotheken gut darin, "semantisch ähnliche" Inhalte für semantische Suche, Empfehlung, RAG und andere Aufgaben zu finden.
2. Warum ist es notwendig
? Die traditionelle Suche kann nur mit Wörtern übereinstimmen; Die Vektorsuche kann "ähnliche Bedeutungen" verstehen. Bei der Abfrage von "gesunden Snacks" kann die Vektorsuche beispielsweise semantisch ähnliche Ergebnisse wie "kalorienarme Snacks, Müsliriegel" anstelle von Text zurückgeben, der nur das Wort "gesund" enthält. Beim Andocken an große Modelle kann die Vektorbibliothek auch das für das Problem relevanteste externe Wissen wieder in die Eingabeaufforderung abrufen, wodurch die "Herstellung" erheblich reduziert wird.
3. Workflow (vereinfachte Version)
1) Verwenden Sie das Einbettungsmodell, um die Daten in Vektoren umzuwandeln und diese zusammen mit den Metadaten in die Vektorbibliothek zu schreiben;
2) Indizierung (üblicherweise HNSW, IVF, PQ oder Exact Flat), um Geschwindigkeit, Speicher und Abruf auszugleichen;
3) Während der Abfrage wird das Problem auch in Vektoren kodiert, und die Suche nach k nächsten Nachbarn (kNN/ANN) wird durchgeführt, und dann werden die Ergebnisse gemäß den Bewertungs- und Filterbedingungen zurückgegeben.
4) In Suchszenarien kann eine "gemischte Suche" durchgeführt werden: BM25-Keyword-Scores werden mit der Vektorähnlichkeit fusioniert, um Relevanz und Erinnerung zu berücksichtigen.
4. Schneller Überblick über die wichtigsten
- Indikatoren: Betrachten Sie häufig recall@k, Latenz (S. 95/99), Durchsatz und Kosten.
- Abstandsmessung: Kosinus und inneres Produkt werden häufig im Text verwendet; L2 wird häufig für partielle visuelle Einbettungen verwendet. Beachten Sie, ob eine Vektornormalisierung erforderlich ist.
- Indexauswahl: HNSW oder exakter Abruf in kleinem Maßstab verfügbar; Wenn die Datenmenge Dutzende von Millionen beträgt, werden häufig Clustering- und Quantisierungstechniken wie IVF/PQ verwendet, um Speicherplatz zu sparen und zu beschleunigen.
- Daten und Konsistenz: Korpusaktualisierungen müssen neu erstellt/inkrementell indiziert werden; Erwägen Sie nach dem Upgrade des Einbettungsmodells das erneute Einbetten und die Versionierung.
- Ökologische Form: Es gibt sowohl dedizierte Vektorbibliotheken (wie Milvus, Weaviate) als auch Vektorfunktionen in universellen Datenbanken/Suchmaschinen (wie PostgreSQL+pgvector, OpenSearch/Elastic).
5. Gängige Anwendungen
: Semantische Suche, RAG-Retrieval, erweiterte Generierung, Deduplizierung ähnlicher Inhalte, Empfehlungsabruf, multimodaler Abruf (Grafik, Text, Audio und Video), Anomalieerkennung und metrisches Lernen usw.
