Einbettung kann als das Umwandeln von Text, Bildern, Audio und anderen Inhalten in eine Kette digitaler Vektoren verstanden werden. KI kann nach Semantik suchen, nicht weil sie Wort für Wort wie Schlüsselwortsuchen übereinstimmt, sondern weil ähnliche Bedeutungen im Vektorraum tendenziell näher liegen.
Ein einfaches Beispiel
Wenn ein Nutzer nach "Wie man zurückgibt" sucht, steht im Dokument "Nachverkaufsrückerstattung anfordern", was bei herkömmlichen Schlüsselwortsuchen möglicherweise nicht übereinstimmt; Die Einbettung der Suche findet zwei Sätze mit ähnlichen Bedeutungen, also setze zuerst den relevanten Inhalt. Dies bildet die Grundlage für viele Q&A-Fragen, Empfehlungssysteme und ähnliche Bildsuchanfragen.
Wie man Embedding im System einsetzt
Ein gängiger Ansatz ist: Zunächst verwendet man das Einbettungsmodell, um Dokumentfragmente in Vektoren umzuwandeln und in einer Vektordatenbank zu speichern; Wenn Nutzer Fragen stellen, wandeln sie diese in einen Vektor um und berechnen deren Ähnlichkeit mit dem Datenbankvektor. Je höher die Ähnlichkeit, desto näher sind die Semantiken und desto wahrscheinlicher ist es, dass sie auf die Modell- oder Suchseite zurückgerufen wird.
Was hat das mit Antworten großer Modelle zu tun?
Das Einbetten selbst ist in der Regel nicht dafür verantwortlich, Antworten zu schreiben; es ist dafür verantwortlich, "relevante Inhalte zu finden". Große Sprachmodelle sind dafür verantwortlich, den Kontext zu verstehen und Antworten zu generieren. RAG-Systeme enthalten oft gleichzeitig Embedding-Modelle, Vektordatenbanken, Resorting-Modelle und generative Modelle; sie sind nicht dasselbe.
Häufige Missverständnisse
Erstens ist das Einbetten bei größeren Zahlen nicht immer besser; Domänenabgleiche und -bewertung sind wichtiger; Zweitens bedeutet Vektorähnlichkeit nicht faktische Korrektheit; sie weist lediglich auf semantische Ähnlichkeit hin; Drittens können kurze Texte, Tabellen, Code und Eigennamen eine besondere Behandlung erfordern. Beim Aufbau einer Unternehmenswissensdatenbank beeinflusst die Qualität des Embeddings direkt, ob Sie die richtigen Informationen finden können.
