L’intégration peut être comprise comme la conversion de texte, d’images, d’audio et d’autres contenus en une chaîne de vecteurs numériques. L’IA peut rechercher par sémantique non pas parce qu’elle correspond mot par mot comme les recherches par mots-clés, mais parce que des significations similaires ont tendance à être plus proches dans l’espace vectoriel.
Un exemple simple
Si un utilisateur recherche « comment retourner », le document indique « Demander un remboursement après la vente », ce que les recherches traditionnelles par mots-clés peuvent ne pas correspondre ; La recherche par intégration permettra de trouver deux phrases avec des significations similaires, donc placez le contenu pertinent en premier. C’est la base de nombreuses questions et réponses dans la base de connaissances, des systèmes de recommandation et des recherches d’images similaires.
Comment utiliser l’intégration dans le système
Une approche courante est : d’abord utiliser le modèle d’intégration pour convertir des fragments de document en vecteurs et les stocker dans une base de données vectorielle ; Lorsque les utilisateurs posent des questions, ils convertissent la question en vecteur et calculent sa similarité avec le vecteur de la base de données. Plus la similarité est élevée, plus la sémantique est proche et plus il est probable qu’elle soit rappelée vers le modèle ou la page de recherche.
Quel rapport cela a-t-il avec les réponses des grands modèles ?
L’intégration elle-même n’est généralement pas responsable de la rédaction des réponses ; elle est responsable de « trouver le contenu pertinent ». Les grands modèles de langage sont responsables de la compréhension du contexte et de la génération de réponses. Les systèmes RAG proposent souvent simultanément des modèles d’embedding, des bases de données vectorielles, des modèles de resorting et des modèles génératifs ; ce ne sont pas la même chose.
Idées reçues courantes
Premièrement, l’immersion n’est pas toujours meilleure avec des nombres plus grands ; l’appariement et l’évaluation de domaines sont plus importants ; Deuxièmement, la similarité vectorielle ne signifie pas la correction factuelle ; elle indique seulement la similarité sémantique ; Troisièmement, les textes courts, les tableaux, le code et les noms propres peuvent nécessiter un traitement particulier. Lors de la constitution d’une base de connaissances d’entreprise, la qualité de l’intégration influence directement la capacité à trouver les bonnes informations.
