La question de la base de connaissances n’est pas une question, neuf fois sur dix n’est pas que le modèle devient soudainement stupide, mais que le matériel est alimenté de travers devant le lien de récupération. Les trois problèmes les plus courants sont des coupures trop déchiquetées ou désordonnées, des résultats de rappel inexacts, ainsi qu’un ordre de contenu et des limites incorrects dans leur contexte. Le modèle ne répond qu’en fonction du matériel que vous lui donnez, donc la réponse est biaisée, pas nécessairement une question de couche de génération.
Voyons si le découpage coupe la sémantique
De nombreuses bases de connaissances réduisent les documents à un nombre fixe de mots dès qu’ils apparaissent, il est donc plus facile de décomposer les titres, définitions, descriptions de tableaux et conclusions. En conséquence, le modèle reçoit un « demi-paragraphe », et il répond naturellement à la mauvaise cause. Lorsqu’on rencontre des documents système, des descriptions de produits, des FAQ ou des documents contractuels, la priorité doit être accordée à la découpe selon les paragraphes naturels, les niveaux de titre et les unités Q&R, ce qui est généralement plus stable que de simplement couper par nombre de mots.
Voyons si le rappel considère « lié aux semblables » comme « vraiment lié »
- Si l’utilisateur pose des questions sur une condition, une version, un département ou une restriction très spécifique, le rappel revient toujours avec un paragraphe d’introduction général, indiquant que la granularité de la recherche n’est pas assez granulaire.
- Si les premiers rappels proviennent du même document moins pertinent, le signal de tri dépasse le mot-clé professionnel réel.
- Si l’utilisateur demande clairement à propos du scénario A, le système extrait toujours le contenu du scénario B, ce qui est souvent similaire à l’immersion, mais la frontière métier n’est pas filtrée.
À ce stade, ne vous contentez pas d’ajuster le modèle, ajoutez d’abord le filtrage des métadonnées, la réorganisation des mots-clés, ou au moins intégrez le type de document, l’heure, la ligne de produit et d’autres conditions dans la recherche.
Enfin, regardez le contexte pour voir si c’est « orthographié, mais pas correctement orthographié ».
Certains systèmes condensent des fragments de rappel dans des invites, qui semblent contenir beaucoup de contenu, mais en réalité il est difficile pour le modèle de déterminer quel segment est la principale preuve. Une approche plus stable consiste à mettre le extrait le plus pertinent en premier, à conserver le titre et la source, puis à indiquer clairement au modèle que « vous ne pouvez répondre que sur la base de ce qui suit ; Si tu ne le trouves pas, dis-le simplement. » Si le contexte mélange les anciennes et nouvelles versions, les segments d’explication et les segments publicitaires en même temps, le modèle basculera, peu importe sa solidité.
Un ordre de dépannage simple est : d’abord vérifier la coupe, puis regarder le rappel, puis regarder le raccordement, et enfin douter du modèle lui-même. La plupart des bases de connaissances répondent à des questions qui ne sont pas posées, et si les trois premières étapes sont correctes, la précision reviendra de manière significative.
