Le découpage de texte consiste à couper un long document en petits morceaux avant de le ranger dans une base de connaissances : au lieu de donner un livre entier, un contrat ou tout un centre d'aide au modèle, on le divise en blocs de quelques centaines à un millier de caractères, on vectorise chacun séparément et, au moment de la question, on ne récupère que les blocs les plus pertinents pour fonder la réponse. C'est l'étape la moins visible d'une chaîne RAG, et celle qui décide le plus de la justesse des réponses.
Pourquoi ne pas tout envoyer
Mettre un document entier dans le contexte pose trois problèmes : il peut ne pas tenir dans la fenêtre, il coûte cher quand il y tient, et le modèle se laisse distraire en cherchant une réponse au milieu d'un texte largement hors sujet. Découpé, le document permet à la recherche de ne choisir que les passages pertinents, ce qui réduit coût et bruit. Le prix à payer : le document est artificiellement déchiré, et seule la stratégie de coupe préserve les liens entre les parties.
Trois façons de couper
La taille fixe est la plus simple, mais elle tranche facilement une phrase ou un tableau en plein milieu. Couper selon les paragraphes et les titres suit la structure d'origine et convient aux manuels et règlements. La coupe sémantique ne sépare qu'au changement de sujet : plus efficace, mais plus complexe à mettre en œuvre. La plupart des outils laissent aussi un chevauchement (overlap) entre blocs voisins, pour que le contexte coupé à la frontière réapparaisse au début du bloc suivant.
Trop petit ou trop grand : ce qui casse
Trop petit, un bloc ne contient pas l'information complète : à la question du plafond de remboursement, le bloc récupéré peut ne dire que l'excédent exige une validation, alors que le chiffre clé se trouve dans le bloc précédent ; le modèle répond vaguement ou invente un nombre. Trop grand, un bloc mélange plusieurs sujets, son vecteur devient une moyenne qui ne ressemble à aucun d'eux, le classement en souffre, et même récupéré, le modèle doit chercher lui-même le point essentiel dans un long passage.
Trois idées reçues
D'abord, plus petit ne veut pas dire plus précis : on gagne en localisation ce qu'on perd en contexte. Ensuite, plus de chevauchement n'est pas toujours mieux : à l'excès, le même contenu est stocké plusieurs fois et les premiers résultats sont tous des quasi-doublons qui évincent d'autres blocs pertinents. Enfin, une mauvaise réponse n'est pas toujours la faute du modèle : quand une base de connaissances répond mal, revoir la taille et la stratégie de coupe aide souvent plus que changer de modèle.
Il n'existe pas de valeur optimale universelle : les textes de clauses et de FAQ peuvent être coupés plus finement, les textes narratifs demandent des blocs plus grands qui conservent la structure des titres. Le seul vrai test : poser de vraies questions et vérifier que les blocs récupérés suffisent à justifier la bonne réponse.
