La compression de long contexte ne consiste pas simplement à supprimer des mots, mais à préserver autant que possible les informations clés du long contenu et à les réorganiser sous une forme plus courte, plus axée sur le modèle. Ce concept deviendra de plus en plus important, précisément parce que la fenêtre de contexte s’allonge. Devenir plus grand ne signifie pas qu’il faut tout entasser, la vraie question devient : quel contenu vaut la peine d’être conservé et lequel prend simplement de la place.
Pourquoi les « fenêtres plus longues » rendent la compression plus critique
- Une fois que les matériaux longs sont tous entassés, les coûts et les retards augmentent ensemble.
- Plus les informations sont non pertinentes, plus le modèle risque d’être perturbé, et il peut ne pas être plus précis.
- Beaucoup de tâches nécessitent en réalité non pas le texte complet, mais la structure, les conclusions, les conditions et les preuves clés.
Comment elle appuie habituellement
| Way | Objectif |
|---|---|
| Compression résumée | Affiner la ligne principale et les points clés du texte long |
| Compression structurelle | Préserver les hiérarchies d’en-tête, les relations de table et les ancrages |
| Compression de récupération | N’envoyer que les fragments pertinents dans le contexte actuel |
| Compression mémoire | Diviser le dialogue historique en États plus courts et à long terme |
La compression longue du contexte va chauffer, non pas parce que les gens ne veulent pas de grandes fenêtres, mais parce que l’industrie commence à réaliser que la longueur du contexte n’est qu’une ressource, et que ce qui détermine vraiment l’effet, c’est la qualité du contexte. En d’autres termes, la compression n’est pas subordonnée à la seconde, mais une capacité de conception active à l’ère du long contexte.
