LoRA signifie Adaptation de bas rang, communément appelée en chinois « 低級適 » (低級配). C’est une méthode très efficace pour l’ajustement fin des paramètres : au lieu de modifier directement tous les paramètres du grand modèle, de plus petites matrices entraînables sont ajoutées à côté de certaines couches, permettant au modèle d’apprendre de nouvelles tâches ou styles.
Pourquoi cela permet d’économiser des coûts
Un réglage complet revient à réentraîner une machine complexe entière, avec des coûts élevés en mémoire, données et ingénierie. LoRA ressemble davantage à l’ajout d’un ensemble de modules remplaçables à une machine, en n’entraînant que les nouveaux paramètres pour cette pièce. Cela réduit considérablement les besoins en mémoire et rend la commutation entre différentes tâches plus pratique.
La LoRA convient à
Il convient pour permettre aux modèles open source d’apprendre des styles d’écriture spécifiques, la terminologie industrielle, les scripts de service client, les formats de sortie structurés, les styles d’image ou les tâches verticales. De nombreuses équipes utilisent LoRA pour construire des modèles personnalisés qui sont « plus stables que les invites mais plus légers que l’entraînement complet ».
Ça ne convient à rien
LoRA n’est pas un patch magique. Si le modèle de base n’a pas une certaine capacité et que les données sont petites et désordonnées, LoRA aura du mal à créer de fortes capacités à partir de rien. Il ne peut pas non plus remplacer le RAG : si la tâche nécessite de répondre à des données factuelles fréquemment changeantes, la récupération des bases de connaissances est généralement mieux maintenue que d’ajuster les données en modèles.
et QLoRA et réglage fin complet
QLoRA peut être compris comme effectuant la LoRA en plus de la quantification, réduisant encore les ressources d’entraînement ; Le réglage complet modifie davantage les paramètres originaux, offrant un contrôle plus fort mais des coûts plus élevés. Le jugement pratique est : d’abord résoudre avec des prompts et RAG ; Il faut toujours un style stable ou une performance fixe des tâches avant de considérer LoRA ; Ce n’est que lorsque les données, le budget et l’évaluation seront maturés que des parcours de formation plus lourds seront envisagés.
