Fine-tuning de LLM
Explique ce que le fine-tuning modifie réellement dans le comportement d'un modèle et comment il se compare à l'optimisation de prompts et au RAG sur coût et effet, pour aider les équipes à décider si l'entraînement en vaut la peine.
Le fine-tuning de LLM utilise un entraînement supplémentaire pour stabiliser le ton, la structure de sortie et les tâches d'un modèle ; le fine-tuning complet, LoRA et QLoRA sont les voies courantes. LoRA n'entraîne que de petites matrices latérales, réduit mémoire et coût et convient aux termes métier, formulations fixes ou styles d'image ; mais si le modèle de base manque d'une capacité et que les données sont minces ou brouillonnes, le fine-tuning ne sauvera rien.
