QLoRA

LoRA 微调是什么？为什么小成本也能训练专用模型

LoRA 是 Low-Rank Adaptation，中文常叫低秩适配。它是一种参数高效微调方法：不直接改动大模型全部参数，而是在部分层旁边增加较小的可训练矩阵，让模型学会新任务或新风格。 为什么它能省成本 全量微调就像重新训练一整台复杂机器，显存、数据和工程成本都很高。LoRA 更像给机器外挂一组...