大規模モデル微調整
微调がモデルのどの挙動を変えるか、プロンプト最適化やRAGとコスト・効果の面でどう違うかを説き、チームが訓練する価値があるか判断できるよう導く。
大規模モデルの微調整は追加学習で回答のトーンや出力構造、特定タスクの安定性を高める手法で、全量微调、LoRA、QLoRAが代表的である。解決するのは「モデルの挙動」の問題であり、最新知識の補完はRAGの役割だ。LoRAは旁路の小行列だけを学習するためメモリとコストで有利で、業界用語や定型フレーズ、画像スタイルの習得に向く。ただ基盤モデル自体に能力がなくデータも薄く乱れていると、微调でも救えない。
