モデル圧縮と量子化

模型をスマホや入門 GPU に載せるには三つの手段があります。大模型の出力分布をまねる蒸留、重みを 4 ビットや 8 ビットに落とす量子化、寄与の小さい結合を削る剪定です。得られるのはメモリ・遅延・電力の削減で、代わりに精度が減ります。低下は一様ではなく、長文生成や数値推論から先に崩れがちです。各手法の使いどころと、圧縮後の検証手順を整理する必要があります。