モデルサンプリング
大規模言語モデルが次のトークンをどう選ぶか、サンプリングの仕組みを解説。Temperature、top-p、top-k などのパラメータが回答の多様性と安定性に与える影響を、用途別の設定の考え方とともに紹介する。
モデルサンプリングは、言語モデルの確率分布を言葉に変える工程だ。Temperature は分布の傾きを調整し、top-p と top-k は候補の範囲を定め、繰り返しペナルティは冗長な出力を抑える。このテーマでは Temperature、top-p、top-k、繰り返しペナルティの仕組みと使い分けを扱う。変わるのは「語の選び方」であって知識そのものではない。調整次第で、同じモデルが正確な回答と創作を使い分けられる。
