温度とトップpとは何ですか? なぜAIの回答は変動するのか?
温度とTop-pはどちらもモデルの「次の単語の選び方」を制御します。 簡単に言えば、それらは答えの保守的で分岐に関わるのです。 温度が低いほど、モデルは最も安定した単語を選ぶ傾向があります。 温度が高いほど、モデルは異なる表現を試す大胆さが強まります。 Top-pは「どの候補語を保持すべきか」をフィ...
AI百科事典 • Admin •
92
技術的基盤
Found 2 related articles
Found 2 related articles
温度とTop-pはどちらもモデルの「次の単語の選び方」を制御します。 簡単に言えば、それらは答えの保守的で分岐に関わるのです。 温度が低いほど、モデルは最も安定した単語を選ぶ傾向があります。 温度が高いほど、モデルは異なる表現を試す大胆さが強まります。 Top-pは「どの候補語を保持すべきか」をフィ...
トークンは、モデルがテキストを処理する際の「最小の作業単位」として理解できます。 必ずしも単語や句読点というよりは、モデル自身によって切り取られた断片のようなものです。 英語では単語を複数のトークンに分割することがあり、中国語では短い文を複数のトークンに分割することもあります。 これは抽象的に思えま...