温度とトップpとは何ですか? なぜAIの回答は変動するのか?
温度とTop-pはどちらもモデルの「次の単語の選び方」を制御します。 簡単に言えば、それらは答えの保守的で分岐に関わるのです。 温度が低いほど、モデルは最も安定した単語を選ぶ傾向があります。 温度が高いほど、モデルは異なる表現を試す大胆さが強まります。 Top-pは「どの候補語を保持すべきか」をフィ...
AI百科事典 • Admin •
90
大規模モデルの原理
Found 4 related articles
システムプロンプトとは何ですか? 通常のプロンプトとの違いは何ですか?
システムプロンプトは「より高いレベルで配置されたルール」と理解できます。 これは、普通のユーザーが気軽に入力するプロンプトフレーズではなく、会話の前に存在し、モデルの役割、境界、行動を定義するために使われる基本的な指示です。 多くのチャットボットが安定したスタイルを持つ理由は、それが不可欠なからです...
AI百科事典 • Admin •
170
トークンとは何ですか? なぜAIによって段落が多くの小さな断片に分割されるのでしょうか?
トークンは、モデルがテキストを処理する際の「最小の作業単位」として理解できます。 必ずしも単語や句読点というよりは、モデル自身によって切り取られた断片のようなものです。 英語では単語を複数のトークンに分割することがあり、中国語では短い文を複数のトークンに分割することもあります。 これは抽象的に思えま...
AI百科事典 • Admin •
68
注意の仕組みとは何ですか? AIが「ポイントに集中する」方法
注意メカニズムとは、モデルが情報を処理する際に「重要なポイントを見る」ことを学習することを意味します。 人が段落を読むとき、各単語を同じように見るわけではなく、モデルも同じです。つまり、課題に応じて異なる単語や断片に異なる重みを割り当てます。 重みの大きいコンテンツは結果に影響を与えやすく、低重みの...
AI百科事典 • Admin •
70