Found 11 related articles
Claudeでまだ何通かメッセージを送っていなくても、すでに使用制限に達するよう促されているなら、まず最初に変えるべきは発話頻度ではなくタスクの構造です。 AnthropicによるPro使用制限の説明は明確になりました。ノルマに本当に影響するのは送信するメッセージ数だけでなく、メッセージの長さ、現在...
KVキャッシュは、トランスフォーマーの推論段階における非常に重要なキャッシュ層です。 簡単に言えば、モデルがすでに計算したキーや値を最初に保存し、生成を続けるたびに直接再利用し、毎回一から再計算するのではなく、 そのため、KVキャッシュは長い会話、長い文脈、推論速度に関してほぼ常に存在します。 なぜ...
ロングコンテキスト圧縮は単に単語を削除するだけでなく、長文の重要な情報をできるだけ保持し、より短くモデルに基づく形に再構成することです。 この概念はますます重要になるでしょう。なぜなら、文脈の窓が長くなっているからです。 規模が大きくなるからといって、すべてを詰め込むべきではなく、本当の問題は「どの...
スパースアテンションは単純に、各トークンがすべてのトークンを見るのではなく、選択的に一部のトークンだけを見るということです。 この用語は、長い文脈と推論コストの議論で繰り返し登場します。なぜなら、標準的な全注意は強力ですが、文脈が特に長くなると計算コストやビデオメモリのコストが急速に増加するためです...
AIが長い記事を要約する本当の理由は、文脈ウィンドウが不足しているからではなく、「本文を読む」「重要なポイントの選別」「出力の整理」という3つのタスクを同時にAIに投げ込むからです。 目標が大きすぎて出力がスペースを必要とする限り、モデルはまず見栄えの良い一般化を示し、本当に重要な節、結論、条件、例...
トークンは、モデルがテキストを処理する際の「最小の作業単位」として理解できます。 必ずしも単語や句読点というよりは、モデル自身によって切り取られた断片のようなものです。 英語では単語を複数のトークンに分割することがあり、中国語では短い文を複数のトークンに分割することもあります。 これは抽象的に思えま...