Priming は、Amazon Web Services のチームが2026年10月12日に Amazon Science の公式ブログで公開したアーキテクチャ変換手法で、対応する論文も同日に公表された。解こうとしている問題は具体的だ。新しいハイブリッドアーキテクチャを試すには従来、モデルをゼロから事前学習する必要があり、数兆トークンと数十万 GPU 時間がかかった。Priming では学習済み Transformer の重みを出発点に、一部の注意層を状態空間層へ置き換えることで、事前学習コストを99%以上削減できる。全工程で消費するトークンは元のモデルの事前学習予算の0.5%未満だという。
Transformer の記憶コストは、全層が全部覚えることから生まれる
Transformer の注意機構は逐語的なメモ取りに似ている。新しいトークンを生成するたびに過去の全トークンを参照し、キャッシュはコンテキスト長に比例して膨らむ。これが論文でいう eidetic memory（逐語記憶）である。しかし全ての層が長距離の検索をしているわけではない。近傍の単語や局所構造だけを追う層には、固定サイズの要約、すなわち fading memory（減衰記憶）で十分だ。ハイブリッドアーキテクチャはこの分業が要点で、全体の想起が必要な層には注意を残し、それ以外は履歴を固定サイズの状態へ圧縮する状態空間層に替える。難しさは発想ではなく検証コストにあった。配分や状態空間層の種類を変えるたびに最初から学習し直す費用は、ほとんど誰にも払えなかった。
変換は3段階：層を選ぶ、揃える、全体を適応させる
Priming の手順は三つある。第一に層の選定。各層を一時的にスライディングウィンドウ注意へ置き換え、性能低下が最も小さい層を局所処理担当、つまり変換候補として特定する。第二に重みの移行と整合。元の注意層のクエリ、キー、バリューの射影を状態空間層の初期化に流用し、短い蒸留で新しい層に置換対象の振る舞いを模倣させる。第三にエンドツーエンドの適応。ハイブリッドモデル全体を次のトークン予測で微調整し、新旧の層を協調させる。チームによれば、この手法は Qwen、Llama、Mistral など異なる Transformer 系統、稠密モデルと混合専門家モデルの双方、80億から320億パラメータ超の規模で機能する。
状態空間層3種の統制比較、速さだけではない結論
同じデータ、同じ予算、同じ混合比率という統制条件では、3種の状態空間層の順位は安定していた。Gated KalmaNet（GKA）が最良、Gated DeltaNet が次点、Mamba-2 が最後で、コンテキストが長いほど差は広がる。GKA ベースの320億パラメータのハイブリッドは推論ベンチマークで元の Transformer とほぼ互角（精度差1%以内）で、推論時の KV キャッシュは半分、128K コンテキストではデコードスループットが最大2.06倍、同じ正解率に到達するまでの時間は最短で元の3分の2だった。直感に反する結果もある。すべての状態空間ハイブリッドがスライディングウィンドウ注意版を上回り、後者に2〜4倍のメモリ予算を与えても覆らなかった。GKA には他にない特性もある。推論時に反復回数を調整でき、30回から10回に下げると AIME 2025 の精度は約1%下がる一方でデコードは10%速くなるため、1つのモデルで複数の遅延帯域を提供できる。
モデル集は公開済み、本当の影響はアーキテクチャ試行のコストにある
AWS は同時に、長コンテキスト推論と指示追従向けに80億と320億パラメータの primed ハイブリッドモデル集を公開した。訓練コード、最適化カーネル、vLLM サービングプラグイン付きで、全て Apache 2.0 ライセンスである。Priming の意味はハイブリッドの選択肢が一つ増えたことではなく、アーキテクチャ探索の勘定が変わったことにある。試行コストが再学習から微調整の水準まで下がれば、どの層を、どれだけ、どの状態空間層に替えるべきかという問いを、大規模モデルの水準で初めて体系的に検証できる。推論コストに敏感な運用側にとっても実利は大きい。KV キャッシュの削減は、1枚のアクセラレータで同時処理できる長いセッションの数に直結するからだ。境界も明確にしておく。現時点の証拠はすべて AWS 自身の論文と実験によるもので、変換元は Qwen3 が中心であり、他系統での効果や小規模モデルでの利得は外部の再現を待つ必要がある。
