Priming 是亚马逊 AWS 团队在 2026 年 10 月 12 日通过 Amazon Science 官方博客公布的一种架构改造方法，配套论文同日公开。它解决的问题很具体：想试一种新的混合架构，以前必须从零预训练一个模型，光是算账就要数万亿美元级别的 token 和数十万 GPU 小时；用 priming，可以直接拿一个已经训练好的 Transformer 权重当起点，把其中一部分注意力层换成状态空间层，预训练成本下降超过 99%，整个流程消耗的 token 不到原模型预训练预算的 0.5%。
Transformer 的记忆税，贵在每一层都要全记
Transformer 的注意力机制相当于逐字记笔记：每生成一个 token，都要回看前面所有 token，缓存随上下文长度线性膨胀，这就是官方所说的 eidetic memory（逐字记忆）。但并不是每一层都在做长距离检索，有些层只负责盯住附近的词、维持局部结构。对这类层来说，一份固定大小的摘要就够用，也就是 fading memory（衰减记忆）。混合架构的思路正是分工：需要全局回忆的层保留注意力，其余层换成状态空间模型，把历史压缩进一个固定大小的状态里。难点从来不是想法，而是验证成本：每换一种配比、一种状态空间层，都要从头训一遍，没人烧得起这个钱。
三步改造：先挑层，再对齐，最后微调
Priming 的流程分三步。第一步挑层：先用滑动窗口注意力临时替换每一层，测哪一层的性能掉得最少，掉得少的层说明本来就只做局部工作，是改造的首选。第二步权重迁移与对齐：把原注意力层的查询、键、值投影直接拿来初始化状态空间层，再用一段短蒸馏让新层模仿被替换层的行为。第三步端到端适配：对整个混合模型做下一 token 预测微调，让新旧层互相磨合。官方称这套流程适用于 Qwen、Llama、Mistral 等不同 Transformer 家族，稠密模型和混合专家模型都能改，规模从 80 亿参数验证到 320 亿参数以上。
三种状态空间层同台比，结论不只是谁更快
在相同数据、相同预算、相同混合比例的受控对比里，三种状态空间层的排位很稳定：Gated KalmaNet（GKA）最好，Gated DeltaNet 次之，Mamba-2 垫底，而且上下文越长差距越大。基于 GKA 的 320 亿参数混合模型在推理基准上与源 Transformer 基本持平，精度差在 1% 以内，推理时 KV 缓存减半，在 128K 上下文下解码吞吐最高达到 2.06 倍，到达同一正确率所需的时间最短只有源模型的三分之二。另一个反直觉的结果是：所有状态空间混合模型都跑赢了滑动窗口注意力的混合版本，哪怕后者拿到两到四倍的内存预算。GKA 还有一个独有特性：推理时可以调节迭代次数换速度，迭代从 30 次降到 10 次，AIME 2025 精度只掉约 1%，解码却快 10%，同一模型可以同时供不同延迟档位使用。
模型库已经开源，真正的影响在架构试错成本
AWS 同步放出了一个 primed 混合模型库，包含 80 亿和 320 亿参数两个规模，覆盖长上下文推理和指令跟随，附带训练代码、优化内核和 vLLM 服务插件，全部采用 Apache 2.0 许可证。Priming 的意义不在于又多了一种混合架构，而在于架构探索的账算变了：当试错成本从重训一个模型降到微调级别，哪些层能换、换多少、换哪种状态空间层这类问题，第一次可以在大模型规模上被系统地回答。这对推理成本敏感的部署方尤其实际，因为混合架构省下的 KV 缓存直接对应同一张卡能并发多少个长会话。当然也要看到边界：目前的证据全部来自 AWS 自己的论文和实验，源模型以 Qwen3 为主，其他家族的改造效果、更小规模模型上的收益，都还要等外部复现。
