Engram-27B同算力超MoE基线的原因

DeepSeek Engram 解读：用 O(1) 查表式条件记忆，为大模型增加“新稀疏轴”

一、摘要 Engram 是 DeepSeek 开源的一种“条件记忆（Conditional Memory）”模块，核心思路是为 Transformer 增加可扩展的查表式记忆原语：把一部分更偏静态的模式/知识以 N-gram 记忆表的形式存起来，在推理时以近似 O(1) 的方式检索并与当前隐状态融合...