Transformer 架构
解释 Transformer 为何成为大模型的默认骨架，注意力机制的代价在哪，以及扩散语言模型、单流结构等新路线试图改掉什么。
Transformer 之所以成为大模型的默认骨架，靠的是注意力机制能把任意两个位置直接连起来，训练也容易并行。代价同样清楚：计算量随序列长度平方增长，长上下文因此变贵。扩散语言模型与单流扩散结构，则是在试着改掉自回归逐词生成的效率问题，或把文本与图像统一到一条生成链路上。这些取舍，正是理解新架构方向的关键。
位置编码是什么？模型读句子时，为什么要先给每个词排座位
位置编码是给句子里每个词额外附上的一组顺序信号，让模型知道哪个词在前、哪个词在后。注意力机制会把所有词两两比较，却天生不分先后：没有位置信息，「狗咬人」和「人咬狗」在它眼里就是同一堆词。位置编码补的正是这个缺口。 为什么注意力机制看不见顺序 注意力算的是任意两个词之间的相关程度，和词站在哪里无关，把...
Admin
110 
Priming 方法发布：不重训就能把 Transformer 改成混合架构，成本降 99%
Priming 是亚马逊 AWS 团队在 2026 年 10 月 12 日通过 Amazon Science 官方博客公布的一种架构改造方法，配套论文同日公开。它解决的问题很具体：想试一种新的混合架构，以前必须从零预训练一个模型，光是算账就要数万亿美元级别的 token 和数十万 GPU 小时；用 ...
Admin
94 
预训练是什么？模型学会聊天之前，先读完了大半个互联网
预训练是大模型的第一阶段训练：模型在学会聊天、写代码之前，先在海量文本上做一件事——反复猜下一个词。这个阶段不教它礼貌，也不教它服从指令，只让它把语言的统计规律、事实关联和表达习惯吃进参数里。后面你熟悉的对话能力、推理风格，其实都站在预训练打下的底子上。 练法只有一个：猜下一个词 预训练的任务出奇地...
Admin
139 
自回归是什么？大模型为什么总是一个词一个词往外蹦
自回归，指的是大模型生成文字时采用的一种基本方式：根据前面已经出现的词元，预测下一个最可能的词元，再把新生成的词元接回输入末尾，继续预测下一个，循环往复，直到输出结束标记或达到长度上限。你在聊天时看到回答一个词一个词往外蹦，正是这一步步解码的外在表现，而不是另外做出来的效果。 一个词元接一个词元地往...
Admin
107 
Falcon-Emirati-7B 发布：7B 模型专攻阿联酋方言，文化题得分 85.57%
Falcon-Emirati-7B 在 2026 年 10 月 6 日由阿联酋技术创新研究所（TII）通过 Hugging Face 官方博客发布。这是一款专门为阿联酋方言打造的 7B 模型，基座是 TII 自家的 Falcon-H1-Arabic：一种把 Mamba 状态空间模型与 Transfo...
Admin
78 
NaiveAI 开源 309B 模型 N0.5-Flash：去掉全部全注意力层，原生 100 万上下文
NaiveAI 在 2026 年 9 月 27 日发布了开源权重模型 Naive-N0.5-Flash：总参数 309B、每 token 只激活 15.5B 的混合专家（MoE）模型，原生支持 100 万 token 上下文，权重以 MIT 许可证在 Hugging Face 公开。这是"无全注意力...
Admin
126 
知识蒸馏：把大模型"教小"的技术，原理、边界与三个误解
知识蒸馏是一种让小模型（学生模型）向已经训练好的大模型（教师模型）学习的技术。它由 Geoffrey Hinton 等人在 2015 年的论文《Distilling the Knowledge in a Neural Network》中正式提出，目标是让参数更少、速度更快的小模型保留尽可能多的大模型...
Admin
117 
上下文窗口不是越大越好：1M token 背后的注意力代价和三个误解
上下文窗口是模型一次能"看到"的 token 总量上限：提示词、对话历史、检索到的资料，加上模型已写出的回复，全部按顺序排进这段序列。它决定模型的工作台有多大，但不决定它有多聪明——1M token 的窗口装得下上千页文档，却不等于模型真能用好每一页。 上下文窗口里到底装了什么 窗口里装的不是文件，...
Admin
161