Transformer 架构
解释 Transformer 为何成为大模型的默认骨架，注意力机制的代价在哪，以及扩散语言模型、单流结构等新路线试图改掉什么。
Transformer 之所以成为大模型的默认骨架，靠的是注意力机制能把任意两个位置直接连起来，训练也容易并行。代价同样清楚：计算量随序列长度平方增长，长上下文因此变贵。扩散语言模型与单流扩散结构，则是在试着改掉自回归逐词生成的效率问题，或把文本与图像统一到一条生成链路上。本标签拆解这些取舍。
Diffusion LLM 是什么？为什么它总被拿来挑战 Transformer 的自回归路线
Diffusion LLM 可以理解成把“扩散模型”的一些核心思路搬到语言模型里，用逐步去噪、逐步修正的方式生成文本，而不是像传统自回归模型那样一个 token 一个 token 往后写。它最近常被提起，不是因为已经全面取代 Transformer 路线，而是因为行业一直在找别的文本生成范式，看看能...
Admin
130 
Transformer 是什么？为什么大模型几乎都建立在它上面
Transformer 是一种神经网络架构。它之所以重要，不是因为名字响，而是因为它把“并行处理”和“上下文建模”这两件事做得很好。今天你看到的大多数大语言模型，本质上都离不开它或它的变体。 在 Transformer 之前，很多模型更依赖循环结构，一步一步读文本，速度慢，长距离依赖也容易掉链子。T...
Admin
117 
Z-Image 开源发布：6B 单流扩散 Transformer 的基础图像生成模型解析
一、摘要 Z-Image（造相）是 Tongyi-MAI 开源的 6B 参数图像生成基础模型家族，采用单流扩散 Transformer（Single-Stream Diffusion Transformer / S3-DiT）架构。与强调速度的 Z-Image-Turbo 不同，Z-Image定位为...
Admin
194