自回归，指的是大模型生成文字时采用的一种基本方式：根据前面已经出现的词元，预测下一个最可能的词元，再把新生成的词元接回输入末尾，继续预测下一个，循环往复，直到输出结束标记或达到长度上限。你在聊天时看到回答一个词一个词往外蹦，正是这一步步解码的外在表现，而不是另外做出来的效果。
一个词元接一个词元地往前推
这里的词元可以粗略理解为模型眼里的文字单位，可能是一个字、半个词或一个标点组合。模型每一步面对的，都是到目前为止的全部上下文，它要做的判断只有一个：下一个词元最可能是什么。选定之后，上文就变长了一截，下一步的判断又建立在更长的新上文之上。前文哪怕只改动一个词，后面的走向都可能随之改变，因为每一步的依据都包含了之前所有的选择。
训练时能对照全文，生成时只能往前挤
训练和生成是两回事。训练时，完整原文已经摆在那里，模型可以同时看到一整句话，并行地练习每个位置的下一个词该是什么，像看着答案做对照。生成时却没有现成的下文可看，只能生成一个、拼接一个、再生成下一个，必须串行完成。长回答慢，主要就慢在这里：不是机器单纯不够快，而是这种生成方式在结构上就无法把后面的词提前算出来，必须等前面的结果落地。
输入可以一次读完，输出必须一步一步来
提问时，你输入的一大段话可以被模型一次读完、并行处理，所以长提示词通常不会让等待按字数成倍增加。回答却不同，输出有多少个词元，就要走多少步解码，每一步都要重新计算一次。回答越长，步骤越多，耗时自然越久。这也解释了为什么同样的问题，简短回答很快返回，长篇回答却要等它慢慢写完，瓶颈大多在输出端，而不是输入端。
不是所有生成模型都这样，三个误解要分清
自回归只是当前主流聊天大模型的选择，不是生成内容的唯一路线。扩散式文本模型会从模糊状态逐步去噪、整体修订，掩码式模型则像做填空题一样先遮住部分内容再补齐，它们都不靠从左到右逐个往外挤。常见的误解有三个：一是以为模型先想好整段再打出来，其实它没有全局成稿，后文随时受前文影响，这也是它会越写越偏的原因之一；二是以为逐字输出是故意营造打字效果，其实界面上的流式呈现只是把解码过程同步显示出来；三是把采样当成了另一种生成方式，温度等参数只影响每一步从候选词元里挑哪一个，并不改变自回归本身的循环。
