Token 是什么？为什么一段话会被 AI 切成很多小块
Token 可以理解成模型处理文本时的“最小工作单元”。它不一定等于一个字、一个词或者一个标点，更像是模型自己切出来的片段。英文里一个单词可能拆成几个 token，中文里一个短句也可能被拆成多个 token。 这件事看起来抽象，但它直接影响三件最现实的事：你能塞多少内容进去、一次对话会花多少钱、模型...
AI百科 • Admin •
68
Token
找到 2 篇相关文章
找到 2 篇相关文章
Token 可以理解成模型处理文本时的“最小工作单元”。它不一定等于一个字、一个词或者一个标点，更像是模型自己切出来的片段。英文里一个单词可能拆成几个 token，中文里一个短句也可能被拆成多个 token。 这件事看起来抽象，但它直接影响三件最现实的事：你能塞多少内容进去、一次对话会花多少钱、模型...
上下文窗口是理解 AI 聊天体验的一个核心概念。很多人觉得模型“记性差”，其实不一定是它真的记不住，而是当前对话里能同时处理的信息长度有限。当问题太长、聊天轮次太多，或者你一次塞进太多背景资料时，模型就可能把前面的限制条件、目标和细节挤出可处理范围，于是出现“答非所问”或“忘了前文”的情况。 简单说...