文本处理

Token 是什么？为什么一段话会被 AI 切成很多小块

Token 可以理解成模型处理文本时的“最小工作单元”。它不一定等于一个字、一个词或者一个标点，更像是模型自己切出来的片段。英文里一个单词可能拆成几个 token，中文里一个短句也可能被拆成多个 token。 这件事看起来抽象，但它直接影响三件最现实的事：你能塞多少内容进去、一次对话会花多少钱、模型...