ToolNavs 发现实用AI工具
提交工具 登录
返回AI百科
Token 是什么:大模型按它计费,先看懂再谈省钱

Token 是什么:大模型按它计费,先看懂再谈省钱

AI百科 • Admin • • 16 次浏览

Token 是怎么切出来的

切词用的是字节对编码这类统计方法:常见词整词占一个 Token,生僻词、长词会被拆成几个,标点、空格、数字也可能单独成 Token。OpenAI 把自家切词工具 tiktoken 开源了,同一段文字可以自己数一遍。要注意,不同模型的切词器不一样,同一句话在不同模型上 Token 数不同,中文里一个常用汉字大约占 1 到 2 个 Token,代码、网址、连续数字通常更碎,同样长度的中文和英文账单并不一样。

Token 不是字,也不是词

账单上常见的有三类。输入 Token 是你发过去的一切,包括问题、贴进去的文档、历史对话和系统指令;输出 Token 是模型写回来的文字,通常比输入贵;推理 Token 是推理模型内部思考用的,不会出现在回答里,但按输出价计费。价格一般按每百万 Token 标,输入和输出分开标价。上下文窗口也是按 Token 算的:窗口写着能装 100 万 Token,不等于能装 100 万字,历史记录、工具返回结果也都算在里面,塞满了就得截断或压缩。

几个常见误解

一是字数少就等于便宜,错了,代码和数字密度高,一段报错日志的 Token 数可能比同长度的散文多得多。二是单价便宜就等于总价低,推理模型单价低,但它为了答一题先想很久,推理 Token 一多,总价反而反超。三是把上下文窗口当成仓库,什么都往里塞,窗口越大,单次请求的输入 Token 越多,账单涨得越快,长对话定期清理才是正经省钱法。

省钱的办法其实就几条:提问先说清要求,别让模型写长文再返工;长文档先摘要再贴,别整篇扔进去;固定重复的指令用缓存;简单任务换小模型。订阅制的聊天产品不用自己算 Token,账单按月收;只有走 API、按量付费时,Token 才直接等于钱。看懂它,再谈省钱,才不会被单价数字骗了。

推荐工具

更多