ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
Claude消息线程公测:长会话不用重发全部历史

Claude消息线程公测:长会话不用重发全部历史

AI资讯 • Admin • • 19 次浏览

Claude消息线程(message threads)11月2日在Claude Platform进入公测,Anthropic在官方博客中说,长会话智能体每轮只需发送新增内容,不必重发全部对话历史。对话携带的上下文越长,等待模型开始回答的时间下降越明显,这是这次更新最直接的价值。

过去的瓶颈很好理解:一个编程智能体可能在一个会话里发出几百次请求,每次请求都要把此前的全部消息和工具结果重新发一遍。对话达到几十万个token后,重发本身就会拉长模型开口前的时间。消息线程的做法是给请求加上thread参数,第一次请求发完整对话并开启一个线程,此后每次请求只发新增消息和上一条回复的编号,线程在两次请求之间保存在内存中,经过加密且不写入磁盘。

首字等待时间中位数降约35%,计费口径没有变

Anthropic给出的数据是,在50万到100万token的请求上,首字等待时间(TTFT)中位数下降约35%,而且消息线程已默认面向多数Claude Code用户开启。需要注意的是,Claude每一轮仍然会读完整段对话,所以token用量不变,标准token价格和现有速率限制同样适用。这次公测覆盖Claude Platform原生平台,以及AWS上的Claude Platform、Microsoft Foundry中的Claude和Google Cloud上的Claude模型(由Anthropic管理),开发者按文档接入即可。

闲置5分钟就过期,短会话不必专门改

线程在最后一次请求后5分钟过期,过期后客户端要重新发送完整对话才能开启新线程。它最适合的场景是持续运转的长会话:每轮都新增工具结果或文件修改的编程智能体、截图留在线程内不必每轮重新上传的电脑操作智能体,以及文档和图片密集的工作流。对话短、间隔长的会话收益有限,中间停顿超过5分钟,第一轮的等待时间就会回到从前。是否接入,取决于会话是不是真的长,而不是只看这是一项新功能。

推荐工具

更多