Ternary Bonsai 2 是 PrismML 主打端侧部署的三值权重模型系列。2026 年 10 月 15 日,PrismML 通过新闻稿为该系列新增 2B、4B、9B 三款模型,基于 Qwen3.5 构建,整个系列由此覆盖 2B 到 27B 四种尺寸;三款新模型即日起以 Apache 2.0 许可证免费开放下载。
三值权重把体积压到十分之一
普通模型的全精度权重每个参数要占 16 位,Bonsai 2 的权重只取 -1、0、+1 三个值来表示。结果是体积骤降:2B 模型只有 0.43GB,4B 为 0.95GB,9B 也只要 2.00GB,都不到各自全精度版本的九分之一。这延续了 PrismML 今年早些时候在智能眼镜上跑 1-bit 视觉模型的路线,本站曾报道其 1-bit 小模型登陆骁龙智能眼镜 的演示。体积小带来的不只是省空间:权重越小,内存带宽压力越低,普通 CPU 和边缘 GPU 才有机会把延迟压下来。
跑起来有多快,看设备说话
按 PrismML 公布的数字,在 RTX 4090 和 MacBook M5 Pro 这类硬件上,Bonsai 2 相比对应的全精度模型能效最高约 3 倍、吞吐最高约 5 倍,9B 最高 124 词元每秒,2B 最高 276 词元每秒;换到 iPhone 18 Pro Max 上,9B 能跑到每秒 34 个词元,2B 达到 120 个。能力方面,公司称在 19 项基准里,新模型在编程、数学和指令跟随任务上追平或超过全精度对应版本,在视觉、智能体与工具调用、知识与推理任务上保留了全精度 Qwen3.5 九成以上的分数。这些都是厂商自测口径,真实任务表现仍要自己拿数据验。
谁该下载来试
想在手机、眼镜、笔记本上做离线助手的团队,这三款是目前少见的“参数不算小、体积却很小”的选项:不用联网、不用把数据发上云,靠工具调用就能完成短链条任务。反过来,如果你的场景本来就有 GPU 服务器、追求的是极限效果,三值压缩省下的那点体积意义不大,全精度大模型仍是更稳的选择。端侧智能体的竞争点正在从“能不能跑”变成“这么小的体积里能塞进多少能力”,Bonsai 2 这次把尺寸表又往下探了一档。