本地跑大模型的开发者等了三年半,llama.cpp终于在11月13日发布了1.0.0。这是这个C/C++推理引擎的第一个正式大版本,也是它从2023年3月起用提交编号当版本号之后,第一次改用语义化版本号。配套的底层张量库ggml同步发布1.0.0,两个项目从此都承诺:公开C API的不兼容变化只会出现在大版本升级里。
1.0.0到底改了什么
头条变化是清理。1.0.0删掉了35个已废弃的公开函数,以及预热设置和碎片整理阈值等旧选项,同时把NextN推测解码API从扩展头文件提升进主头文件llama.h,正式纳入版本承诺的保护范围。新功能包括OCP FP8格式的KV缓存、混合专家模型的主机内存专家缓存,以及从独立GGUF分片加载外部PLE或engram数据。按官方说法,llama.cpp目前支持150多种模型架构变体和全部主流推测解码方法。
谁会被这次升级影响
直接受影响的是基于llama.cpp开发的工具,最典型的是Ollama和LM Studio这类本地AI应用:它们终于能依赖一份稳定的公开API,而不是每次跟进提交编号时都提心吊胆。对只用现成应用的普通用户来说,版本号本身看不出变化,好处是后续升级更可预期、兼容性问题更少。但要提醒一句:1.0.0本身就是一次清理版本,用到了被删API的应用必须先改代码再升级,不能直接替换二进制。本地部署的门槛正在变化,145B模型塞进笔记本的Edge0就是最近的例子。
稳定不等于永远不改接口
语义化版本号的承诺很具体:大版本对应公开C API的不兼容变化,小版本加功能不打破兼容,补丁版本只修bug。但它管的是公开C API,不是模型输出、性能表现或每一个命令行选项。官方还给出了完整的分发渠道:预编译产物覆盖Linux、macOS、Windows、Android与iOS,另有Docker、Debian、Homebrew、conda-forge、MacPorts与Winget。本地AI生态从“能跑就行”走到“接口有承诺”,1.0.0的意义正在于此。