ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
llama.cpp发布1.0.0:本地跑大模型终于有了稳定版

llama.cpp发布1.0.0:本地跑大模型终于有了稳定版

AI资讯 • Admin • • 8 次浏览

本地跑大模型的开发者等了三年半,llama.cpp终于在11月13日发布了1.0.0。这是这个C/C++推理引擎的第一个正式大版本,也是它从2023年3月起用提交编号当版本号之后,第一次改用语义化版本号。配套的底层张量库ggml同步发布1.0.0,两个项目从此都承诺:公开C API的不兼容变化只会出现在大版本升级里。

1.0.0到底改了什么

头条变化是清理。1.0.0删掉了35个已废弃的公开函数,以及预热设置和碎片整理阈值等旧选项,同时把NextN推测解码API从扩展头文件提升进主头文件llama.h,正式纳入版本承诺的保护范围。新功能包括OCP FP8格式的KV缓存、混合专家模型的主机内存专家缓存,以及从独立GGUF分片加载外部PLE或engram数据。按官方说法,llama.cpp目前支持150多种模型架构变体和全部主流推测解码方法。

谁会被这次升级影响

直接受影响的是基于llama.cpp开发的工具,最典型的是Ollama和LM Studio这类本地AI应用:它们终于能依赖一份稳定的公开API,而不是每次跟进提交编号时都提心吊胆。对只用现成应用的普通用户来说,版本号本身看不出变化,好处是后续升级更可预期、兼容性问题更少。但要提醒一句:1.0.0本身就是一次清理版本,用到了被删API的应用必须先改代码再升级,不能直接替换二进制。本地部署的门槛正在变化,145B模型塞进笔记本的Edge0就是最近的例子。

稳定不等于永远不改接口

语义化版本号的承诺很具体:大版本对应公开C API的不兼容变化,小版本加功能不打破兼容,补丁版本只修bug。但它管的是公开C API,不是模型输出、性能表现或每一个命令行选项。官方还给出了完整的分发渠道:预编译产物覆盖Linux、macOS、Windows、Android与iOS,另有Docker、Debian、Homebrew、conda-forge、MacPorts与Winget。本地AI生态从“能跑就行”走到“接口有承诺”,1.0.0的意义正在于此。

推荐工具

更多