ToolNavs 发现实用AI工具
提交工具 登录
返回AI问答
llama.cpp 1.0.0正式版新手怎么用:本地跑模型前先搞清这三件事

llama.cpp 1.0.0正式版新手怎么用:本地跑模型前先搞清这三件事

AI问答 • Admin • • 1 次浏览

llama.cpp 1.0.0是本地跑大模型的推理引擎,不是聊天软件,也不是模型本身。它于2026年11月13日发布1.0.0正式版,最大的变化是给了版本承诺:今后公开C API的破坏性变更用大版本号升级,兼容新功能用小版本,修问题用补丁版本。新手不用急着编译,先分清自己走哪条路,再决定升不升级。

新手先搞清这三件事

  • 它只负责“跑”模型:想聊天,得再配llama-server、llama.app,或Ollama、LM Studio这类上层工具,光下载引擎是跑不起来的。
  • 模型要用GGUF格式:llama.cpp跑的是GGUF模型文件,不是随便一个模型权重都能直接塞进去,下载前先确认格式。
  • 1.0.0是“稳定版承诺”,不是“更快”:官方没有承诺提速,别冲着性能升级,先看下面的删改会不会影响你。

升级前先查这两处删改

1.0.0删掉了35个已弃用的公开函数和llama_set_warmup,还删了defrag_thold与--defrag-thold启动参数。如果你沿用旧启动脚本或自己写过程序调用,先搜一遍有没有用到这些名字,命中就得改,否则升级后直接报错。NextN推测解码API从llama-ext.h提升进主头文件llama.h,开发者按新头文件调整引用即可。新功能方面,1.0.0新增OCP FP8 KV缓存、宿主内存MoE专家缓存和外部PLE分片加载,还支持Kimi-K3.1-Pro等新架构,llama-server新增OpenAI兼容的/v1/audio/speech端点,并修复了CORS、DNS重绑等安全问题。

新手上手走这三条路

  • 最省事:用预编译产物或llama.app。1.0.0预编译覆盖Linux、macOS、Windows、Android、iOS,还有Docker、Homebrew、conda-forge等渠道,不用自己编译。
  • 想当服务用:起llama-server,对外提供OpenAI兼容接口,再接自己的聊天前端。
  • 想自己改:从GitHub上ggml-org的llama.cpp仓库拉源码编译,适合开发者,普通用户没必要走这条路。

1.0.0刚发布,旧绑定和旧脚本的适配需要时间,生产环境别抢第一时间升级,先在测试机上跑通再换。Web UI这次改版不小,侧边栏可折叠、聊天可分组,界面变了不代表用法全变,先按老习惯找入口,找不到再看新布局。

推荐工具

更多