llama.cpp 是本地大模型生态里非常关键的开源推理底座。它不是面向普通用户的聊天产品，而是让开发者在 Mac、Linux、Windows、服务器甚至边缘设备上运行量化模型的底层工具。
官方开源地址
GitHub：https://github.com/ggml-org/llama.cpp
为什么很多工具依赖它
llama.cpp 支持 GGUF 等本地模型格式，重视低资源推理、量化和跨平台运行。很多本地 AI 工具之所以能一键跑模型，背后往往离不开类似的推理能力。它更像发动机，不是带完整座舱的汽车。
适合的用户
| 人群 | 适合原因 |
|---|---|
| 开发者 | 想控制模型文件、参数、推理服务和部署方式 |
| 隐私敏感团队 | 希望部分任务在本机或内网运行 |
| 边缘设备探索者 | 需要在较弱硬件上测试小模型或量化模型 |
不适合谁
如果你只想双击打开就聊天，Ollama、LM Studio 或 Open WebUI 会更友好。llama.cpp 的门槛在命令行、模型格式、上下文参数、硬件加速和性能调优。它适合愿意折腾底层的人，不适合追求开箱即用的普通办公用户。
