Ollama 本地部署大模型，核心就一句话：它把大模型从"云端 API 调用"变成了你电脑里的一条命令。装好 Ollama，一句 ollama pull llama3.1 把模型拉到本地，再一句 ollama run 就能离线对话、写代码、读文档，全程不经过任何第三方服务器。它解决的不是"模型够不够聪明"，而是"模型能不能私有、离线、零边际成本地跑在你自己的机器上"。
官方仓库信息
项目托管在 GitHub，组织名为 Ollama，项目名为 ollama，仓库路径为 ollama/ollama，采用 MIT 开源协议。截至 2026 年中，该仓库 star 数已超过 17 万，是本地大模型运行时赛道关注度最高的开源项目。官方提供 Windows、macOS、Linux 安装包和桌面 GUI 版本，并内置 OpenAI 兼容的本地 API 接口，很多桌面客户端和 Agent 框架都直接把它当作本地模型后端来接。
它解决的是哪三件事
一是隐私：敏感文档和代码不用再上传第三方服务器；二是离线：断网弱网环境下照常用 AI；三是成本：模型一次性下载到本地，之后用多少都不再按 token 计费。代价也很明确——本地 7B/8B 级模型的真实水平和云端旗舰模型不在一个量级，选型前必须先接受这个前提。
部署成本：硬件和硬盘是两道门槛
Ollama 本身安装零成本，真正的成本在硬件：8GB 内存能跑 3B 级小模型，16GB 内存适合 7B/8B 级，30B 级则需要约 24GB 显存。有独立 NVIDIA 显卡会自动走 GPU 加速，没有就纯 CPU 跑——能跑，但速度慢几倍。第二道门槛是硬盘：一个 8B 模型的量化版约 4～5GB，70B 级轻松几十 GB，模型仓库最好预留几十 GB。
真实坑点：量化版本、显存和模型名
第一，量化版本选错等于白下载。同一模型有 Q4、Q5、Q8 等多个量化版本，数字越大文件越大、精度损失越小：显存紧张选 Q4_K_M 这类 4 位量化版，显存充裕再考虑 Q8_0。 第二，显存不够不会报错，只会变慢。显存不足时 Ollama 会静默退回 CPU 推理，速度断崖式下跌——先看任务管理器里 GPU 有没有在干活，再下"跑起来了"的结论。 第三，模型名里的冒号别忽略：llama3.1 和 llama3.1:70b 是体积和能力完全不同的两个版本，下错版本是新手最常见的翻车。
一台 16GB 内存以上的电脑，加上一块还不错的显卡，Ollama 就是目前把开源大模型请进本地、折腾成本最低的入口。先算清显存和硬盘，再决定拉哪个模型，能省掉一大半弯路。
Q：Ollama 把模型拉到本地之后，还需要联网吗？
A：不需要。模型文件下载完成后，推理全程离线进行，只有首次拉取模型和检查更新时才需要联网。
