本地跑大模型，显卡显存够不够，往往在下载完模型之前就决定了体验上限。很多人先看算力，最后才发现模型装不进去，或者只能开很短的上下文。显存是硬门槛，买少了没法后期加，只能整卡换掉。
先看分档：多大显存跑什么模型
| 显存 | 能舒服跑的模型 | 适合人群 |
|---|---|---|
| 8GB | Q4 量化的 7B/8B 模型，短上下文 | 只想尝鲜、偶尔离线聊天的人 |
| 16GB | 14B 舒服跑，32B 勉强跑、上下文要克制 | 大多数认真想本地部署的人 |
| 24GB | 32B 能跑并留出上下文余量 | 需要更长上下文、更稳定体验的人 |
| 32GB | 32B 很宽裕，70B 仍然不够 | 预算充足、想一步到位的人 |
| 48GB 以上 | 70B 级别模型 | 折腾大模型、愿意双卡或换平台的人 |
这张表说的是“舒服跑”，不是“勉强塞进去”。以 Q4 量化估算，7B/8B 权重约占 4.5 到 5.5GB，14B 约 9GB，32B 约 19 到 20GB，70B 要 40GB 以上。权重之外还要留给上下文、KV 缓存和系统占用，余量太小就会爆显存或频繁降速。
为什么显存比算力先卡人
模型运行时占显存的不只是权重。对话越长、上下文开得越大，KV 缓存占得越多。你可能遇到这种情况：模型文件明明放得下，聊几轮就报错，或者只能把上下文调到很小，回答开始忘前面的内容。这不是算力不够，是显存被权重和缓存一起吃满了。
所以选卡不能按“权重大小刚好等于显存”来算。想跑 14B，9GB 权重配 16GB 显存才有呼吸感；想跑 32B，19 到 20GB 权重配 24GB 显存才算合理，16GB 只能算勉强尝试。RTX 5080 这类卡算力很强却只有 16GB 显存，也常被吐槽，原因就在这里：速度不是问题，容量先到顶。
具体到常见型号，RTX 5060 Ti 有 16GB 版本，RTX 5070 是 12GB，RTX 5070 Ti 和 RTX 5080 是 16GB，RTX 5090 是 32GB，RTX 4090 和 RTX 3090 都是 24GB。二手 3090 常被当作性价比洼地，看中的就是 24GB，只是价格随行情变动，要核对成色和功耗。
三类人怎么买
只想尝鲜的人
现有显卡有 8GB 或 12GB，就先别急着换。用 Q4 量化的 7B/8B 模型体验本地聊天、写点短文本完全够了。工具上手可以参考 LM Studio：把大模型装进一个桌面 App，下载开聊很简单，内存、量化与选型的三处代价，先跑通流程，再决定要不要为更大的模型花钱。
认真想本地部署的人
目标定在 14B 到 32B，16GB 是当前甜点，24GB 更稳。日常写代码、做文档处理、需要隐私不出本机，14B 已经能解决大部分需求，没必要一步冲到最大模型。如果工作流经常要塞长文档、开长上下文，直接上 24GB，省去反复调参数的折腾。
折腾大模型的人
想跑 70B，就要接受成本明显上升：单张消费卡显存不够，要考虑双卡，或者转向统一内存更大的平台。40 系、50 系消费卡没有 NVLink，多卡扩展性和软件适配都有限，别以为买两张卡就能简单翻倍，先确认你用的推理框架对多卡的支持情况。
不值的地方与替代路线
只为了聊天就买 RTX 5090，是典型的浪费。32GB 显存和强算力用不满，散热和电源成本还得跟上。反过来，硬买 8GB 新卡期待以后跑大模型也不划算，显存不足无法靠设置弥补。
还有两条替代路线。一是苹果 Mac 的统一内存，64GB、128GB 机型能装下更大的模型，适合本来就在 Mac 生态里的人，但速度、量化格式和工具生态与 N 卡不同，不能套用显卡经验。二是纯云端 API，对偶尔用又在意质量的人，往往比买大显存显卡更便宜。本地部署的价值是隐私、离线可用和调用量大时成本可控，这三点都不沾，先别急着买卡。
