4bit

模型量化：为什么 4-bit、8-bit 总会出现在本地部署讨论里

模型量化是本地部署和高效推理里绕不开的关键词。很多人在看模型部署教程时，经常会碰到 8-bit、4-bit、AWQ、GPTQ 这类词，但不知道它们到底在解决什么问题。简单说，量化的核心就是把模型权重用更低精度来表示，从而降低显存占用、减少内存压力，让原本太大的模型更容易跑起来。 它之所以总和本地部署...