返回文章列表

开源模型

找到 8 篇相关文章

Ollama 为什么会成为本地大模型第一站?它最强的是启动门槛低,不是企业级控制

Ollama 为什么会成为本地大模型第一站?它最强的是启动门槛低,不是企业级控制

很多人第一次认真跑本地模型,最后几乎都会碰到 Ollama。原因不复杂,它把“下载模型、启动服务、用 API 调用”这件事压得足够简单,让本地推理从折腾环境,变成一个更像安装工具的动作。对开发者和尝鲜用户来说,这个门槛下降非常关键。 官方仓库: https://github.com/ollama/o...

Ai开源 Admin
77
模型蒸馏:为什么越来越多“小模型”能追上大模型体验

模型蒸馏:为什么越来越多“小模型”能追上大模型体验

模型蒸馏是近两年被频繁提到的一个关键词,尤其是在“小模型为什么越来越强”这个问题上,它几乎总会出现。简单说,蒸馏的思路就是让较小的学生模型去学习较大的教师模型,把后者的一部分能力、行为方式和输出规律迁移过来,从而在更低成本下拿到更接近的效果。 这件事之所以重要,是因为很多团队并不需要一个最顶级、最昂...

AI百科 Admin
81
模型量化:为什么 4-bit、8-bit 总会出现在本地部署讨论里

模型量化:为什么 4-bit、8-bit 总会出现在本地部署讨论里

模型量化是本地部署和高效推理里绕不开的关键词。很多人在看模型部署教程时,经常会碰到 8-bit、4-bit、AWQ、GPTQ 这类词,但不知道它们到底在解决什么问题。简单说,量化的核心就是把模型权重用更低精度来表示,从而降低显存占用、减少内存压力,让原本太大的模型更容易跑起来。 它之所以总和本地部署...

AI百科 Admin
112

推荐工具

更多