模型量化:为什么 4-bit、8-bit 总会出现在本地部署讨论里
模型量化是本地部署和高效推理里绕不开的关键词。很多人在看模型部署教程时,经常会碰到 8-bit、4-bit、AWQ、GPTQ 这类词,但不知道它们到底在解决什么问题。简单说,量化的核心就是把模型权重用更低精度来表示,从而降低显存占用、减少内存压力,让原本太大的模型更容易跑起来。 它之所以总和本地部署...
模型量化是本地部署和高效推理里绕不开的关键词。很多人在看模型部署教程时,经常会碰到 8-bit、4-bit、AWQ、GPTQ 这类词,但不知道它们到底在解决什么问题。简单说,量化的核心就是把模型权重用更低精度来表示,从而降低显存占用、减少内存压力,让原本太大的模型更容易跑起来。 它之所以总和本地部署...
视觉语言模型,也就是 VLM,是最近讨论度很高的一类模型。很多人会把它和“多模态模型”混着说,其实两者关系很近,但不完全一样。VLM 更强调模型能够同时处理图像和文本,并把视觉信息和语言信息放进同一个理解与生成过程里。也正因为这样,它被广泛用在看图问答、文档理解、图像描述、视觉检索和界面理解等场景里...
工具调用是当下 AI 应用里最重要、也最容易被忽视的基础能力之一。很多人看到模型会查天气、读文件、搜网页、发请求,就以为它“突然变强了”,但背后真正起作用的,往往是工具调用。它的本质,是让模型在合适的时候,不只输出文字,而是选择去调用某个函数、接口或外部能力,再把结果带回来继续完成任务。 也正因为有...
计算机使用代理,也常被叫做 Computer-Using Agent,是最近智能体能力升级里非常受关注的一类形态。它和普通聊天机器人最大的区别,不是回答得更聪明,而是它开始能直接看屏幕、识别界面元素,并通过点击、输入、滚动等方式操作电脑或网页。简单说,它不只是告诉你“该怎么做”,而是开始真的替你去做...
氛围编程是 2025 年以来迅速出圈的 AI 热词之一。它说的不是某种新的编程语言,而是一种新的开发方式:人用自然语言描述目标、功能和体验,AI 负责生成代码、改界面、补逻辑,再在多轮对话里不断迭代。也正因为这个思路足够直观,氛围编程才会让很多原本不会写代码的人也开始尝试做产品、搭网站、生成小工具。...
小语言模型,也就是 SLM,正在成为端侧 AI 和本地 AI 场景里的高频概念。过去大家更关注“大模型有多强”,但随着手机、PC、车载系统和边缘设备开始真正落地 AI,行业发现不是所有任务都需要超大参数模型。很多时候,速度、成本、隐私和本地可运行性,比参数规模更重要,这也是小语言模型越来越受重视的原...
世界模型这个概念最近重新变热,不只是学术圈在讲,做智能体、自动驾驶、机器人和视频生成的人也都在提。所谓世界模型,核心不是让 AI 多会说话,而是让它对环境、状态变化、因果关系和下一步会发生什么,形成一种可预测的内部表示。换句话说,它想解决的是“AI 会不会理解世界”这个更深层的问题。 大语言模型擅长...
推理模型是 2025-2026 年 AI 领域最常被提到的关键词之一。和早期更偏“快速生成”的大语言模型相比,推理模型更强调多步分析、复杂判断和在不确定信息里的决策能力。这也是为什么一旦问题涉及数学、编程、规划、图表理解或长链路决策,推理模型会被单独拿出来讨论。 它之所以会火,不只是因为更“聪明”,...