本地部署大模型
讲清把大模型跑在自家电脑或服务器上的推理框架、显卡门槛和量化取舍，重点回应隐私与长期成本两类需求。
本地部署把模型推理从云端搬到自己的电脑、服务器或内网，换来数据不出域、调用不受限和长期使用成本可控。代价是显卡显存、量化精度和推理框架的选择变重要：Ollama、vLLM、llama.cpp 各有侧重，GGUF、AWQ、GPTQ 等格式也直接影响速度和效果。这部分内容帮你在隐私合规、硬件预算和响应速度之间找到平衡点。
PrismML 1-bit 小模型登陆骁龙智能眼镜：20 亿参数本地实时看懂世界
PrismML 的 1-bit 大模型在 2026 年 9 月 24 日登上高通 Snapdragon Summit：AI 实验室 PrismML 的 1-bit Bonsai 大语言模型，跑在了一副基于骁龙 AR1 Gen 1 平台的 AI 智能眼镜上，全程本地运行，不需要联网回传云端。Prism...
Admin
147 
vLLM 加上无失真文本水印：模型输出可溯源，速度几乎无损
vLLM 在 9 月 24 日的官方博客中宣布，推理引擎正式支持基于 Gumbel-max 的文本水印功能。这项技术的目标很直接：让模型生成文本的来源可被追溯，同时保证加水印不改变模型的输出分布、不拖慢推理速度。按官方实测，Qwen3.5-27B 开启水印后，各项基准成绩都在误差范围内，吞吐变化在 ...
Admin
167 
腾讯Hy翻译App上线：33种语言互译，离线也能用
2026 年 9 月 24 日，腾讯混元宣布"腾讯 Hy 翻译"App 正式上线，同步支持小程序、插件与 PC 端。据 IT 之家与界面新闻当日报道，这款应用基于腾讯混元今年 5 月开源的 Hy-MT2 翻译模型打造，支持 33 种语言互译，并覆盖 5 种中国少数民族语言及方言，提供语音翻译、拍照翻...
Admin
268 
Antigravity SDK 支持本地模型：智能体完全离线运行
2026 年 9 月 23 日，Google 在官方开发者博客宣布，Antigravity SDK 新增对本地模型工作流的支持，首发通过 Google AI Edge 的 LiteRT 接入 Gemma 4 26B A4B。这意味着开发者可以在完全离线的环境中运行具备智能体能力的助手，代码和请求不再...
Admin
168 
transformers 原生支持 GGUF：本地跑量化模型不用再装 llama.cpp
2026 年 9 月 22 日，Hugging Face 在官方博客宣布，transformers 现在可以直接加载 GGUF 量化模型。对习惯在笔记本上跑模型的人来说，这意味着一条熟悉的 from_pretrained 调用就能搞定量化模型，不用再在 transformers 和 llama.cp...
Admin
163 
苹果新款 Mac mini、Mac Studio 今日开售：M6 端侧 AI 快四倍
2026年9月22日，苹果通过官网新闻中心宣布，新款 Mac mini 与 Mac Studio 于今日正式开售。两款产品在 8 月 25 日发布、8 月 27 日开启预购之后，正式进入销售阶段。这一轮更新的核心不是外观，而是苹果把两款桌面主机重新定位为"跑在桌上的 AI 算力"：Mac mini ...
Admin
141 
中国电信发布 Xing4.0-29B：单卡可跑的轻量 Agent 大模型
2026 年 9 月 22 日，中国电信 AI（TeleAI）通过官方新闻稿发布 Xing4.0-29B-A4B，定位为下一代轻量 Agent 大模型。核心参数很直白：290 亿总参数、每 token 只激活 40 亿参数，采用 MoE 架构，上下文窗口 256K。官方强调，配合低比特量化与内存优化...
Admin
197 
transformers 直接支持 GGUF：Hugging Face 把 llama.cpp 的量化模型请进 Python
2026 年 9 月 22 日，Hugging Face 在官方博客宣布，transformers 正式支持直接加载 GGUF 量化模型。用户只需在 from_pretrained 里传入 gguf_file 参数，就能把 Hub 上的 GGUF checkpoint 装进熟悉的 transform...
Admin
173