ToolNavs 发现实用AI工具
提交工具 登录
返回AI问答
Inkling 2 Mini 笔记本上怎么跑:26B 模型先算清内存和授权

Inkling 2 Mini 笔记本上怎么跑:26B 模型先算清内存和授权

AI问答 • Admin • • 3 次浏览

Inkling 2 Mini 笔记本上怎么跑,答案是先算清内存和授权:Thinking Machines Lab 在 2026 年 11 月 20 日发布了这款 26B 参数的循环架构模型,总参数 26.4B,每次只激活 3.4B,权重约 20GB,官方说能在笔记本上离线跑。它用 Apache 2.0 协议开源权重,下载就能用,但 26B 不等于轻量,内存不够照样跑不动,动手前先把账算明白。

先算清这笔内存账

权重本身约 20GB,再加上运行时的缓存和框架开销,官方演示用的是 48GB 内存的 MacBook Pro,也就是 M5 Pro 芯片那台。按这个口径,32GB 内存是比较稳妥的起点,16GB 的机器大概率要靠更激进的量化或忍受龟速。别只看 3.4B 激活参数就以为它很小,那是算力口径,不是内存账。

笔记本上跑起来的两条路

想省事,走 Ollama 这类一键工具:装好后拉取模型就能对话,适合先体验效果、跑聊天和简单 Agent 任务。想榨性能、跑 Agent 和长上下文,走 vLLM 或 SGLang 部署完整权重,官方发布当天 vLLM 已支持,Ollama 也在支持名单里。权重在 Hugging Face 上 Thinking Machines Lab 的官方页面下载,另有 GGUF 量化版可供 llama.cpp 使用。

授权与适用边界

Apache 2.0 协议允许商用,也允许改动和再分发,条件是保留版权声明和许可说明,用起来没有订阅费。模型支持文本和图片输入、100 万 token 上下文,官方说它在长程 Agent 任务上表现突出。但它也有短板:多轮对话和带很多约束条件的指令上,不如 Qwen3.8-27B 这类同级模型。拿它做主力之前,先在自己的任务上实测一轮。

Q:权重从哪里下载最稳妥?

A:Hugging Face 上 Thinking Machines Lab 的官方模型页,认准 thinkingmachines/Inkling-2-Mini 这个名字,别从不明来源下载来路不明的权重文件。

推荐工具

更多