ToolNavs 发现实用AI工具
提交工具 登录
返回AI问答
Edge0-145B本地怎么跑:145B大模型塞进笔记本前先算清内存账

Edge0-145B本地怎么跑:145B大模型塞进笔记本前先算清内存账

AI问答 • Admin • • 3 次浏览

Edge0-145B能不能跑,先看内存账能不能算平:官方说它峰值内存29GB,指的是GPU侧峰值,不是整机只要29GB内存。145B参数的MoE模型每步实际参与计算约10B,官方称可在兼容笔记本上运行,但跑之前必须先把显卡、系统内存和硬盘三笔账加起来,再按官方安装指南确认自己的系统与显卡是否支持。

29GB背后其实是三笔账

位置官方说法用来放什么
GPU侧峰值29GB推理时最吃显存的部分
系统内存约40GB专家库,按需调入GPU
SSD约48GB词表数据,按需读取

官方博客把这套做法叫“四层设计”:专家矩阵跨专家组共享,CPU与GPU协同计算。只看29GB就下单买机器,一定会算错账。

按这三步核对自己的机器

  1. 先看显卡与系统:官方博客以兼容笔记本举例,但支持范围以官方安装指南为准,自己的系统与显卡型号要先对上,再往下走。
  2. 再算内存与硬盘:GPU峰值29GB之外,还要留出约40GB系统内存和约48GB SSD空间,三项缺一不可。
  3. 最后确认获取渠道:模型权重在Hugging Face,推理框架与Edge0 App在GitHub,下载前先读许可——推理框架是Apache-2.0,模型权重用Edge0 Community Model License 1.0,商用前务必先读清两份许可。

峰值内存、80+ tokens/s解码速度、128K–256K上下文和六项均分72.8的评测,都是Edge0官方内部测试数据,尚无独立第三方复现,别当成到手就能复现的成绩。官方也说本地推理没有云端token或API费用、数据留在本机,但硬件与电费仍要自己付。官方称典型功耗约120W,笔记本散热和电源也要算进去,跑大模型不是只看内存数字。

推荐工具

更多