Edge0-145B能不能跑,先看内存账能不能算平:官方说它峰值内存29GB,指的是GPU侧峰值,不是整机只要29GB内存。145B参数的MoE模型每步实际参与计算约10B,官方称可在兼容笔记本上运行,但跑之前必须先把显卡、系统内存和硬盘三笔账加起来,再按官方安装指南确认自己的系统与显卡是否支持。
29GB背后其实是三笔账
| 位置 | 官方说法 | 用来放什么 |
|---|---|---|
| GPU侧 | 峰值29GB | 推理时最吃显存的部分 |
| 系统内存 | 约40GB | 专家库,按需调入GPU |
| SSD | 约48GB | 词表数据,按需读取 |
官方博客把这套做法叫“四层设计”:专家矩阵跨专家组共享,CPU与GPU协同计算。只看29GB就下单买机器,一定会算错账。
按这三步核对自己的机器
- 先看显卡与系统:官方博客以兼容笔记本举例,但支持范围以官方安装指南为准,自己的系统与显卡型号要先对上,再往下走。
- 再算内存与硬盘:GPU峰值29GB之外,还要留出约40GB系统内存和约48GB SSD空间,三项缺一不可。
- 最后确认获取渠道:模型权重在Hugging Face,推理框架与Edge0 App在GitHub,下载前先读许可——推理框架是Apache-2.0,模型权重用Edge0 Community Model License 1.0,商用前务必先读清两份许可。
峰值内存、80+ tokens/s解码速度、128K–256K上下文和六项均分72.8的评测,都是Edge0官方内部测试数据,尚无独立第三方复现,别当成到手就能复现的成绩。官方也说本地推理没有云端token或API费用、数据留在本机,但硬件与电费仍要自己付。官方称典型功耗约120W,笔记本散热和电源也要算进去,跑大模型不是只看内存数字。