Edge0-145B peut-il tourner en local ? Tout dépend de savoir si le compte de la mémoire tombe juste : le chiffre officiel de 29 Go de mémoire de pointe concerne le côté GPU, et non une machine entière qui se contenterait de 29 Go de mémoire. Ce modèle MoE de 145 milliards de paramètres n'utilise qu'environ 10 milliards de paramètres par étape d'inférence, et l'annonce officielle affirme qu'il peut tourner sur un ordinateur portable compatible — mais avant de le lancer, additionnez la carte graphique, la mémoire système et le stockage, et vérifiez dans le guide d'installation officiel que votre système et votre carte graphique sont bien pris en charge.
Derrière les 29 Go, il y a en réalité trois postes
| Emplacement | Chiffre officiel | À quoi ça sert |
|---|---|---|
| Côté GPU | 29 Go en pointe | La partie de l'inférence la plus gourmande en VRAM |
| Mémoire système | Environ 40 Go | La bibliothèque d'experts, chargée dans le GPU à la demande |
| SSD | Environ 48 Go | Les données de vocabulaire, lues à la demande |
Le blog officiel appelle cette approche une « conception en quatre couches » : les matrices d'experts sont partagées entre les groupes d'experts, et le CPU et le GPU calculent ensemble. Si vous achetez une machine en ne regardant que les 29 Go, le calcul sera faux.
Vérifiez votre machine en trois étapes
- Vérifiez d'abord la carte graphique et le système d'exploitation : le blog officiel prend un portable compatible comme exemple, mais la portée du support est définie par le guide d'installation officiel — comparez votre système et votre modèle de GPU avant d'aller plus loin.
- Additionnez ensuite mémoire et stockage : en plus des 29 Go de pointe côté GPU, il faut environ 40 Go de mémoire système et environ 48 Go d'espace SSD. Les trois sont indispensables.
- Confirmez enfin où l'obtenir : les poids du modèle sont sur Hugging Face, le framework d'inférence et l'application Edge0 sur GitHub. Lisez les licences avant de télécharger — le framework d'inférence est sous Apache-2.0, les poids du modèle sous la Edge0 Community Model License 1.0, et il faut lire attentivement les deux licences avant tout usage commercial.
la mémoire de pointe, la vitesse de décodage de plus de 80 tokens/s, la fenêtre de contexte de 128K–256K et le score moyen de 72,8 sur six tests sont tous des chiffres de tests internes d'Edge0, sans reproduction indépendante par un tiers pour l'instant — ne les prenez pas pour des résultats que vous obtiendrez tels quels. Le blog officiel précise aussi que l'inférence locale n'entraîne ni frais de tokens cloud ni frais d'API et que les données restent sur votre machine, mais le matériel et l'électricité restent à votre charge. La consommation typique est annoncée à environ 120 W, donc le refroidissement et l'alimentation d'un portable comptent aussi — faire tourner un grand modèle n'est pas qu'une question de mémoire.
