Lässt sich Edge0-145B lokal ausführen? Das hängt davon ab, ob die Speicherrechnung aufgeht: Die offizielle Angabe von 29 GB Spitzenwert bezieht sich auf die GPU-Seite, nicht darauf, dass ein ganzer Rechner mit 29 GB Speicher auskommt. Dieses MoE-Modell mit 145 Mrd. Parametern nutzt pro Inferenzschritt etwa 10 Mrd. Parameter, und offiziell heißt es, es könne auf einem kompatiblen Notebook laufen – aber rechnen Sie vorher Grafikkarte, Systemspeicher und Festplattenspeicher zusammen und prüfen Sie anhand der offiziellen Installationsanleitung, ob Ihr System und Ihre Grafikkarte unterstützt werden.
Hinter den 29 GB stecken drei separate Posten
| Wo | Offizielle Angabe | Wofür |
|---|---|---|
| GPU-Seite | 29 GB Spitzenwert | Der VRAM-hungrigste Teil der Inferenz |
| Systemspeicher | ca. 40 GB | Die Expertenbibliothek, bei Bedarf in die GPU geladen |
| SSD | ca. 48 GB | Vokabulardaten, bei Bedarf gelesen |
Der offizielle Blog nennt diesen Ansatz ein „Vier-Schichten-Design": Expertenmatrizen werden über Expertengruppen hinweg geteilt, und CPU und GPU rechnen zusammen. Wer nur nach den 29 GB ein Gerät kauft, verrechnet sich garantiert.
Prüfen Sie Ihren Rechner in drei Schritten
- Prüfen Sie zuerst Grafikkarte und Betriebssystem: Der offizielle Blog nennt ein kompatibles Notebook als Beispiel, aber der unterstützte Umfang ist in der offiziellen Installationsanleitung definiert – gleichen Sie Ihr System und Ihr GPU-Modell erst damit ab.
- Rechnen Sie dann Speicher und Festplatte zusammen: Zusätzlich zum GPU-Spitzenwert von 29 GB brauchen Sie etwa 40 GB Systemspeicher und etwa 48 GB SSD-Speicherplatz. Alle drei sind erforderlich.
- Bestätigen Sie schließlich die Bezugsquellen: Die Modellgewichte liegen auf Hugging Face, das Inferenz-Framework und die Edge0 App auf GitHub. Lesen Sie vor dem Download die Lizenzen – das Inferenz-Framework steht unter Apache-2.0, die Modellgewichte unter der Edge0 Community Model License 1.0, und vor jeder kommerziellen Nutzung müssen Sie beide Lizenzen sorgfältig lesen.
Spitzenwert des Speichers, Dekodiergeschwindigkeit von über 80 Tokens/s, ein Kontextfenster von 128K–256K und der Durchschnittswert von 72,8 über sechs Benchmarks sind allesamt interne Testergebnisse von Edge0, ohne unabhängige Reproduktion durch Dritte – behandeln Sie sie nicht als Ergebnisse, die Sie sofort reproduzieren können. Offiziell heißt es auch, lokale Inferenz verursache keine Cloud-Token- oder API-Gebühren und die Daten blieben auf Ihrem Rechner, aber Hardware und Strom zahlen Sie selbst. Der typische Stromverbrauch wird mit etwa 120 W angegeben, also zählen auch Kühlung und Netzteil eines Notebooks mit – ein großes Modell zu betreiben, ist nicht nur eine Frage der Speichermenge.
