Entwickler, die große Modelle lokal ausführen, haben dreieinhalb Jahre gewartet: llama.cpp hat am 13. November die Version 1.0.0 veröffentlicht. Es ist das erste formale Major-Release dieser C/C++-Inferenz-Engine und das erste Mal, dass das Projekt semantische Versionierung verwendet, seit es im März 2023 begann, rohe Commit-Nummern als Versionsangaben zu nutzen. Die begleitende Tensor-Bibliothek ggml erschien zeitgleich als 1.0.0, und beide Projekte versprechen nun, dass inkompatible Änderungen an der öffentlichen C-API nur in Major-Releases vorkommen werden.
Was sich in 1.0.0 tatsächlich geändert hat
Die wichtigste Änderung ist eine Bereinigung. Version 1.0.0 entfernt 35 veraltete öffentliche Funktionen sowie alte Optionen wie den Warmup-Schalter und den Defragmentierungsschwellenwert, und befördert zugleich die NextN-API für spekulative Dekodierung aus einem Erweiterungs-Header in den Haupt-Header llama.h – und damit in den Schutzbereich des neuen Versionsversprechens. Zu den neuen Funktionen zählen KV-Caches im OCP-FP8-Format, ein Hostspeicher-Experten-Cache für Mixture-of-Experts-Modelle sowie das Laden externer PLE- oder Engram-Daten aus separaten GGUF-Shards. Dem Projekt zufolge unterstützt llama.cpp inzwischen mehr als 150 Modellarchitektur-Varianten und alle gängigen Verfahren der spekulativen Dekodierung.
Wen dieses Upgrade betrifft
Direkt betroffen sind Werkzeuge, die auf llama.cpp aufbauen – allen voran lokale KI-Anwendungen wie Ollama und LM Studio: Sie können sich endlich auf eine stabile öffentliche API verlassen, statt bei jeder neuen Commit-Nummer bangen zu müssen. Für normale Nutzer, die nur fertige Anwendungen verwenden, ändert die Versionsnummer selbst nichts Sichtbares; der Vorteil liegt darin, dass künftige Upgrades vorhersehbarer werden und Kompatibilitätsprobleme seltener auftreten. Eine Warnung ist jedoch angebracht: 1.0.0 ist selbst ein Bereinigungs-Release – Anwendungen, die entfernte APIs nutzen, müssen ihren Code vor dem Upgrade anpassen und können nicht einfach die neue Binärdatei einsetzen. Die Hürde für lokale Bereitstellung verschiebt sich, wie das jüngste Beispiel von Edge0 zeigt, das ein 145B-Modell in einen Laptop gequetscht hat.
Stabil heißt nicht, dass sich nie etwas ändert
Das Versprechen der semantischen Versionierung ist konkret: Major-Versionen stehen für inkompatible Änderungen an der öffentlichen C-API, Minor-Versionen fügen Funktionen hinzu, ohne die Kompatibilität zu brechen, und Patch-Versionen beheben nur Fehler. Es gilt jedoch für die öffentliche C-API, nicht für Modellausgaben, Leistung oder jede einzelne Kommandozeilenoption. Das Projekt listet auch vollständige Vertriebskanäle auf: Vorgefertigte Pakete decken Linux, macOS, Windows, Android und iOS ab, dazu kommen Docker, Debian, Homebrew, conda-forge, MacPorts und Winget. Das lokale KI-Ökosystem ist von „es läuft“ zu „die Schnittstelle kommt mit einem Versprechen“ übergegangen – genau darin liegt die Bedeutung von 1.0.0.
