ローカルで大規模モデルを動かす開発者が3年半待った末、llama.cppが11月13日にバージョン1.0.0を公開した。このC/C++推論エンジン初の正式メジャーリリースであり、2023年3月からコミット番号をバージョンとして使ってきた同プロジェクトが、初めてセマンティックバージョニングを採用した。基盤となるテンソルライブラリggmlも同時に1.0.0を公開し、両プロジェクトは今後、公開C APIの非互換な変更はメジャーリリースでのみ行うと約束した。
1.0.0で実際に変わったこと
最大の変更は整理だ。1.0.0では廃止予定だった公開関数35個と、ウォームアップ設定やデフラグしきい値などの古いオプションが削除され、NextN投機的デコードAPIが拡張ヘッダーからメインのllama.hヘッダーへ昇格し、新しいバージョンの約束の保護対象に入った。新機能にはOCP FP8形式のKVキャッシュ、混合エキスパートモデルのホストメモリ・エキスパートキャッシュ、独立したGGUFシャードからの外部PLE・engramデータの読み込みがある。公式によれば、llama.cppは現在150種類以上のモデルアーキテクチャと、主要な投機的デコード手法のすべてに対応している。
このアップグレードの影響を受けるのは誰か
直接の影響を受けるのはllama.cppの上に構築されたツールで、代表例はOllamaやLM StudioのようなローカルAIアプリだ。コミット番号を追うたびに不安になるのではなく、安定した公開APIにようやく依存できるようになる。既製アプリだけを使う一般ユーザーにとって、バージョン番号そのものに目に見える変化はない。利点は、今後のアップグレードがより予測可能になり、互換性の問題が減ることだ。ただし注意点もある。1.0.0自体が整理のためのリリースであり、削除されたAPIを使っているアプリは、アップグレード前にコードを修正しなければならず、バイナリを差し替えるだけでは済まない。ローカル展開のハードルは変わりつつある。最近の例が145BモデルをノートPCに詰め込んだEdge0だ。
安定とは、永遠に変わらないことではない
セマンティックバージョニングの約束は具体的だ。メジャーバージョンは公開C APIの非互換な変更に対応し、マイナーバージョンは互換性を壊さずに機能を追加し、パッチバージョンはバグ修正のみを行う。ただし対象は公開C APIであって、モデルの出力や性能、すべてのコマンドラインオプションではない。公式は配布チャネルも網羅している。プリビルド成果物はLinux、macOS、Windows、Android、iOSをカバーし、Docker、Debian、Homebrew、conda-forge、MacPorts、Wingetも用意されている。ローカルAIのエコシステムは「動けばよい」から「インターフェースに約束がある」へと移った。1.0.0の意義はまさにそこにある。
