GGUFとKVキャッシュを組み合わせた技術

Qwen の発表: Qwen3-VL が llama.cpp で利用できるようになりました。GGUF の重みは 2B から 235B の範囲です。

Qwenは、ビジュアル言語モデルQwen3-VLがllama.cppでネイティブサポートされ、2Bから235Bまでの様々な仕様をカバーするGGUFの重みがフルレンジでリリースされたことを正式に発表しました。CPU、CUDA、Metal、Vulkanなどのバックエンドで直接実行できます。ダウンロードリ...