vLLM
スループット、GPU メモリ、同時実行。vLLM が気にするのはこの三つです。チャット画面は用意されず、オープンモデルを本番トラフィックに耐える API に変えることに集中しています。ツール呼び出しや MoE バックエンド、長文脈キャッシュも継続的に改善されています。
vLLM はモデルとアプリケーションの間に立ち、オープンモデルを安定した省メモリの推論サービスに変える役目を負います。自前でモデル API を運用するチームには有力な候補で、ローカルで雑談したいだけの人には重すぎます。近況は土台の補修が中心で、TRTLLM の融合 MoE、FP8 バックエンド、MTP が並びます。ツール呼び出しには明示的な指定と正しいパーサーが必要です。
