スループット、GPU メモリ、同時実行。vLLM が気にするのはこの三つです。チャット画面は用意されず、オープンモデルを本番トラフィックに耐える API に変えることに集中しています。ツール呼び出しや MoE バックエンド、長文脈キャッシュも継続的に改善されています。
投機的デコーディング（Speculative Decoding）は、大規模モデルの文章生成を高速化する手法です。まず、はるかに小さいドラフトモデルが次の数トークンを先回りして推測し、次に大規模モデルがその推測を1回の並列処理でまとめて検証します。正しいものは採用し、最初に間違えた位置で修正します。変...
推論エンジンはAIエージェントがゼロから書き上げ、成熟した汎用フレームワークを上回れるのか。2026年10月2日に更新されたBasetenのエンジニアリングブログが、その実測結果を公開した。エンジニアはMetaInfer論文を参考に、Claude Code（Fable 5）にQwen-3.6-35B...
Prime Inference は2026年10月2日、Prime Intellect によって正式に公開された、最先端のオープンモデル向け推論サービスです。複数のデータセンターで自社の GPU インフラを使い、サーバーレスエンドポイントと予約容量の2つの形態を提供し、本番レベルの SLA、セキュリ...
2026 年 9 月 24 日の公式ブログで、vLLM は推論エンジンに Gumbel-max ベースのテキスト透かし機能が正式に搭載されたことを発表した。目的は明確だ：モデルが生成したテキストの出所を追跡可能にすること。しかも透かしを入れてもモデルの出力分布は変わらず、推論速度も落とさない。公式の...
Hermes Agent vLLM接続後モデルがツール呼び出しをテキスト出力としてのみ行う場合、通常Hermesが接続されていないのではなく、vLLMサービスがツール呼び出しパラメータなしで起動されます。Hermesはデフォルトで tool_choice: auto を使用し、vLLM側も明示的にオ...
vLLMは常に非常に人気がありました。なぜなら、「チャットインターフェースがあるかどうか」という上位レベルの要件ではなく、より低レベルで高価な問いである:より高速に動作し、メモリを節約し、並行処理をより良く行う方法だからです。 ローカルでプレイするだけでなく、自分でモデルAPIをホストする覚悟があれ...
vLLM 0.17.1は0.17.0の上に構築されたパッチ版ですが、根本的な問題を修正しています。 公式リストには、TRTLLM融合MoE、非ゲート化融合モエトリトン、TRTLLM MoE FP8バックエンド、Mamba/Qwen3.5 SSMキャッシュブロック、MTP処理最適化が含まれており、これ...
vLLM 0.17.0の価値は「大規模モデル推論をより安定してサービスに導入する方法」にあります。 高スループット、低遅延、より高い展開効率を求めるチームにとって、vLLMのリリースは単なるリサーチ層の更新ではなく、オンライン推論サービスの品質に影響を与えるインフラの進化です。 モデルのボリューム、...
