スループット、GPU メモリ、同時実行。vLLM が気にするのはこの三つです。チャット画面は用意されず、オープンモデルを本番トラフィックに耐える API に変えることに集中しています。ツール呼び出しや MoE バックエンド、長文脈キャッシュも継続的に改善されています。
2026 年 9 月 24 日の公式ブログで、vLLM は推論エンジンに Gumbel-max ベースのテキスト透かし機能が正式に搭載されたことを発表した。目的は明確だ：モデルが生成したテキストの出所を追跡可能にすること。しかも透かしを入れてもモデルの出力分布は変わらず、推論速度も落とさない。公式の...
Hermes Agent vLLM接続後モデルがツール呼び出しをテキスト出力としてのみ行う場合、通常Hermesが接続されていないのではなく、vLLMサービスがツール呼び出しパラメータなしで起動されます。Hermesはデフォルトで tool_choice: auto を使用し、vLLM側も明示的にオ...
vLLMは常に非常に人気がありました。なぜなら、「チャットインターフェースがあるかどうか」という上位レベルの要件ではなく、より低レベルで高価な問いである:より高速に動作し、メモリを節約し、並行処理をより良く行う方法だからです。 ローカルでプレイするだけでなく、自分でモデルAPIをホストする覚悟があれ...
vLLM 0.17.1は0.17.0の上に構築されたパッチ版ですが、根本的な問題を修正しています。 公式リストには、TRTLLM融合MoE、非ゲート化融合モエトリトン、TRTLLM MoE FP8バックエンド、Mamba/Qwen3.5 SSMキャッシュブロック、MTP処理最適化が含まれており、これ...
vLLM 0.17.0の価値は「大規模モデル推論をより安定してサービスに導入する方法」にあります。 高スループット、低遅延、より高い展開効率を求めるチームにとって、vLLMのリリースは単なるリサーチ層の更新ではなく、オンライン推論サービスの品質に影響を与えるインフラの進化です。 モデルのボリューム、...
vLLMはバージョンv0.17.0をリリースし、最新のアップデートはGitHub Releaseを通じて公式に発表されました。 大規模モデルの高性能推論フレームワークとして、vLLMのバージョン変更は通常、スループット、導入互換性、推論工学の経験に直接影響するため、モデルサービスや推論インフラの分野...
Moonshot AIは、Kimi Linearの技術レポートとオープンウェイトの公開を発表しました。このレポートでは、その中核コンポーネントであるKimi Delta Attention（KDA）線形アテンションモジュールと、線形アテンションとフルアテンション（MLA）を組み合わせた階層型ハイブリ...
