スループット、GPU メモリ、同時実行。vLLM が気にするのはこの三つです。チャット画面は用意されず、オープンモデルを本番トラフィックに耐える API に変えることに集中しています。ツール呼び出しや MoE バックエンド、長文脈キャッシュも継続的に改善されています。
DeepInferは、DeepSeekがGitHubで公開した推論フレームワークです。組織名はdeepseek-ai、プロジェクト名はDeepInferで、Apache 2.0ライセンスを採用しています。DeepSeekの大規模な本番サービスを支える推論フレームワークだと説明されており、公開時点では...
SGLang は、この二年ほど推論デプロイの現場で避けて通れないオープンソースのフレームワークです。同じ GPU でも、マルチターン対話やエージェント、構造化出力といった負荷では、素朴なデプロイより明確に速いことが珍しくありません。ただし、これはチャット製品ではなく、GPU と調整と見守りを必要とす...
Humming は2026年10月21日、アントグループと vLLM コミュニティによって vLLM 公式ブログでオープンソース化が発表された、汎用の高性能な量子化推論カーネルライブラリであり、現在 GitHub の vllm-project 組織でホストされている。解こうとしているのは、個々の演算...
llm-d 1.0 は 2026 年 10 月 20 日、北米の PyTorch Conference で正式に披露され、IBM Research が公式ブログで発表した。Kubernetes ネイティブな分散推論プロジェクトで、Red Hat、IBM、Google が中心となって保守し、2025 ...
DeepSeek の推論フレームワーク DeepInfer が 2026 年 10 月 20 日にオープンソース化された。DeepSeek は自社の大規模な本番サービスを支える推論フレームワークを、GitHub の公式リポジトリ deepseek-ai/DeepInfer に Apache-2.0 ...
vLLM v0.32.0 は 2026 年 10 月 18 日に公開され、vLLM プロジェクトが GitHub で公開したこの版には 363 人の貢献者による 814 件のコミットが含まれ、うち 121 人が初参加だった。オープンウェイトモデルを自前で運用するチームにとって注目点は新モデル一覧では...
Beam は Reflection が初めて公開するオープンウェイトモデルだ。2026 年 10 月 16 日、Reflection が Beam を正式に発表し、Ollama も同日、公式ブログで初日パートナーとして参加すると発表した。総パラメータは約 501B の混合専門家アーキテクチャで、1 ...
Kimi K3 の AMD Instinct MI355X 上での推論最適化は、vLLM 公式ブログが 2026 年 10 月 16 日に公開した技術解説の成果です。AgentX のエージェント負荷において、vLLM で動作する8基の MI355X システムは、GPU あたり毎秒総トークン数で NV...
