LLM 推論最適化
要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
Volantis の 8800 万ドルのシリーズ A は 2026 年 10 月 1 日、Volantis が PR Newswire を通じて発表しました。Lachy Groom と Abstract Ventures が共同で主導し、John Doerr、VXI Capital、Triatomi...
GPT-6 Astra Ultrafast は 2026 年 10 月 1 日に正式登場した。同日、NVIDIA 公式ブログが「How NVIDIA GPUs Help Accelerate OpenAI's GPT-6 Astra Ultrafast」を公開し、NVIDIA Blackwell G...
LM Studio は Element Labs が開発したデスクトップアプリで、やることは明快です。大規模言語モデルを1つのアプリに詰め込み、自分のPCでオフラインでチャットできるようにする。アプリを開き、内蔵のモデルブラウザでオープンソースのモデルを選んでダウンロードし、クリックで読み込めば会話...
2026年10月1日、OpenRouterは公式ブログで、エージェント向けタスクのモデル選定のための3ステップ手法を公開しました。出発点は直感に反する主張です。リーダーボードの順位で選ぶと、必要のない順位のためにフロンティア級の価格を払うことになります。正しい問いは「どのモデルが一番点数が高いか」で...
2026年9月30日、DeepSeekはAscend向けインフラストラクチャコンポーネントをオープンソース化した。DeepSeekは本日、公式WeChatアカウントを通じて、Huawei Ascendコンピューティングプラットフォーム向けの6つのインフラストラクチャコンポーネント(TileLang、...
Databricks は「新モデルのリリース」を3日で結論を出すパイプラインに仕立て上げた。リリース当日に1万2000人の全従業員が利用でき、3日後に実測データで採用か廃止かを決める。この社内プロセスを Databricks は 2026 年 9 月 28 日の公式ブログで公開した。狙いは、AI に...
GPT-6 Luna(Max)は、1 エージェントタスクあたりのコストを 5 セントまで引き下げた。9 月 28 日、Arena の公式アカウントはこの軽量モデルが Agent Arena にランクインし、23 位になったと発表した。ネット改善は +1.6%——8000 件の実際のエージェント会話に...
オープンウェイトモデルは、エンジニアの技術選択肢から、企業の決算説明会の定番ワードになりつつある。9月28日の動察 Beating AI 快訊が伝えたフィナンシャル・タイムズの調査によると、データ会社 AlphaSense の統計では、今年8月と9月に米国企業が決算説明会や投資家向け会合でオープンウ...