LLM 推論最適化
要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
Priming は、Amazon Web Services のチームが2026年10月12日に Amazon Science の公式ブログで公開したアーキテクチャ変換手法で、対応する論文も同日に公表された。解こうとしている問題は具体的だ。新しいハイブリッドアーキテクチャを試すには従来、モデルをゼロか...
Maia 300 は Microsoft の第3世代となる自社開発 AI チップである。2026年10月12日、Microsoft は公式ブログでこのチップを発表し、クラウド・AI部門責任者の Scott Guthrie が解説記事を執筆、CEO の Satya Nadella は同日、自社シリコン...
無問芯穹(Infinigence AI)は2026年10月12日、投資界、澎湃新聞、証券時報などの報道により、23億元のシリーズCラウンドを完了したことが明らかになった。創業以来の累計調達額は43億元に達し、単一ラウンドと累計のいずれも中国のAIネイティブ・インフラ分野で最高記録となる。2023年に...
Amazon が Decart の買収交渉に入ったと報じられた。2026 年 10 月 11 日、ウォール・ストリート・ジャーナルは事情に詳しい関係者の話として、Amazon が AI スタートアップ Decart の買収交渉を進めており、Decart の評価額は約 70 億ドルと伝えた。ロイターも...
Asana のブラウザエージェントのコストは、2026 年 10 月 9 日に OpenAI が公開した導入事例で表に出た。Asana のノーコード・ワークフロー基盤 StackAI のブラウザエージェントは、最適化を経て GPT-6.1 Sol 上で 1 回あたり平均推定 0.47 ドル、約 4 ...
TypeSafe AI は 2026 年 10 月 9 日、公式ブログで 8 億 7000 万ドルのシリーズ A 調達を発表した。評価額は 75 億ドルで、Andreessen Horowitz が主導し、Sequoia Capital、既存投資家の DCVC、複数のエンジェル投資家が参加、a16z...
Microsoft-Decision-1 は 2026 年 10 月 9 日に Microsoft が公式ブログで発表し、Microsoft Foundry で提供を開始した。今後 OpenRouter でも使えるようになる。長文を生成せず、オープンな推論もしない。固定された選択肢の集合に対して、各...
Project Beaconは2026年10月9日にBasetenが公式ブログで発表した取り組みで、パートナーはGoodfire AI。能動的な安全制御をオープンモデルの推論過程そのものに組み込むことを目指す。出力後にテキストフィルターをかけるのではなく、生成中にモデルの内部活性化を読み取り、プロー...