要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
Inworld のリアルタイム推論サービス「Realtime Inference」は、2026 年 10 月 14 日に Business Wire の発表で提供が始まった。消費者向けリアルタイム AI で知られる同社が自営の推論サービスに乗り出し、最適化したオープンソースモデル、キャッシュを意識し...
Modal の年換算収益（ランレート）が 10 億ドルを突破した。2026年10月14日、AI インフラ企業の Modal は公式ブログで、Accel 主導の 7 億 5000 万ドルのシリーズ D を完了し、投後評価額が 157 億 5000 万ドルに達したと発表した。Kleiner Perkin...
投機的デコーディング（Speculative Decoding）は、大規模モデルの文章生成を高速化する手法です。まず、はるかに小さいドラフトモデルが次の数トークンを先回りして推測し、次に大規模モデルがその推測を1回の並列処理でまとめて検証します。正しいものは採用し、最初に間違えた位置で修正します。変...
LFM2.5-24B-A2B は、Liquid AI が 2026 年 10 月 13 日に公式ブログで発表し、ウェイトを公開したモデルです。総パラメータ 24B、1 トークンあたりの活性化は約 2B の推論モデルで、LFM2.5 家族の中で最大の一員であり、個人のデバイス上で高速かつプライベートに...
MiniCPM-V 4.7 は 2026 年 10 月 13 日、面壁智能（ModelBest）から正式発表され、オープンソースとして公開された。35B-A3B と 1B の 2 バージョンがあり、前者はこのシリーズ初の MoE モデルで、総パラメータ 350 億、推論ごとに活性化するのは約 30 ...
2026年10月12日、SKハイニックスのH-TPUの架構詳細が、韓国・仁川で開かれた国際SoC設計会議（ISOCC 2026）で公開された。これは同社がSSDコントローラ向けに自社開発した超軽量のプログラマブル小型プロセッサで、1個当たりの消費電力は汎用CPUコアの約2.5%（40分の1）、チップ...
2026年10月12日、Intel GPU D270がオープン・コンピュート・プロジェクト（OCP）グローバルサミットで正式に命名・発表された。開発コード名Crescent Islandで知られてきたこのデータセンター向けカードは、3Dグラフィックスとレイトレーシングのハードウェアを完全に省き、その...
位置エンコーディングは、文中の各単語に付け足される順序の信号で、モデルがどのトークンが先でどれが後かを知るための仕組みです。自己注意は単語同士を比べ合いますが、順序そのものは生まれつき分かりません。位置情報がなければ、「犬が人を噛む」と「人が犬を噛む」は同じ単語の集まりに見えてしまいます。その穴を埋...
