要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
自己注意とは、モデルが一文を処理するとき、まず各単語が文中のどの単語にどれだけ注目すべきかを判断し、その情報を統合する仕組みです。固定された順序で一語ずつ読むのではなく、すべての単語が互いに採点します。関連が強いほど重みは大きくなり、最終的に各単語は、自分に最も必要な文脈を混ぜ込んだ新しい表現を得ま...
MiniMax は 2026 年 10 月 23 日、M3.1 Flash のモデル重みを公開した。公式アカウントの発表によると、M3.1 Flash の重みはオープンソースとして公開され、総パラメータ 428B、トークンごとに活性化するのは約 23B、混合専門家（MoE）アーキテクチャ、コンテキス...
知識蒸留（Knowledge Distillation）は、大規模モデルの「ダークナレッジ」を小さなモデルに伝える技術である。まず巨大な教師モデルに参照出力を生成させ、ずっと小さな生徒モデルにそれを学ばせることで、小さくて実用的なモデルを作り出す。 先生が実際に伝えるもの：ソフトラベルに宿るダークナ...
OpenAI の Decisions API は 10 月 22 日に正式提供（GA）を開始した。GPT-6 Luna を基盤とし、「答えの範囲が定まった」小さな判断に特化している。公式発表によると、アプリやエージェントはワークフロー全体で無数の小さな判断を行う。入力へのラベル付け、リクエストの振り...
LingDT-Decision-1.0は対話モデルと逆の道を行く。2026年10月22日、蚂蚁数科（アント・デジタル）は高速な産業意思決定に特化したこのモデルを発表し、4Bと27Bの2版を自社のDTMaaSプラットフォームで公開した。開発者は期間限定で無料体験できる。このモデルは文章も書かなければ会...
訊飛星火 X2.6 は 2026 年 10 月 22 日、北京で開かれた 2026 科大訊飛グローバル 1024 開発者祭りのメインフォーラムで正式発表された。端末とクラウドを一体で動かす大規模モデルで、科大訊飛によれば、国産算力だけで訓練し、コードとエージェント能力で初めてブレークスルーを達成した...
SGLang は、この二年ほど推論デプロイの現場で避けて通れないオープンソースのフレームワークです。同じ GPU でも、マルチターン対話やエージェント、構造化出力といった負荷では、素朴なデプロイより明確に速いことが珍しくありません。ただし、これはチャット製品ではなく、GPU と調整と見守りを必要とす...
モデルプルーニングは、大規模モデルに引き算をする手法です。重みの中でゼロに近く、出力への影響が小さい接続を見つけて削除またはゼロ化し、モデルを小さく速くしながら、能力の低下をわずかに抑えます。量子化や蒸留とまとめてモデル圧縮と呼ばれますが、手を入れる場所はまったく違うため、まずはプルーニング自体を整...
