要求の並べ方を変えるだけで、同じ GPU の処理量は数倍変わります。連続バッチ処理、投機的デコード、KV キャッシュ、コンテキストキャッシュがそれぞれどの段階の負荷を減らすのか、カーネルライブラリやスパース構造でどこまで詰められるのかを整理します。
知識蒸留（Knowledge Distillation）とは、学習済みの大規模モデル（教師モデル）から小さなモデル（生徒モデル）が学ぶ技術です。Geoffrey Hinton らが 2015 年の論文「Distilling the Knowledge in a Neural Network」で体系化...
Ultrafast API は、OpenAI が今年 8 月に GPT-5.6 Sol とともに投入した超低遅延の推論ティアで、公式には最大で毎秒 750 トークン、Standard ティアの 14 倍の速度とされている。9 月 26 日、開発者たちが OpenAI Platform と API ド...
Chain-of-Thought（思考の連鎖、略してCoT）はプロンプト技術の一つで、モデルにいきなり答えを出させるのではなく、先に中間の推論ステップを書き出させ、最後に結論を出させる手法です。数学の問題では、答えの数字を直接出すのではなく、「未知数を置く→方程式を立てる→解く」という過程を先に書き...
Julia 1 は、ブラジルの小さな研究室 Supersonic Labs が 2026 年 9 月 26 日に公開した意思決定モデルです。パラメータ数はわずか 1 億 4,430 万。CPU 上でのテキスト分類とルーティングのために設計されました。重みファイルは 550.5 MiB で、コードと重...
コンテキストウィンドウとは、モデルが一度に「見る」ことができるトークン総量の上限です。プロンプト、会話履歴、検索で取得した資料、そしてモデル自身がすでに出力した返答まで、すべてが順番に一つの系列に並べられます。ウィンドウの大きさが決めるのはモデルの「作業台」の広さであり、賢さではありません。1Mトー...
Temperature パラメータは、大規模言語モデルの出力のランダム性を制御するサンプリングパラメータで、多くの AI チャット製品の詳細設定や API パラメータの中に隠れている。普段は直接目にしないが、モデルの回答が堅実で収束的になるか、自由で奔放になるかを決めている。 要点は一言で言える。モ...
Anthropic が 2026 年 9 月 24 日、大きな算力契約をまとめた。Akamai は公式プレスリリースで、Anthropic と 7 年間・総額 116 億ドルのクラウドサービス契約を締結したと発表した。同時に、発行済み株式の約 5% に相当する新株予約権を Anthropic に付与...
2026 年 9 月 24 日の公式ブログで、vLLM は推論エンジンに Gumbel-max ベースのテキスト透かし機能が正式に搭載されたことを発表した。目的は明確だ：モデルが生成したテキストの出所を追跡可能にすること。しかも透かしを入れてもモデルの出力分布は変わらず、推論速度も落とさない。公式の...
