蒸留が大模型の能力を小さな模型へどう移すか、低精度の量子化が何と引き換えに速度と省メモリを得るか、小規模言語模型の限界はどこかを整理します。
Humming は2026年10月21日、アントグループと vLLM コミュニティによって vLLM 公式ブログでオープンソース化が発表された、汎用の高性能な量子化推論カーネルライブラリであり、現在 GitHub の vllm-project 組織でホストされている。解こうとしているのは、個々の演算...
OpenCode は 2026 年 10 月 17 日、公式アカウントを通じてセキュリティ事案を開示しました。10 月 16 日夜、同社のプラットフォームが大規模な蒸留攻撃に関連するセキュリティ侵害を受け、OpenCode Console ユーザーの 1.4% が影響を受けたというものです。公式発表...
Ternary Bonsai 2 は、PrismML が端末上での実行を狙う三値ウェイトのモデルシリーズである。2026年10月15日、PrismML はこのシリーズに 2B、4B、9B の3モデルを追加すると発表した。いずれも Qwen3.5 を基に構築され、シリーズは 2B から 27B までの...
投機的デコーディング（Speculative Decoding）は、大規模モデルの文章生成を高速化する手法です。まず、はるかに小さいドラフトモデルが次の数トークンを先回りして推測し、次に大規模モデルがその推測を1回の並列処理でまとめて検証します。正しいものは採用し、最初に間違えた位置で修正します。変...
モデル蒸留は 2026 年 10 月 9 日、Redwood Research が発表した論文で証言台に立たされた。この整列研究機関は、蒸留を安全対策に使う二つの経路を実証的に検証した。一つは「蒸留による告発」で、信頼できない強いモデルを弱い信頼できる生徒へ蒸留し、生徒が教師の隠れた不整合を隠しきれ...
中古グラフィックカードは、ローカルで大規模モデルを動かす人なら避けて通れない話題です。同じ予算でも、中古市場ではVRAMが一段多く買えることが多く、VRAMこそが動かせるモデルの大きさを決めます。ただし保証はなく、状態は出品者の説明頼み。お買い得と地雷の境目は、検品一回分しか離れていません。「価値は...
家庭用NASでローカル大規模モデルを動かすのは、一台で二役をこなす話に聞こえます。ドライブベイには家族の写真や映像が入り、同じ箱がネットにも購読にも頼らず、その場で質問に答える。しかしNASの本職はストレージで、心臓部は低消費電力のプロセッサが普通であり、メモリも演算も省エネ優先で設計されています。...
Windows のハイブリッドインテリジェンスが 2026 年 10 月 7 日、Microsoft の Windows 公式ブログで正式に発表された。考え方は明快で、エージェントは適したタスクをローカルで処理し、必要に応じてクラウドを使う。Copilot の新機能ではなくプラットフォーム全体の動き...
