大規模言語モデル
大規模言語モデルという技術カテゴリを解説:それが何か、どんな能力が AI アプリの基盤となっているのか、選定時に見るべきポイントと能力の限界はどこにあるのか。
大規模言語モデルという技術カテゴリを解説:それが何か、どんな能力が AI アプリの基盤となっているのか、選定時に見るべきポイントと能力の限界はどこにあるのか。
MiniMax は 2026 年 10 月 23 日、M3.1 Flash のモデル重みを公開した。公式アカウントの発表によると、M3.1 Flash の重みはオープンソースとして公開され、総パラメータ 428B、トークンごとに活性化するのは約 23B、混合専門家(MoE)アーキテクチャ、コンテキス...
DeepSeek で「サーバーが混雑しています」と繰り返し表示される場合、その大半はピーク時間帯の計算リソースの奪い合いによる、運営側の容量問題です。あなたのネットワークやアカウントの異常ではありません。今すぐ使い続けたいなら、最速の対処法は深層思考(DeepThink)をオフにして、基本モデルに切...
知識蒸留(Knowledge Distillation)は、大規模モデルの「ダークナレッジ」を小さなモデルに伝える技術である。まず巨大な教師モデルに参照出力を生成させ、ずっと小さな生徒モデルにそれを学ばせることで、小さくて実用的なモデルを作り出す。 先生が実際に伝えるもの:ソフトラベルに宿るダークナ...
モデルプルーニングは、大規模モデルに引き算をする手法です。重みの中でゼロに近く、出力への影響が小さい接続を見つけて削除またはゼロ化し、モデルを小さく速くしながら、能力の低下をわずかに抑えます。量子化や蒸留とまとめてモデル圧縮と呼ばれますが、手を入れる場所はまったく違うため、まずはプルーニング自体を整...
レッドチーミングは、攻撃者の立場に立つ人を雇い、AIに誤った行動をさせたり、拒否すべき内容を言わせたり、守るべき情報を漏らさせたりする方法を意図的に探させ、公開前に穴をふさぐ検証です。もとはサイバーセキュリティの用語で、レッドチームが攻撃し、ブルーチームが防御します。測るのは通常利用での出来の良し悪...
プロンプトキャッシュは、大規模モデルAPIの節約の仕組みです。同じ会話や同種のリクエストで繰り返し現れる冒頭のまとまりを、サーバー側が一度計算して保存し、次回も冒頭が一字一句同じなら、その計算結果をそのまま再利用します。節約できるのは入力トークンの料金と、最初の文字が出るまでの待ち時間の両方です。 ...
鉄鋼大規模モデルは2026年10月19日、国家標準化指導性技術文書のセットを受け取った。市場監管総局(国家標準委)はこのほど「人工知能 鉄鋼業界応用場面分類指南」「人工知能 鉄鋼大規模モデルデータセット技術要求」「人工知能 鉄鋼大規模モデルサービス能力成熟度評価」の3文書を発表し、新華社、央視新聞、...
マルチモーダルモデルが今回理解しようとしているのは、結晶の3次元原子構造です。2026年10月18日、マサチューセッツ工科大学の公式サイトMIT Newsは、同大学の研究チームが結晶材料向けの視覚言語モデルを構築し、論文がNature Communicationsに掲載されたと報じました。このモデル...