大規模言語モデルという技術カテゴリを解説：それが何か、どんな能力が AI アプリの基盤となっているのか、選定時に見るべきポイントと能力の限界はどこにあるのか。
初回トークン遅延とは、送信ボタンを押してからモデルが最初のトークンを出すまでの待ち時間で、英語では TTFT（Time To First Token）と略されます。AI 製品の「速さ」の第一印象はここで決まります。送信してから3〜4秒沈黙する製品もあれば、ほぼ即座に文字が出始める製品もあり、その差は...
「風清」V1.0 は 2026 年 10 月 17 日に業務化審査を通過し、全国の気象業務での運用が正式に始まりました。発表は 2026 年全国ハイパフォーマンスコンピューティング学術大会の場で国家超算インターネットから行われました。この AI 全球短中期アンサンブル予報システムは国家気象センターが...
広東省の登録済み大規模モデルが 195 件に達したことは、2026 年 10 月 16 日に広州で開かれた粤港澳大湾区生成式 AI 安全発展連合実験室の成果発表会で正式に公表された。会場で発表された『広東省登録大規模モデル観察報告（2026）』によれば、2023 年に登録制度が始まって以来、省内の生...
モデル崩壊とは、モデルが自分の生成したデータで繰り返し学習すると、出力の分布が世代ごとに狭くなり、現実世界の珍しいが重要な部分が消えていく現象です。よくある表現は増幅され、珍しい表現から先に消え、誤りが正解のように固定されます。 裾野はどう消えるのか 現実のデータは中央に集まり、少数が端、つまり分布...
MAI-Base-2 の事前学習が完了した。2026年10月15日、Microsoft AI は公式ブログ「Frontier Pre-training at Microsoft AI」でこの基盤モデルの詳細を公開した。混合エキスパート方式で総パラメータは2.8兆、推論時に活性化するのは約800億にと...
位置エンコーディングは、文中の各単語に付け足される順序の信号で、モデルがどのトークンが先でどれが後かを知るための仕組みです。自己注意は単語同士を比べ合いますが、順序そのものは生まれつき分かりません。位置情報がなければ、「犬が人を噛む」と「人が犬を噛む」は同じ単語の集まりに見えてしまいます。その穴を埋...
少数ショット学習は、大規模モデルに数件の例を見せるだけで、その形式と基準に沿って新しい課題をこなさせる使い方である。再学習は不要で、質問の前に二、三組の入力と望む出力を示せば、モデルはその規則性を見抜き、新しい内容にも同じ処理を適用する。事前学習で身につけた言語理解と課題理解があるからこそ成立する仕...
プロンプトインジェクションは、モデルが読み取る外部コンテンツの中に指示を隠し、データを命令と誤認させて実行させる攻撃手法である。コードを書き換えるわけでも、システムに侵入するわけでもない。大規模モデルが文脈を丁寧に読み取る性質を利用し、ウェブページや文書、メール、画像内の文字に要求を紛れ込ませること...
