微调がモデルのどの挙動を変えるか、プロンプト最適化やRAGとコスト・効果の面でどう違うかを説き、チームが訓練する価値があるか判断できるよう導く。
モデル崩壊とは、モデルが自分の生成したデータで繰り返し学習すると、出力の分布が世代ごとに狭くなり、現実世界の珍しいが重要な部分が消えていく現象です。よくある表現は増幅され、珍しい表現から先に消え、誤りが正解のように固定されます。 裾野はどう消えるのか 現実のデータは中央に集まり、少数が端、つまり分布...
データアノテーションは、生の素材に答えを付けて学習素材へ加工する作業です。レビューに肯定か否定かのタグを付け、街の写真に写る車や歩行者を一つずつ枠で囲み、二つの AI の回答をどちらが良いか順位付けします。モデルが学習で繰り返し見るのはまさにこの注釈済みの例であり、身につける判断の仕方は、その大部分...
Pi APIは、ロボット基盤モデルの適応と推論を託管サービスに変えました。2026年10月13日、Physical Intelligenceは公式ブログでPi APIのベータ開始を発表しました。開発者は自分のロボットデータをアップロードし、Physical Intelligenceが管理する計算資源...
少数ショット学習は、大規模モデルに数件の例を見せるだけで、その形式と基準に沿って新しい課題をこなさせる使い方である。再学習は不要で、質問の前に二、三組の入力と望む出力を示せば、モデルはその規則性を見抜き、新しい内容にも同じ処理を適用する。事前学習で身につけた言語理解と課題理解があるからこそ成立する仕...
プレトレーニングは大規模言語モデルの最初の訓練段階です。会話やコーディングを覚える前に、モデルは大量のテキストで「次の単語を当てる」ことだけを繰り返します。この段階では礼儀も指示への従順さも教えず、言語の統計的パターン、事実の結びつき、表現の癖をパラメータに刻み込むだけです。おなじみの会話能力や推論...
壊滅的忘却とは、ニューラルネットワークが複数の課題を順番に学ぶとき、後の課題を身につける代わりに、前に覚えたことを広範囲に忘れてしまう現象です。出来上がったモデルへ新しい分野のデータで追加の微調整を行うと、新しい課題の成績は上がるのに、得意だった質問応答や分類、ある言語の扱いが目に見えて下がることが...
Agent Lightning 1.0 が 2026 年 10 月 7 日、Microsoft Research Asia からオープンソースで公開された。フレームワーク全体で約 3,500 行という小ささが売りだ。狙いはエージェント強化学習の長年の不格好さにある。従来、エージェントを RL で訓練...
Nemotron について、NVIDIA チームが 2026 年 10 月 7 日に Hugging Face ブログで総括を公開した。同じモデルファミリーを微調整した 2 つの版が、2026 年の国際情報オリンピック（IOI）と国際数学オリンピック（IMO）で金メダル水準に達し、IOI では当回の...
