問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
Sakana AIは2026年10月11日、カリフォルニア大学バークレー校の研究者と共同で開発した手法MASSを公開した。再帰的自己改善に新しい教材を与える試みで、単一のエージェントに手探りさせるのではなく、まず同じモデルをチームとして働かせ、チームの最良の経験をモデルの重みに蒸留し直す。MASSは...
マルチエージェントチームは、コストに見合う品質向上をもたらしませんでした。2026年10月11日、評価機関Vals AIはプログラミングベンチマークVibe Code Benchにおける単独モードとチームモードの比較結果を公表しました。GPT-6 SolとClaude Opus 5.5が同じタスクを...
AIのデータ集計がいつも間違うのは、不注意だからではなく、もともと計算機ではないからだ。大規模言語モデルはトークン単位でテキストを生成し、次の語を予測して答えを組み立てるのであって、実際に演算を実行しているわけではない。桁数の多い加減乗除では繰り上がりがずれやすく、表が長くなれば行を読み飛ばしたり、...
DeepGEM 2.0 は 2026 年 10 月 10 日、広州で発表された。広州医科大学附属第一医院の国家呼吸医学センターが金域医学と共同で発表した肺がん病理・遺伝子マルチモーダル大規模モデルで、鍾南山院士のチームが開発に加わった。狙いは診断そのものの代替ではなく、その手前のボトルネックにある。...
モデル蒸留は 2026 年 10 月 9 日、Redwood Research が発表した論文で証言台に立たされた。この整列研究機関は、蒸留を安全対策に使う二つの経路を実証的に検証した。一つは「蒸留による告発」で、信頼できない強いモデルを弱い信頼できる生徒へ蒸留し、生徒が教師の隠れた不整合を隠しきれ...
プレトレーニングは大規模言語モデルの最初の訓練段階です。会話やコーディングを覚える前に、モデルは大量のテキストで「次の単語を当てる」ことだけを繰り返します。この段階では礼儀も指示への従順さも教えず、言語の統計的パターン、事実の結びつき、表現の癖をパラメータに刻み込むだけです。おなじみの会話能力や推論...
InnovationEval は Epoch AI が 2026 年 10 月 9 日に公表した新しい評価で、問いは単純だ。人間の論文を隠し、答えを見ていないフロンティアモデルに、それに匹敵する機械学習の新技術を独力で発見させる。できるのか。初回の結果は厳しく、最良の成果でも、同じ実行時間に換算して...
Microsoft-Decision-1 は 2026 年 10 月 9 日に Microsoft が公式ブログで発表し、Microsoft Foundry で提供を開始した。今後 OpenRouter でも使えるようになる。長文を生成せず、オープンな推論もしない。固定された選択肢の集合に対して、各...
