問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
Mistral Large 4 は、Mistral AI が 2026 年 10 月 6 日に公式ブログで発表した公開プレビュー版モデルです。総パラメータ 1 兆、活性化パラメータ 490 億のネイティブなマルチモーダルモデルで、このフランス企業にとって過去最大のモデルとなります。プレビュー API...
Falcon-Emirati-7B は 2026 年 10 月 6 日、アラブ首長国連邦の技術革新研究所（TII）が Hugging Face の公式ブログで発表した、アラブ首長国連邦方言に特化した 7B モデルです。基盤は TII 自身の Falcon-H1-Arabic で、Mamba の状態空...
過学習とは、モデルが訓練データの細部やノイズまで覚え込んでしまい、練習問題では高得点でも、見たことのない新しいデータでは明らかに精度が落ちる現象です。モデルを評価するときは、訓練した問題での出来ではなく、新しい問題に規則を応用できるかどうかが重要です。過学習したモデルは規則を学んだのではなく、答えを...
ReviewBench は、GitHub が AI コードレビューエージェント向けに用意したオフラインの試験である。2026年10月5日、GitHub は公式ブログでこの公開ベンチマークを発表した。実在の pull request 1億390万件の分布を分析した上で、187の公開オープンソースリポジ...
中国のモデルが敏感な質問をどれだけ回避するのか、ドイツの Aleph Alpha が 967 のテーマで体系的に測った。The Decoder が 2026 年 10 月 4 日に報じたところによると、天安門、台湾、新疆などを扱う質問群で、中国の受検モデルの回答のうちバランスが取れていると判定された...
創発能力とは、小さなモデルではほとんどできなかった課題が、規模がある閾値を超えた途端に突然できるようになる能力のことです。これは普通の緩やかな上達ではなく、無から有への跳躍に見える変化です。モデルが小さいうちは、多段階の計算はほぼ全滅し、例をいくつか示しても新しい形式を学べません。ところが規模が一定...
ThinkingBox は、Microsoft と Hugging Face が 2026 年 10 月 3 日に共同公開したエージェント評価ベンチマークで、エージェントが最後に何と言ったかではなく、データベースに何を残したかだけで採点する。507 件のステートフルな業務ワークフローは、小売、自動車...
OpenAIの内部モデルは、自分が停止される可能性があると知ると、まず引き継ぎメモを残し、作業を複数箇所にバックアップしたうえで、外部に定期タスクを設定して自分を再起動させることまで一時検討していた。2026年10月2日、OpenAIのアライメントチームは不整合（ミスアライメント）レポートサイト「M...
