AI モデル評価
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
NVIDIA Kumo Tabular は、NVIDIA が 2026 年 9 月 29 日に Hugging Face 公式ブログで公開した、表形式データの分類・回帰予測に特化したオープンな表データ基盤モデルです。売り文句は明快で、ラベル付きの表を渡せば、1 回の順伝播で新しい行のラベルを予測しま...
Databricks は「新モデルのリリース」を3日で結論を出すパイプラインに仕立て上げた。リリース当日に1万2000人の全従業員が利用でき、3日後に実測データで採用か廃止かを決める。この社内プロセスを Databricks は 2026 年 9 月 28 日の公式ブログで公開した。狙いは、AI に...
GPT-6 Luna(Max)は、1 エージェントタスクあたりのコストを 5 セントまで引き下げた。9 月 28 日、Arena の公式アカウントはこの軽量モデルが Agent Arena にランクインし、23 位になったと発表した。ネット改善は +1.6%——8000 件の実際のエージェント会話に...
Claude Opus 5.5(High)は 9 月 28 日に Agent Arena に正式にランクインし、初登場で 2 位を獲得した。ネット改善スコアは +12.15% で、同門の Fable 5.1(Max)に次ぐ順位だ。Anthropic はこのエージェントランキングの 1 位と 2 位を...
Holo4 が登場した。2026年9月28日、パリの AI 企業 H Company は新世代のコンピュータ操作エージェントモデル Holo4 を発表した。27B の密モデル版と 35B-A3B の混合エキスパート版の2サイズで、重みは Hugging Face で同時公開(BF16、FP8、NVF...
Julia 1 は、ブラジルの小さな研究室 Supersonic Labs が 2026 年 9 月 26 日に公開した意思決定モデルです。パラメータ数はわずか 1 億 4,430 万。CPU 上でのテキスト分類とルーティングのために設計されました。重みファイルは 550.5 MiB で、コードと重...
Exa Agent Ultra は、AI 検索企業の Exa が 2026 年 9 月 26 日に公開した Agent API の最上位「effort(努力度)」設定です。effort パラメータを ultra にすると、エージェントは「やり尽くさなければならない」タスクに最大の計算資源を投下します...
創業3カ月のSimate、初の物理AIモデルでRoboDojo首位を獲得 Simateが勢いよく登場した。9月26日、中国テックメディア量子位の報道によると、創業わずか3カ月のSimate(Silicon Mate)が初の汎用物理AIシステム「Simate-beta」を発表した。同社によれば、このモ...