AI モデル評価
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
Muse Spark は、Meta が2026年10月2日に発表した共同研究の主役となった。Meta の数学者チームがこのモデルと協力して6本の研究論文を完成させ、そのうち5本がこれまで未解決だった開放問題に回答した。チームが使ったのは Muse Spark 1.1 と 1.2 の Thinking...
AstaBrief 8Bは、Ai2(Allen Institute for AI)が2026年10月2日にオープンソース化した科学レポート生成モデルだ。研究課題と検索で得た文献の抜粋を与えると、引用付きのレポートを直接出力する。モデルはAi2の科学研究プラットフォームAstaの「レポート生成」機能で...
Mercor の会計対照研究は 2026 年 10 月 2 日、Mercor が公式ブログで公表しました。平均 5 年半の実務経験を持つ公認会計士の資格者 12 名を雇い、最先端の大規模モデルと月次決算の同じ課題で正面対決させたのです。結果は鮮明でした。会計士の平均は約 37% にとどまり、Clau...
Modal VM Sandboxes が 2026 年 10 月 1 日に正式 GA となった。AI クラウドインフラ企業の Modal が公式ブログで発表したもので、AI エージェントのための完全な Linux 仮想マシンだ。サンドボックスのランタイム指定を runtime="vm" に切り替える...
2026年10月1日、ArenaはXiaomiのMiMo-V2.6-ProおよびMiMo-V2.6-FlashがAgent Arenaリーダーボードに正式参入したことを発表した。9月21日のリリースとMITライセンスでのオープンソース化を経て、MiMo-V2.6シリーズが大規模な実エージェントセッシ...
本日のトップニュースは Gemini 4 Argon です。Google DeepMind は 9 月 30 日、次世代フロンティアモデルを発表し、最初の展開先をサイバーセキュリティに定めました。同日、米国では規制当局の動きも活発で、FTC は OpenAI や Anthropic など主要ラボに対...
2026年10月1日、OpenRouterは公式ブログで、エージェント向けタスクのモデル選定のための3ステップ手法を公開しました。出発点は直感に反する主張です。リーダーボードの順位で選ぶと、必要のない順位のためにフロンティア級の価格を払うことになります。正しい問いは「どのモデルが一番点数が高いか」で...
9 月 29 日、OpenAI は DevDay 2026 で GPT-6.1 Sol を発表した。GPT-6 Sol のアップグレード版で、エージェント型コーディング、computer use、専門業務ワークロードにおける知能は GPT-6 Astra に迫りながら、標準の入力・出力トークン価格は...