問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
Anthropicは2026年1月9日にエンジニアリング記事を発表し、AIエージェントの評価(evals)の主要な手法を体系的に分解し、エージェントは複数ラウンドの相互作用、ツールの呼び出し、環境の状態の書き換えという特徴を持ち、単一の評価ラウンドでは不十分であることを強調しました。 本論文では、ス...
1. Abstract AMO-Benchは、美団のLongCatチームが立ち上げた高度な数学的推論ベンチマークで、国際数学オリンピアード(IMO)レベルからさらに高難易度の競技問題に焦点を当てています。 ベンチマークは50問の新しい人間が設計した問題で構成されており、システムは自動スコアリングと人...
I. 要約 UNO-Benchは、「単一モデル／完全モデル」の質問の統合評価のためのオープンソースベンチマークであり、知覚と推論の両方の側面をカバーしています。中国語の実世界シナリオ問題と、多段階の自由回答形式の質問応答（MO）問題を提供します。データとツールは、高品質と人間主導の構築を重視しており...
