AI モデル評価
問題セットを替えれば同じモデルでも順位は数段落ちます。ランキングは通知表ではなく、出題者の視点で切り取った一枚にすぎません。ベンチマークの作り方、採点器の設計、数字が膨らまない工夫を扱います。
評価の難所は出題ではなく、点数が本当に能力を表すようにすることです。UNO-Bench は 44 種類のタスクと五つのモダリティ組合せで基準をそろえ、汎用の採点モデルを添えて自動評価の一貫性を約 95% に保ちます。AMO-Bench はさらに踏み込み、人間の専門家に IMO 級の新作問題 50 問を依頼します。学習データの記憶による"スコア荒らし"を避けるためで、多くのモデルは依然 40% 未満です。
単一ターンの評価はエージェントでは通用しません。Anthropic のエンジニアリングチームは、実際の失敗事例 20〜50 件から始め、各タスクに通る参照解と明確な判定基準を用意し、「すべきこと」と「すべきでないこと」の両方を題材に入れ、毎試行を隔離環境で実行して共有状態やキャッシュによる水増しを防ぐ手順を勧めています。指標も要検討です。pass@k は複数回のうち一度でも成功するか、pass^k は毎回成功するか——製品が「毎回確実」を求めるなら後者です。
