ベンチマークとは、AI モデル向けの標準化された試験のことだ。問題と採点ルールが固定され、複数のモデルが同じ問題に答えてスコアを比べる。必要な理由は実務的で、どの事業者も「自社が最強」と主張するため、横並びで測れる物差しが要るのだ。代表的な試験には、知識を問う質問、推論を見る数学・論理問題、テスト実行で採点するコード課題、長文を読んだ後に細部を覚えているかを見る問題、そして人間が二つの回答を盲検で比べて順位に換算するアリーナ型の評価がある。
スコアはどう付けられるか
出題側はまず問題と採点方法を用意し、選択式は解答と照合、数学は最終結果を確認、コードはテストケースを実行、自由記述は別のモデルか人間の採点者が評価する。全体の前提は「同じ問題、同じ物差し」であり、どれかのモデルが事前に問題を知っていれば比較は成り立たない。これが後述するゆがみの出発点だ。
スコアが高いのに使いにくい三つの理由
第一に、モデルが試験を「見たことがある」可能性がある。公開ベンチマークは何年もネット上にあり、学習用クロールが問題と解答を取り込むのは珍しくない。この場合モデルは解いているのではなく思い出しており、スコアは水増しされる。業界ではデータ汚染と呼ばれる。第二に、試験が測るのは能力の一部にすぎない。選択式が得意でも、あなたの口調で原稿を三回直せるか、業界用語でつまずかないか、乱れた議事メモを使える形に整えられるかは分からない。スコアは単科目の成績であって総合評価ではない。第三に、高得点域は飽和する。主要モデルが軒並み九十点を超えると、一、二点の差は採点の細部や運の範囲でしかない。実際に、監査で問題自体の不備が見つかり、人気のコード試験が廃止された例もあり、試験そのものも古くなり、壊れる。
よくある誤解：ランキングを総合順位だと思うこと
リーダーボードを「総合実力ランキング」とみなし、1位なら何でも最強だと思い込む人は多い。正確には、ある試験・ある時点での単一の測定結果にすぎない。自分の仕事に近い問題に替えれば、順位は簡単に入れ替わる。公開されて議論される期間が長い試験ほど、参考価値は早く落ちる。
ランキングの見方、三つの原則
まず試験が自分の用途に近いかを見る。主にコード用途ならコード系の試験を重視し、文章系の順位は参考程度にする。次に、僅差は同点とみなす。一、二点のために追加料金を払ったり、使い慣れた道具を捨てたりする価値はない。最後に、自分の実タスクで必ず再確認する。よくやる仕事を三つから五つ選び、同じ指示で二つのモデルにやらせ、結果を並べて比べる。その十分は、どんなランキングよりも適性を教えてくれる。
