ベンチマーク汚染とは、評価に使う問題や答えが、モデルの学習前にすでに学習データに混ざってしまっている状態を指します。モデルはその場で解いているのではなく、記憶をもとに答えています。スコアは高く見えますが、それだけでは本当にその能力を身につけたことの証明にはなりません。
汚染はどう起きるのか
最も多いのは、公開されたベンチマークがそのまま学習コーパスに取り込まれるケースです。評価問題が公開されると、クローラーがウェブページや論文、コードリポジトリ、Q&A投稿から拾い上げ、大量のテキストと一緒にモデルへ届きます。2つ目は間接的な漏えいです。問題が書き換えられたり翻訳されたり、議論の投稿に分割されたりして、答えが解説文の中に隠れ、モデルは同じ問題を別の言い回しで覚えてしまいます。3つ目は評価の過程で起きます。同じ問題セットを繰り返し使って設定を調整し、モデルを選んでいると、スコアは少しずつ上向きに「調整」され、ベンチマークは審判としての役割を失います。
スコアが水増しされても、能力そのものが偽物とは限らない
ベンチマーク汚染は、モデルが「カンニングした」と誤解されがちです。多くの場合、これはデータパイプラインの問題であり、モデルが意図的に答えを暗記したわけではありません。本当の問題は、スコアの意味が変わってしまうことです。測っているのは汎化能力ではなく、テストをどれだけ記憶しているかになってしまいます。ある数学の問題セットで非常に高得点を取るモデルでも、新しく公開された同種の問題セットでは成績が大きく下がることがあります。逆に、スコアが控えめでもモデルが役に立たないわけではありません。能力のあるモデルでも、そのベンチマークの出題スタイルに触れたことがないだけ、という場合があります。
スコアを信じる前に確認したい4つの問い
1つ目は、問題がどれだけ新しいかです。ベンチマークは最近公開されたものか、学習データとの重複除去は行われたか。2つ目は、評価方法が透明かです。重複除去の方法が説明され、汚染チェックの結果が公開されているか。3つ目は、複数の証拠があるかです。同じ能力が、出典や形式の異なる複数の評価で安定して示されているか。4つ目は、実際のタスクで見ることです。実際のワークフローに小さく組み込んで、見たことのないデータでの振る舞いを観察すれば、順位表だけを見るよりずっと確かな判断ができます。
よくある2つの誤解
1つ目は、「ベンチマーク対策」と「汚染」を同一視することです。評価の形式に合わせた最適化や、最適なプロンプトの選択は正当な受験対策です。学習データに評価内容そのものが混ざった場合だけが汚染です。2つ目は、オープンなモデルだけの問題だと思うことです。クローズドなモデルも、公開コーパスに含まれる評価問題という同じ問題に直面します。違うのは、外部から学習データを確認しにくい点だけです。モデルの発表を読むときは、スコアは必ず評価方法と一緒に見てください。数字ひとつだけでは、ほとんど何も分かりません。
