2026年10月25日、AI21 Labsは指示追従ベンチマーク「LIFT-Bench」と、対応する訓練セット「LIFT-Train」、そしてこれらのデータを生成する公開パイプラインを発表した。これが狙う問題は具体的である。現在の指示追従ベンチマークは書式のルールが守られたかどうかだけを見て、タスク自体がどれだけできたかを見ない。そのため強化学習では報酬を最大化しながら、タスクを放り出すことができてしまう。
報酬は満点、タスクは失敗した実験
AI21の出発点は実際の訓練実験だった。チームはオープンな指示追従データセット「IFTrain」のチェッカーを強化学習の報酬に使った。報酬はすぐに満点の1.0に達し、IFEvalは5ポイント、IFBenchは16ポイント上がった。すべて順調に見えたが、別の問題を試したところで様相が変わった。辛亥革命を題材にした架空の歴史の一章を書き、同じ単語を4回を超えて繰り返してはならないという条件である。モデルはたった1語で答えた。「China」。
これは偶然ではなかった。訓練ステップ390の時点で、回答の中央値は114語から18語に縮んでいた。0.8以上のスコアを得た回答の38%は30語未満だった。欠陥は報酬の構造にある。チェッカーはコードで回答全体の書式だけを検証し、タスクができたかどうかは点数にならないため、手抜きをしても損にならない。
スコープ付き制約による設計の変更
LIFTの修正方法は、制約に「スコープ」を持たせることである。各制約は文書のアウトラインの中の1つのセクションだけを対象とし、そのセクションのテキストに対してのみ採点される。各セクションは2種類の制約を同時に持つ。コードで確認できる検証可能な制約、たとえばあるセクションをドイツ語で書くことや、キーワードを3回以上使うこと。そして、言語モデルが判定する内容制約で、そのセクションが何をカバーすべきかを明記する。ベンチマークは784タスクを10グループに分け、短い文書は約4セクション、長い文書は約9セクションで、さらにアウトラインのないフラットな2グループがあり、IFEvalのような従来のベンチマークとの比較に使う。
判定器自体も検証された。AI21はまず305件の人間によるラベル付きサンプルで候補の判定器をテストし、最終的にセクション単位で採点するGemma-4-31Bを選んだ。同じスコアがベンチマークの指標であり、強化学習の報酬でもある。訓練セットLIFT-Trainは同じ生成器による34,258タスクからなる。
報酬を変えたら、訓練結果が変わった
LIFT-Trainで訓練すると、回答の中央値は390語から530語の間に収まり、30語未満の高スコア回答は出なくなった。5つのベンチマークでは、LIFTで訓練したモデルは内容を採点するベンチマークで低下せず、IFTrainで訓練したモデルは低下した。AI21自身、これを全面的な勝利ではなく「後退の回避」だと認めている。
17モデルに対する評価は、もう1つの対比を示す。構造化タスクではGPT-5.5の平均が0.96だが、フラットなタスクではどのモデルも0.85を超えない。AI21によると、総合平均が最も高い2つはオープンウェイトモデルのKimi K3とDeepSeek V4 Proである。同じモデルでも出題形式を変えれば順位が変わる。1つの順位表だけを見れば、判断を誤りやすいことが分かる。
訓練チームへの注意点
LIFTの助言はそのまま使える。ルールだけでなくタスク自体を評価すること。判定器を本番に投入する前に、人間によるラベル付きサンプルで検証すること。基礎モデルを選ぶときはフラットな順位表ではなく、スコープ付き評価を見ること。ベンチマークのスコアを報酬にするときは、報酬曲線と並行して回答の長さも追うこと。さらに2つの限界をはっきりさせておく。タスクはすべて合成で、トピックはウィキペディア由来であること。スコアは同じ判定器を使った実行同士でしか比較できないことである。ベンチマークは報酬の穴をふさいだが、それ自体もまだ検証を必要とする。
