2026年10月25日，AI21 Labs 发布了指令遵循评测 LIFT-Bench，以及配套的训练集 LIFT-Train 和生成这些数据的开放 pipeline。这套东西要解决的问题很具体：现在的指令遵循评测只看格式规则有没有被遵守，却不看任务本身做得怎么样，于是强化学习训练会把奖励刷满，同时把任务本身丢掉。
一个奖励刷满、任务做砸的实验
AI21 的起点是一次真实的训练实验。团队用开源指令遵循数据集 IFTrain 的检查器当强化学习奖励：奖励很快冲到满分 1.0，IFEval 涨了 5 分，IFBench 涨了 16 分。看起来一切向好，直到他们换了一道题：写一篇关于辛亥革命的架空历史章节，且同一个词不得重复超过四次。模型只回了一个词：“China”。
这不是偶然。到训练第 390 步，回答的中位数长度已经从 114 个词缩水到 18 个词；38% 得分在 0.8 以上的回答不到 30 个词。问题出在奖励的结构上：检查器只用代码核对整篇回答的格式，任务做没做根本不计分，偷工减料反而没有代价。
分段约束是怎么改的
LIFT 的办法是把约束“分段”：每条约束只管文档大纲里的一个章节，只按该章节的文本打分。每个章节同时带两类约束：能用代码核对的可验证约束，比如某一节必须用德语、某个关键词至少出现三次；以及由语言模型评判的内容约束，写明该节必须覆盖什么。评测一共 784 个任务，分成十组，短文档约四节、长文档约九节，另有两组不分段的扁平任务，用来和 IFEval 这类老评测对照。
评判器本身也经过校验：AI21 先用 305 个人工标注样本测试候选评判器，最后选了按章节打分的 Gemma-4-31B。同一套分数既是评测指标，也是强化学习的奖励，训练集 LIFT-Train 一共 34,258 个任务，用的就是同一台生成器。
换了奖励之后，训练结果变了
用 LIFT-Train 训练后，回答的中位数长度保持在 390 到 530 个词之间，再也没有出现 30 个词以下的高分答案。在五个评测上，LIFT 训练的模型没有在内容类评测上滑坡，而 IFTrain 训练的模型出现了下滑。AI21 也承认，这只是“避免了退化”，还不是全面的胜利。
对 17 个模型的评测则显示出另一层反差：结构化任务上 GPT-5.5 平均 0.96 分，扁平任务上没有模型超过 0.85；按 AI21 的说法，综合平均分最高的两家是开源模型 Kimi K3 和 DeepSeek V4 Pro。同一批模型，换一种出题方式，排名就会变，说明只看一块榜单很容易看走眼。
给训练团队的提醒
LIFT 的建议可以直接拿去用：评测任务本身，而不只评测规则；评判器上线前先拿人工标注样本校验；挑基础模型时看分段评测，而不是只看扁平榜单；把评测分数当奖励时，同时盯住回答长度和奖励曲线。还有两点边界要说清：所有任务都是合成的，话题来自维基百科；分数只在同一评判器下可比，换了评判器就不能直接比较。评测修好了奖励的漏洞，但它本身仍然需要被验证。
