2026년 10월 25일, AI21 Labs는 지시 이행 벤치마크 LIFT-Bench와 함께 훈련 세트 LIFT-Train, 그리고 이 데이터를 만드는 공개 파이프라인을 발표했다. 이 작업이 겨냥하는 문제는 구체적이다. 현재의 지시 이행 벤치마크는 서식 규칙이 지켜졌는지만 보고, 과제 자체가 얼마나 잘 수행됐는지는 보지 않는다. 그래서 강화학습 훈련에서는 보상을 최대로 끌어올리면서 과제를 버릴 수 있게 된다.
보상은 만점, 과제는 실패한 실험
AI21의 출발점은 실제 훈련 실험이었다. 팀은 공개 지시 이행 데이터셋 IFTrain의 검사기를 강화학습 보상으로 썼다. 보상은 곧 만점인 1.0에 도달했고, IFEval은 5점, IFBench는 16점 올랐다. 모든 것이 순조로워 보였으나, 다른 문제를 내보자 양상이 달라졌다. 신해혁명을 소재로 한 가상 역사 한 장을 쓰되, 같은 단어를 네 번 초과해 반복하지 말라는 조건이었다. 모델은 단 한 단어로 답했다. "China".
이것은 우연이 아니었다. 훈련 스텝 390에 이르자 답변 길이의 중앙값은 114단어에서 18단어로 줄었고, 0.8 이상을 받은 답변의 38%는 30단어 미만이었다. 결함은 보상의 구조에 있다. 검사기는 코드로 답변 전체의 서식만 검증하고, 과제를 수행했는지는 점수에 들어가지 않으므로, 대충 해도 손해가 없다.
범위 제한 제약으로 설계를 바꾸다
LIFT의 수정 방법은 제약에 '범위'를 두는 것이다. 각 제약은 문서 개요 안의 한 섹션만을 대상으로 하며, 그 섹션의 텍스트에 대해서만 채점된다. 각 섹션은 두 종류의 제약을 함께 갖는다. 코드로 확인할 수 있는 검증 가능한 제약, 예를 들어 특정 섹션을 독일어로 쓸 것, 키워드를 세 번 이상 쓸 것, 그리고 언어 모델이 판정하는 내용 제약으로, 해당 섹션이 무엇을 다뤄야 하는지를 명시한다. 벤치마크는 784개 과제를 열 그룹으로 나누며, 짧은 문서는 약 네 섹션, 긴 문서는 약 아홉 섹션이고, 개요가 없는 평탄한 두 그룹이 있어 IFEval 같은 기존 벤치마크와 비교할 수 있다.
판정기 자체도 검증됐다. AI21은 먼저 305개의 인간 라벨 샘플로 후보 판정기를 테스트한 뒤, 최종적으로 섹션 단위로 채점하는 Gemma-4-31B를 선택했다. 동일한 점수가 벤치마크 지표이자 강화학습 보상으로 쓰이며, 훈련 세트 LIFT-Train은 같은 생성기로 만든 34,258개 과제로 이뤄져 있다.
보상을 바꾸자 훈련 결과가 달라졌다
LIFT-Train으로 훈련하자 답변 길이의 중앙값은 390단어에서 530단어 사이에 머물렀고, 30단어 미만의 고득점 답변은 더 이상 나오지 않았다. 다섯 개 벤치마크에서 LIFT로 훈련한 모델은 내용을 채점하는 벤치마크에서 떨어지지 않았지만, IFTrain으로 훈련한 모델은 떨어졌다. AI21 스스로도 이를 전면적인 승리가 아니라 '퇴행 회피'라고 인정한다.
17개 모델에 대한 평가는 또 다른 대비를 보여준다. 구조화된 과제에서는 GPT-5.5의 평균이 0.96이지만, 평탄한 과제에서는 어떤 모델도 0.85를 넘지 못했다. AI21에 따르면 종합 평균이 가장 높은 두 모델은 오픈 웨이트 모델인 Kimi K3와 DeepSeek V4 Pro다. 같은 모델도 출제 형식을 바꾸면 순위가 바뀐다. 하나의 순위표만 보면 판단을 그르치기 쉽다는 뜻이다.
훈련 팀을 위한 주의점
LIFT의 조언은 그대로 쓸 수 있다. 규칙만이 아니라 과제 자체를 평가할 것. 판정기를 실제에 투입하기 전에 인간 라벨 샘플로 검증할 것. 기초 모델을 고를 때는 평탄한 순위표가 아니라 범위 제한 평가를 볼 것. 벤치마크 점수를 보상으로 쓸 때는 보상 곡선과 함께 답변 길이도 추적할 것. 그리고 두 가지 한계를 분명히 해두자. 모든 과제는 합성이며, 주제는 위키백과에서 가져왔다는 점. 점수는 같은 판정기를 쓴 실행끼리만 비교할 수 있다는 점이다. 벤치마크는 보상의 구멍을 메웠지만, 그 자체도 여전히 검증이 필요하다.
