ReviewBench는 GitHub가 AI 코드 리뷰 에이전트를 위해 마련한 오프라인 시험지다. 2026년 10월 5일, GitHub는 공식 블로그에서 이 공개 벤치마크를 발표했다. 실제 pull request 1억 390만 건의 분포를 분석한 뒤, 공개 오픈소스 저장소 187곳에서 19개 언어를 아우르는 PR 219건을 골라, 서로 다른 코드 리뷰 에이전트를 하나의 정답 세트와 하나의 채점 규칙 아래에서 비교할 수 있게 했다. 누가 덜 놓치고, 누가 헛울음을 덜 울리며, 누가 심각한 문제를 잡아내는가. ReviewBench는 리서치 프리뷰 단계이며 전체 데이터셋이 공개돼 있어, 어느 팀이든 자기 리뷰 에이전트를 응시시켜 성적을 제출할 수 있다.
정답 세트는 한 명의 리뷰어가 정한 것이 아니다
코드 리뷰 평가가 어려운 근본 이유는 정답 자체가 갈리기 때문이다. 같은 PR이라도 인간 리뷰어, 정적 분석 도구, 서로 다른 대규모 모델이 찾아내는 문제의 집합은 각각 다르며, 어느 한쪽 시각을 빠뜨리면 시험은 특정 유형의 리뷰어 쪽으로 기울어진다. ReviewBench의 골든 세트는 여러 출처에서 만든다. 후보 지적은 실제 인간 리뷰 의견, 작성자의 후속 커밋에서 역추론한 문제, 결정적 분석 도구, 여러 프런티어 LLM에서 모으고, 겹치는 지적은 의미가 같은 것끼리 하나로 합친 뒤, 공개된 하나의 채점 기준에 따라 진위를 판정한다. 지적이 인정되려면 진짜이고, 관련이 있고, 사소하지 않아야 하며, 어느 출처에서 왔는지는 따지지 않는다. 심판은 Claude Sonnet 5가 맡고, 채점 기준과 심판 설정도 공개된다. 모든 지적에는 심각도(심각, 중간, 낮음)와 범주(정확성, 보안, 신뢰성, 유지보수성, 테스트 등) 라벨이 붙는다. 공개 전에 데이터셋 구축에 참여하지 않은 시니어 엔지니어들이 골든 지적 전체를 독립적으로 다시 라벨링했고, 벤치마크와의 일치율은 96.6%였다.
새 지표는 '정답 밖의 새 발견'에도 자리를 준다
기존 벤치마크는 고정된 정답을 기준으로 정밀도와 재현율을 재기 때문에, 정답에 없는 진짜 문제를 찾아낸 리뷰어는 오히려 벌을 받는다. ReviewBench는 그래서 두 묶음의 지표를 마련했다. 하나는 골든 세트만으로 엄격히 비교하는 지표이고, 다른 하나는 골든과 일치하지 않는 새 발견에 대해 심판이 진위를 독립적으로 판정해 진짜 발견에 점수를 주는 확장 지표다. 결과는 심각도와 범주별로 쪼개 볼 수도 있고, Fβ 가중치로 '심각한 문제는 절대 놓치지 않기'와 '소음을 줄이기' 사이에서 선호를 조정하면 리더보드 순위도 그에 맞춰 재배열된다. 코드 리뷰에 모든 팀에 맞는 단 하나의 선호란 없기 때문이다.
오프라인 점수가 실제 운영을 예측할 수 있을까, GitHub가 자사로 실험했다
이 벤치마크는 먼저 GitHub 내부에서 Copilot 코드 리뷰를 개선하는 데 쓰였고, 블로그에는 완전한 대조 사례가 실려 있다. 여러 모델을 결합한 앙상블 리뷰 실험에서 ReviewBench는 정밀도, 재현율, 댓글량의 상승과 리뷰당 비용의 하락을 예측했다. 이어진 온라인 A/B 테스트도 같은 방향이었다. 개발자가 실제로 반영한 댓글의 비율은 8.0% 올랐고, 재현율은 13.6%, 댓글량은 61% 늘었으며, 리뷰당 비용은 8.0% 줄었다. 심각한 문제 댓글량은 오프라인 예측이 227% 증가, 온라인 실측이 262% 증가로, 심각도 분포까지 맞아떨어졌다.
외부 팀의 응시 절차도 열려 있다. ReviewBench 사이트에서 GitHub 계정으로 로그인하고, 에이전트의 컨테이너 이미지와 설정, 자기 모델 키를 등록한다. 먼저 PR 25건의 테스트 세트로 반복 조정하고, 그다음 219건 전체를 세 라운드 돌리는 정식 성적을 낸다. 성적은 유지관리자 검토를 거쳐야 리더보드에 오르고, 자기 기존 성적을 넘어설 때만 교체된다. AI 코드 리뷰는 개발 워크플로의 기본 요소가 되어 가고 있다. Codex의 빠른 반복에서 수많은 리뷰 봇까지 도구는 늘었지만, 업계에 부족했던 것은 공개되고 공통되며 심각도까지 구분하는 자였다. ReviewBench는 채점 기준, 데이터셋, 응시 통로를 모두 공개했다. 이제 남은 질문은 주요 리뷰 도구들이 자기 점수를 내걸 용기가 있는가다.
