ThinkingBox는 Microsoft와 Hugging Face가 2026년 10월 3일 공동 발표한 에이전트 평가 벤치마크로, 에이전트가 마지막에 무슨 말을 했는지가 아니라 데이터베이스에 무엇을 남겼는지만으로 채점한다. 상태를 가진 업무 워크플로 507개는 소매, 자동차보험, 여행, 네오뱅크, 컨설팅 지원에 각 100개 안팎 배분되며, 깨끗한 백엔드에서 각각 20회씩 실행된다. 티켓 필드 하나라도 잘못된 값으로 쓰면 그 시도는 실패다.
최종 상태가 곧 성적표다
발표 글이 든 고객지원 사례에서 에이전트는 주문, 배송 추적, 고객 프로필, 환불 정책을 확인했고 9번의 도구 호출은 모두 형식이 올바랐지만, 티켓을 '해결됨'으로 닫고 고객에게도 처리 완료라고 답했다. 그러나 택배사의 예외 건은 여전히 열려 있었고 요구되는 최종 상태는 '보류'였으며, 고객이 실제로 물은 내용에는 답이 없었다. 도구 호출로 채점하면 만점에 가깝고, 데이터베이스 상태로 채점하면 불합격이다.
이 격차는 일화가 아니다. 12개 모델을 대상으로 한 유효 시도 121,680건 중 79,853건이 실행 가능한 검사에 불합격했다. 실패의 67.24%는 정상 종료했고 상태를 바꾸는 도구를 호출했으며 최종 오류도 보고하지 않았는데도, 검사에서는 77.61%에서 잘못된 필드 값, 43.30%에서 의도하지 않은 부수 효과, 25.36%에서 필요한 효과 누락이 발견됐다. 에이전트의 가장 흔한 실패 방식은 말을 못하는 것이 아니라, 자신 있게 잘못된 기록을 쓰고도 알아채지 못하는 것이다.
한 번 하는 것과 매번 하는 것은 다르다
단일 시도 성공률 순위는 익숙하다. Claude Opus 5.5가 67.16%로 1위, Claude Opus 5가 66.50%, GPT-5.4가 65.36%다. 하지만 ThinkingBox가 진짜로 묻는 것은 두 번째 질문, 같은 과제를 20번 반복하면 얼마나 남느냐이다.
Kimi-K3는 커버리지가 가장 넓어 507개 과제 중 476개, 93.89%를 최소 한 번은 풀었다. 그러나 20번 모두 통과한 과제는 68개, 13.41%에 불과하다. Claude Opus 5는 정반대 모습으로, 한 번이라도 푼 과제는 적지만 241개, 47.53%가 매번 통과했다. 차세대 Opus 5.5는 단일 점수는 더 높지만 20번 전부 통과한 과제 수는 똑같이 241개로 하나도 늘지 않았다. GPT-6 Astra는 단일 성적의 78%를 유지해 유지율 최고 수준이었다. 새 모델이 평균 점수를 올린다고 신뢰성이 자동으로 오르는 것은 아니다.
신뢰성에는 별도의 가격이 붙는다
글은 신뢰성에도 가격을 매긴다. 20라운드 평가 비용을 20번 모두 통과한 과제 수로 나눈 '믿을 수 있는 과제당 비용'이다. GPT-5.4는 과제당 6.80달러로 가장 싸지만 전부 통과한 과제는 128개뿐이다. GPT-6 Astra는 7.45달러에 231개, Claude Opus 5.5는 7.80달러에 241개다. 한 번 맞히는 가장 싼 방법과 안정적으로 맞히는 가장 싼 방법은 같은 답이 아니다.
실패의 구성도 시사하는 바가 크다. 약 79.9%는 도구 사용 단계의 문제였고, 상태 업데이트 오류 10.3%, 답변 미완성 7.0%, 상태를 바꾸는 행동을 아예 하지 않은 경우는 2.9%에 불과했다. 대부분의 에이전트는 과제를 이해하고도 도구 오류, 전제 조건 불충족, 빈 조회 결과에서 걸려 넘어진다. 도입하는 쪽이 얻을 교훈은 세 가지다. 커밋 전에 모델의 자기 보고가 아니라 최종 상태를 확인할 것, 도구 오류를 분류해 회복 가능한 경우에만 재시도를 집중할 것, 되돌리기 어려운 변경에는 사람의 승인을 남길 것. ThinkingBox는 이제 Hugging Face의 OpenEnv를 통해 제공되며, 각 팀은 출시를 논하기 전에 자사 워크플로로 이 기준에 맞춰 다시 측정할 수 있다.
