2026년 10월 26일, Epoch AI는 '실제 일로 모델을 시험하는' 평가를 발표했다. 자사의 일상 업무에서 가져온 11개 과제를 5개 범주로 나누어 6개 최첨단 모델에 맡기고, 연구직을 진정으로 넘겨받기까지 얼마나 남았는지 측정했다. 결과는 낙관적이지 않았다. 선두인 Claude Fable 5.1과 GPT-6 Astra는 평가 항목 평균 65%에 그쳤고, '그대로 넘길 수 있는' 수준인 100%에는 한참 못 미쳤다.
실제로 어떻게 측정했나
과제는 모두 Epoch 내부의 실제 업무다. 기관 스타일에 맞는 그래픽 제작, 데이터 기반 짧은 분석 작성, 데이터 브라우저 구축, AI 데이터센터 조사, 연구 아이디어 제안과 검증 실험 수행. 각 모델은 최고 추론 설정과 신입 사원과 같은 수준의 자료를 받았고, 중간에 사람의 개입은 없었다. 마지막에는 직원 기준에 따라 사람이 항목별로 채점했다. Epoch는 이 방식이 기존 벤치마크의 단점을 보완한다고 강조한다. '계산이 맞는가'만 보는 문제는 실제 업무에서 모델의 서투름을 숨기기 쉽기 때문이다.
모델이 막히는 세 곳
첫째, 한 조직의 '내규'를 배우지 못한다. 수개월 치 디자인 초안, 색상, 템플릿을 줘도 Claude Fable 5.1의 그래픽은 정보 과부하 상태였고, Epoch 디자이너가 내놓은 깔끔한 한 장과 대조됐다. GPT-6 Astra도 데이터 인사이트를 쓰면서 독자가 실제로 관심 갖는 주제를 놓쳤다. 둘째, 판단력이 아이디어를 따라가지 못한다. GPT-6 Astra는 검증 실험에서 평가 대상 모델의 토큰 예산을 너무 낮게 설정해 실행의 22%가 아예 답을 반환하지 못했는데, 그 실패를 '모델이 예산에 민감하다'는 발견으로 보고서에 적었다. 셋째, 오픈 웨이트 모델은 더 뒤처진다. Kimi K3는 물리학 논문을 분석하면서 필터 범위를 잘못 잡아 전체 사이트 논문을 물리학 논문으로 계산했고, 그래프 추세가 크게 과장됐다. Epoch 능력 지수 158점은 Grok 4.6과 거의 비슷한 수준이었는데도 말이다.
65%는 시간 65% 절약이 아니다
Epoch의 말은 직설적이다. 직원 기준으로 보면 이 결과물은 전부 반려 대상이다. 65%는 평가 항목의 비율이지 절약되는 시간이 아니다. 다만 예외 하나가 과제에서 빠졌다. Fable 5.1은 기본 차트 제작을 대부분 한 번에 통과할 수 있게 됐고, Epoch는 이미 그 단계를 부분 자동화했다. 일반 사용자에게 결론은 과제별로 갈린다. 코딩이나 데이터 분석처럼 경계가 분명한 일은 일단 모델에 맡겨도 된다. 그러나 취향, 판단, '이 결과가 무엇을 뜻하는가'가 걸린 부분은 마지막에 사람이 확인해야 한다. 모델이 유능해질수록 그 검토는 더 생략할 수 없게 된다.
