Anthropic은 pass@k가 프록시 안정성을 쉽게 과대평가할 수 있다고 경고합니다

Anthropic의 엔지니어링 팀이 AI 에이전트 리뷰를 해석합니다: 작업 세트에서 그레이더 설계까지의 로드맵

Anthropic은 2026년 1월 9일 AI 에이전트 평가(eval)의 핵심 방법을 체계적으로 해체하는 엔지니어링 기사를 발표했으며, 에이전트는 여러 차례의 상호작용, 도구를 호출하고 환경 상태를 재작성하는 특성을 가지고 있으며, 단일 평가 라운드로는 종종 충분하지 ...