11월 16일, Anthropic의 Claude Code 팀은 내부 검증 방법을 공개했다. 팀 코드의 약 90%는 Claude가 작성하고 Claude가 검토한다. 요령은 사람이 한 줄씩 확인하는 것이 아니라, 에이전트가 자신의 변경이 옳다는 것을 증거로 증명하게 하는 검증 루프에 있다. 팀의 말은 직설적이다. 검증 루프가 없으면 Claude를 한 번에 한두 개만 돌릴 수 있지만, 있으면 수십, 수백 개를 병렬로 돌릴 수 있다.
세 가지 테스트, 팀이 가장 중시하는 것은
팀이 가장 투자할 가치가 있다고 보는 테스트는 세 가지다. 첫째는 엔드투엔드 테스트다. 실제 사용자 흐름을 그대로 돌리기 때문에 기능은 완전히 동작하거나 실패하거나 둘 중 하나다. 속이기 어렵고, 어느 단계에서 망가졌는지 정확히 짚어낸다. 속성 테스트는 사람이 놓치기 쉬운 경계를 노린다. '절대 깨질 수 없다'는 명제를 쓰고 테스트 라이브러리로 수천 개의 입력을 생성해 반증을 시도한다. 왕복 인코딩, '계좌 잔액은 절대 음수가 될 수 없다', 멱등성이 여기에 속한다. 차분 테스트는 대규모 마이그레이션에 적합하다. 신구 시스템에 같은 입력을 주고 결과가 다르면 버그나 파괴적 변경이 있다는 뜻이다. 입력은 무작위로 생성하거나 실제 운영 트래픽에서 가져오는 것이 좋다.
검증 자체가 속지 않게 하는 규칙들
테스트는 쓸 수 있지만 검증도 속일 수 있다. 그래서 팀은 몇 가지 엄격한 규칙을 세웠다. 리뷰 규칙은 REVIEW.md에 두고 메인 브랜치에서만 읽는다. 변경 자체가 자신을 심판하는 기준에 손댈 수 없게 하기 위해서다. 실패한 검사는 최대 세 번까지만 수정하고, 그래도 안 되면 사람을 부른다. 모든 커밋에는 검증 방법이 찍히며, '없음'도 포함해 기록되므로 나중에 미검증 작업을 조회할 수 있다. 새로운 커밋 게이트는 먼저 관찰 모드로 돌려 차단됐을 것들을 기록하고, 오탐이 감당할 만한 수준인지 확인한 뒤 강제 모드로 전환한다. 팀은 또 39개 항목의 신뢰성 체크리스트를 유지하는데, 각 항목은 diff에서 읽을 수 있는 조건으로 발동하므로 해당되는 몇 개만 검사하면 된다. 과거 장애를 외울 필요가 없다.
이 방법은 Anthropic만의 것이 아니다. 내부 테스트에서는 구조화 파일 생성 작업에 평가 기준에 따라 독립적으로 채점하는 단계를 추가했더니 작업 성공률이 최대 10포인트까지 올랐다. OpenAI도 최근 외부 평가 기관 4곳을 초빙해 실험실 안에서 모델 정렬을 직접 점검하게 했다. 같은 발상이다. 검증은 자기 말만으로 믿을 수 없다. 일반 팀이 따라 할 수 있는 일은 세 가지다. 저장소에 verify 스킬을 써서 Claude가 커밋 전에 앱을 실제로 돌리게 할 것, 세 번 실패하면 멈추고 사람을 부를 것, 빠져나간 버그를 모두 새 규칙으로 만들고 오래된 규칙은 정기적으로 정리할 것. 검증 계층 자체도 시스템처럼 유지해야 한다. 그렇지 않으면 곧 장식이 되고 만다.