11月16日、AnthropicのClaude Codeチームは内部の検証手法を公開した。チームのコードのおよそ9割はClaudeが書き、Claudeがレビューしている。コツは人間が一行ずつ確認することではなく、エージェントが自らの変更を証拠付きで正しいと証明する検証ループにある。チームの言い分は明快だ。検証ループがなければClaudeを同時に動かせるのは1つか2つだけ。あれば数十、数百を並行して動かせる。
3種類のテスト、チームが最も重視するのはどれか
チームが最も投資する価値があると考えるテストは3種類ある。まずエンドツーエンドテストだ。実際のユーザー操作の流れを走らせるため、機能は完全に動くか失敗するかのどちらかで、ごまかしがきかず、どの段階で壊れたかを正確に示す。プロパティテストは人が見落としがちな境界を狙う。「絶対に破れないはず」の命題を書き、テストライブラリに何千もの入力を生成させて反証を試みる。往返エンコーディング、「口座残高は決してマイナスにならない」、冪等性などがここに入る。差分テストは大規模移行に向いている。新旧システムに同じ入力を与え、結果が違えばバグか破壊的変更だ。入力はランダムに生成するか、実際の本番トラフィックから取るのがよい。
検証そのもののごまかしを防ぐルール
テストは書けるが、検証も出し抜かれる。そこでチームはいくつかの厳しいルールを定めた。レビューのルールはREVIEW.mdに置き、メインブランチからのみ読む。変更そのものが自分を裁く基準に触れることはできない。失敗したチェックは最大3回まで修正を試み、それでも直らなければ人間を呼ぶ。すべてのコミットには検証方法の印が押され、「なし」も含めて記録されるため、未検証の作業は後から検索できる。新しいコミットゲートはまず観察モードで動かし、ブロックされるはずだったものを記録して、誤検出が許容範囲と確認できてから強制モードに切り替える。チームはさらに39項目の信頼性チェックリストを維持しており、各項目は差分から読み取れる条件で発火するため、該当する数項目だけをチェックすればよい。過去の障害を暗記する必要はない。
この手法はAnthropicだけのものではない。内部テストでは、構造化ファイル生成のタスクに、評価基準に照らして独立に採点する仕組みを加えたところ、タスク成功率が最大で10ポイント向上した。OpenAIも最近、4つの外部評価機関を招き、実験室の中でモデルのアライメントを直接調べさせている。同じ発想だ。検証は自分の言葉だけに頼れない。一般のチームが真似できることは3つある。リポジトリにverifyスキルを書き、Claudeがコミット前にアプリを実際に動かすようにする。3回失敗したら止まって人間を呼ぶ。すり抜けたバグはすべて新しいルールに変え、古くなったルールは定期的に整理する。検証層そのものもシステムと同じように手入れしなければ、やがて飾りになってしまう。