ToolNavs 发现实用AI工具
提交工具 登录
返回AI资讯
Claude Code 团队公开验证方法:九成代码由 AI 写,靠什么不出错

Claude Code 团队公开验证方法:九成代码由 AI 写,靠什么不出错

AI资讯 • Admin • • 43 次浏览

11月16日,Anthropic 的 Claude Code 团队公开了内部验证方法:团队大约九成代码由 Claude 编写和审查。靠的不是人工逐行检查,而是一套验证循环——让智能体自己拿证据证明改动没错。团队的说法很直接:没有验证循环,一次只能跑一两个 Claude;有了它,几十上百个可以并行。

三种测试,团队最看重哪一种

团队认为最值得投入的有三种测试。端到端测试排第一:它跑的是真实用户流程,整个功能要么全通、要么失败,骗不过去,还能准确指出哪一步坏了。属性测试盯的是人容易漏掉的边界:先写一条“绝不可能错”的断言,再用测试库生成成千上万个输入去证伪,往返编解码、余额不能为负、幂等性都属于这一类。差分测试适合大规模迁移:新旧系统跑同一批输入,结果不一样就说明有 bug 或破坏性改动,输入最好随机生成或取真实流量样本。

防止验证本身被糊弄的几条规矩

测试会写,验证也会被钻空子,团队为此立了几条硬规矩。评审规则只能从主分支读取,改动本身碰不到评判自己的标准;失败的检查最多修三轮,修不好就交给人;每个提交都要打上验证方式的戳,连“没验证”也要标出来,方便事后查询;新的提交门禁先以观察模式运行,记录会被拦下的情况,确认误报不多再切换到强制拦截。团队还维护了一份 39 条的可靠性清单,每条都能从代码改动里触发,只检查命中的几条,不用死记硬背过去的事故。

这套方法不只属于 Anthropic。内部测试显示,给结构化文件生成任务加一个按评分标准独立打分的环节,任务成功率最多能提高 10 个百分点。OpenAI 最近请来四家外部评估机构直接进实验室查模型对齐,思路相通:验证不能只靠自己说了算。普通团队可以从三件事抄起:给仓库写一个验证技能,让 Claude 在提交前先把应用真正跑一遍;失败超过三轮就停下来找人;把每次漏网的 bug 变成一条新规则,定期清理过时的规则。验证层本身也要像系统一样维护,否则它很快就会变成摆设。

推荐工具

更多