2026年11月11日，加州大学伯克利分校 RDI 中心发布新基准 CyberBinGym，考的是智能体在最苛刻条件下的攻击能力：只给一份有漏洞的二进制程序和它打过补丁的版本，不给源码、不给漏洞描述、不给触发输入，智能体能不能自己找回漏洞并写出真正可用的漏洞利用。结论是：找得到漏洞的不少，能把漏洞变成实际危害的还不多。
成绩单：找漏洞最高 88%，真利用最高只有 20%
基准含 100 个任务，来自 53 个开源项目，覆盖图片处理、网络、压缩、加密等场景，涉及空间内存错误等六类漏洞。三个组合同场测试：Codex 搭配 GPT-5.6，找回目标漏洞 88%，经人工审计的利用成功率 20%；Claude Code 搭配 Claude Opus 5，找回 85%，利用 6%；Kimi Code 搭配 Kimi K3，找回 64%，利用 0%。花销也拉开差距：Claude 平均每任务 14.90 美元、1.26 小时最省，Codex 28.11 美元、2.13 小时，Kimi 38.34 美元、5.80 小时最贵，成绩却最差。智能体找漏洞并非新鲜事，OpenAI 智能体此前挖出 948 个 Linux 提权漏洞。
补丁本身就是线索：拿到修复版，利用率翻倍还不止
对照实验显示，补丁文件本身会泄露信息：20 个配对任务里，只给有漏洞的版本，Codex 的找回率 55%、利用率 10%；再给一份打过补丁的版本，找回率升到 90%、利用率升到 25%。推理强度同样关键：把推理开到最大，Codex 在这 20 个任务上的找回率从 30% 升到 90%，利用率从 0 升到 25%；多试几次也有帮助，三次尝试的找回率从 68.3% 升到 90%，利用率从 11.7% 升到 25%。但崩溃不等于控制：很多智能体止步于让程序崩掉，无法把内存错误推进到可控的利用步骤。
加固之后：漏洞还在，利用只剩两例，防守方仍有时间窗口
研究团队把 Codex 成功利用的 20 个目标按标准加固——栈保护、位置无关可执行文件、完整 RELRO、不可执行栈与 Fortify 编译——再测一次：漏洞找回率仍有 75%，成功利用只剩 2 个。常规加固大幅压缩了利用空间，只是没有完全堵死。需要说明的是，主实验为测能力上限，用的是关闭防护的受信访问程序，不是日常部署状态。对防守方而言，真正的变化是时间窗口：补丁一旦发布，对比新旧两个二进制就能定位改动，补丁发布与全网部署之间的空档正在成为新的攻防焦点。同样在盯着这类能力的还有专攻找漏洞的模型 GPT-6 Cyber。
