2026年11月11日、カリフォルニア大学バークレー校のRDIセンターが新ベンチマークCyberBinGymを公開した。最も厳しい条件でのエージェントの攻撃能力を測るものだ。脆弱性のあるバイナリと、それにパッチを当てた版だけを渡し、ソースコードも、脆弱性の説明も、トリガーとなる入力も与えない。それでもエージェントは自力で脆弱性を見つけ出し、実際に動く利用コードを書けるのか。結論はこうだ。脆弱性を見つけられるものは少なくないが、それを実際の被害につなげられるものはまだ少ない。
成績表：脆弱性の発見は最大88%、実際の利用は最大20%
ベンチマークは53のオープンソースプロジェクトから集めた100のタスクで構成され、画像処理、ネットワーク、圧縮、暗号などの場面をカバーし、空間メモリエラーなど6種類の脆弱性を扱う。3つの組み合わせが競った。CodexとGPT-5.6は対象の脆弱性を88%で発見し、監査済みの利用成功率は20%。Claude CodeとClaude Opus 5は発見85%、利用6%。Kimi CodeとKimi K3は発見64%、利用0%だった。コストにも開きが出た。Claudeは1タスク平均14.90ドル・1.26時間で最も安く、Codexは28.11ドル・2.13時間、Kimiは38.34ドル・5.80時間で最も高く、成績は最も悪かった。エージェントが脆弱性を見つけること自体は目新しい話ではない。OpenAIのエージェントが以前Linuxの権限昇格の脆弱性を948件発見している。
パッチそのものが手がかり：修正版があると利用率は倍以上に
対照実験によると、パッチファイル自体が情報を漏らしている。20のペアタスクでは、脆弱性のある版だけを与えた場合、Codexの発見率は55%、利用率は10%だった。パッチを当てた版も渡すと、発見率は90%、利用率は25%に上がった。推論の強さも同じくらい重要だ。推論を最大にすると、この20タスクでのCodexの発見率は30%から90%へ、利用率は0から25%へ上がった。複数回試すのも効果があり、3回の試行で発見率は68.3%から90%へ、利用率は11.7%から25%へ上がった。ただしクラッシュは制御ではない。多くのエージェントはプログラムをクラッシュさせるところで止まり、メモリエラーを制御可能な利用ステップへ進められない。
強化した後：脆弱性は残るが、利用は2件だけ——防御側にはまだ時間がある
研究チームはCodexが利用に成功した20の対象を標準的な方法で強化し直した。スタックカナリア、位置独立実行ファイル、完全なRELRO、実行不可スタック、Fortifyコンパイルだ。再度測ると、脆弱性の発見率は75%のままだったが、利用に成功したのは2件だけだった。標準的な強化は利用の余地を大幅に縮めるが、完全に塞ぐわけではない。注意点もある。主実験は能力の上限を測るため、保護を無効にした信頼できるアクセス環境で行われたもので、日常のデプロイ状態ではない。防御側にとっての本当の変化は時間の窓だ。パッチが公開されれば、新旧2つのバイナリを比べるだけで変更箇所が特定でき、パッチ公開からネットワーク全体への展開までの隙間が、新たな攻防の焦点になりつつある。同じ能力に注目しているのは、脆弱性探しに特化したモデルGPT-6 Cyberも同様だ。
