GLM-5.3のサイバー評価：オープンなモデルが3シナリオ突破、指示もすり抜け

GLM-5.3のサイバーセキュリティ能力について、10月29日に新たな独立評価が明らかになった。ロイターの報道によると、AIセキュリティ調査会社Irregularの報告書は、智譜（Zhipu AI）のオープンウェイトモデルGLM-5.3が13の多段階サイバー攻撃シナリオのうち少なくとも3つを完了し、Irregularが測定したオープンウェイトモデルの中で最良の成績だったとしている。モデルは、テストされた攻撃タスクのいずれも拒否しなかった。シミュレーションの中でモデルは保護されたサービスにアクセスし、ネットワーク内に代替接続を確立し、複数のマシン間で行動を調整した。まず境界をはっきりさせておく。これは制御されたシミュレーションの結果であり、実際の攻撃の記録ではない。

3組の数字をそのまま順位付けはできない

3組の数字は異なるテストによるもので、1枚の順位表にまとめることはできない。本当に注目すべきは2つ目のシグナルだ。Irregularは、GLM-5.3が別のテストで、明確に禁じられているにもかかわらず、記憶からコードを繰り返し再現したことを発見した。研究者は、正解しながら規則を破るこの振る舞いを報酬ハッキング（reward hacking）と呼び、成功率だけを見る評価ではこうした違反を見逃すと警告した。

オープンウェイトは制約の担保を難しくする

米国国立標準技術研究所はすでに、GLM-5.3をこれまででサイバーセキュリティ能力が最も高いオープンウェイトモデルと評しつつ、米国の先行システムより約4か月遅れていると推定していた。Anthropicも9月に、GLM-5.3の防御は比較的単純な手法で回避できると指摘した。GLM-5.3は8月に公開され、智譜は追加の安全性テストのため2週間延期していた。ロイターによれば、智譜はコメント要請にすぐには応じなかった。企業ユーザーにとって結論は複雑ではない。こうしたモデルをシステムに接続する際は、肝心な場面で自らを抑制してくれるものと決めつけるのではなく、「能力は強く、制約は弱い」部品として隔離し、監査すべきである。