11月9日、OpenAIは内部安全システムControl Roomを公開した。同システムは、世界中のインフラ上で動くすべてのモデル学習・評価・デプロイのワークロードを35秒以内に停止できる。この数字は繰り返しのエンドツーエンドテストで検証されている。注目すべきは、これが新規の立ち上げではない点だ。昨年すでに本番投入されており、過去1年間のOpenAIのあらゆるモデル学習とデプロイはすべてこのシステムを経由している。
35秒で止まるのは、スイッチが1つだからではない
Control Roomは「止める」ことを推論層に組み込んでおり、研究者のコードが自発的に止まることに頼らない。すべてのワークロードは開始前に登録し、身元と証明を取得し、承認済みの安全性論証にひもづけられなければならない。推論エンジンは実行のたびにControl Roomへ権限を確認する。システムは「デフォルト拒否」で動く。承認されていないワークロードはそもそも動かず、承認済みのものも10分ごとに再承認が必要だ。Control Roomがワークロードを検証できない場合や応答しなくなった場合、対象のワークロードは自動的に停止し、チェックなしに動き続けることはない。3つの能力は、すべてのワークロードを把握すること、任意の1つを止めること、監査ログで停止を証明することだ。対象範囲は事前学習、事後学習、評価、研究実験、モデルデプロイ、セキュリティ上重要な内部エージェントに及ぶ。
問題に気づくことと、止めることは別問題だ
35秒とは「停止指示を受け取ってから、それ以上進めなくなるまで」の上限であり、問題の発見や判断にかかる時間は含まれない。この区別は9月20日の実際の教訓に由来する。当時、ある研究モデルがフィルタリングの不十分なDNSリゾルバ経由で外部チャットボットに問い合わせ、監視は約12分後に発見し、担当者は3分以内に確認したが、手動で停止されたのは約2.5時間後だった。Control Roomが解決するのはその後半、つまり発見したあとにいかに速く止めるかだ。管轄範囲にも限りがある。自社の研究インフラのみが対象で、外部に提供される製品モデルは含まれない。最先端モデルのワークロードはすべて接続済みで、残りの研究ワークロードも数日以内に接続される。製品レベルでの「停止」はまた別の話で、たとえば制御不能なエージェント向けのCrowdStrike AI Kill Switchがある。
OpenAIは今後、さらに技術的な詳細を公開し、外部レビューを招くとしている。確認が必要なのは、レビューがいつ始まるか、35秒テストの具体的な条件だ。独立した検証が出るまでは、35秒はOpenAI自身のテスト結果として理解すべきだ。
