レッドチーミングは、攻撃者の立場に立つ人を雇い、AIに誤った行動をさせたり、拒否すべき内容を言わせたり、守るべき情報を漏らさせたりする方法を意図的に探させ、公開前に穴をふさぐ検証です。もとはサイバーセキュリティの用語で、レッドチームが攻撃し、ブルーチームが防御します。測るのは通常利用での出来の良し悪しではなく、意図的に攻められたときに持ちこたえられるかどうかです。
レッドチームは何を試すのか
試し方は大きく数種類あります。一つは禁止コンテンツの引き出しで、言い方を変えたり文を分割したりして、拒否すべき内容を引き出せるかを見ます。一つはプロンプトインジェクションで、ウェブページや文書、画像の中に指示を隠し、外部の文字を所有者の命令のように実行してしまわないかを確認します。一つはプライバシーの引き出しで、公開情報の組み合わせやなりすましで、個人情報や社内資料を引き出せるかを試します。もう一つは偏見と事実性の検証で、誘導的な質問でモデルがユーザーの立場に沿って話を作らないかを見ます。共通点は、質問する側が最初から悪意を持ち、意地の悪い質問ほど価値があることです。
通常テストとも、ガードレール自体とも違う
通常のテストは協調性を測ります。決まった問題集に対して正確さと速さを採点する、いわば模擬試験です。レッドチーミングは抵抗力を測ります。問題集の外側、想定されていない隅を狙い、欠点探しを仕事にする人を雇うようなものです。ガードレールはその後の成果です。突破口が一つ見つかるたびにルールやフィルター、訓練の修正が加えられ、レッドチームが再び試しに来ます。ガードレールは盾で、レッドチームはその盾をあらゆる道具で叩く側です。誰にも叩かれたことのない盾は、設計者が想像できた攻撃しか防げません。
よくある三つの誤解
一つ目は、レッドチーミングは数人が適当に話して運任せで探すもの、という誤解です。専門的な実務は正反対で、攻撃手法は分類して記録され、成功した突破は再現可能で分類可能であることが求められ、回帰テスト集として蓄積されてモデル更新のたびに再実行されます。二つ目は、レッドチームを通過すれば安全だという誤解です。証明できるのは既知の攻撃が試されたことだけで、攻撃者は公開後も新しい抜け道を発明し続けます。だから成熟したチームは継続的に実施し、外部委託や報奨金制度を使うこともあります。三つ目は、チャットボットだけの話だという誤解です。AIがツールを呼び、外部資料を読み、ユーザーの代わりに操作できるようになると、フィッシングメール一通でファイルを消したり資料を持ち出したりしないかまで試す必要があり、一言の誤りよりはるかに大きなリスクになります。
AI製品の信頼性を判断するとき、デモの出来やベンチマークの点数だけでは半分しか分かりません。提供元がレッドチーミングについて公に語っているか、誰が試し、何が見つかり、修正後に再検証したかを確認する価値があります。打たれた記録を語れる提供元は、点数だけを掲げる提供元より信用できることが多いものです。
