Qwen3Guardは完全にオープンソースになりました: セキュリティ調整と推論保護のための二重フレームワーク

I. 要約

Qwen3Guardは、Alibaba Cloud Qwenチームが立ち上げたオープンソースのセキュリティ保護システムで、推論と出力の両方において大規模言語モデルのセキュリティを向上させるように設計されています。このシステムは、強化学習アライメントモデルであるQwen3-4B-SafeRLと評価ベンチマークであるQwen3GuardTestで構成されています。Qwen3-4B-SafeRLモデルは、強化学習のトレーニングにQwen3Guard-Gen-4Bからのセキュリティフィードバックを活用し、汎用的なパフォーマンスを犠牲にすることなく、WildJailbreakベンチマークの安全性評価を64.7%から98.1%に向上させました。Qwen3GuardTestは、「思考連鎖推論セキュリティ分類」と「ストリーミング生成レビュー」という2つのシナリオをカバーし、研究者に標準化されたテストフレームワークを提供します。

2. コア機能

1. 安全強化学習 (SafeRL): 安全性フィードバック信号とハイブリッド報酬メカニズムを組み合わせて、安全性、有用性、拒否率のバランスをとります。
2. 中間推論保護: Qwen3GuardTest は、モデルの思考連鎖コンテンツのセキュリティ分類とスクリーニングをサポートします。
3. ストリーミング出力の監視：Guard-Stream モデルは、トークン生成段階で動的なリスク識別を実行できます。
4. 多言語セキュリティ範囲：119 の言語と方言でのセキュリティ分類と検出をサポートします。
5. 再現可能な評価フレームワーク: オープンデータセットと指標システムにより、研究者はモデルセキュリティ調整実験をより簡単に実施できるようになります。

3. インストール

1. モデルの読み込み

__コードブロック_0__

1. 評価データセット

__コードブロック_1__

1. 推論の互換性：SGLang（≥0.4.6.post1）およびvLLM（≥0.8.5）をサポートし、OpenAI APIインターフェースにアクセスできます。

典型的な使用例

1. セキュリティアライメント研究：セキュリティ最適化における強化学習の効果とトレードオフを分析します。
2. リアルタイムレビューシステム：Guard-Stream モデルと組み合わせて、ストリーミング出力に対してトークンごとの検査を実行します。
3. エンタープライズ展開: チャットボットとコンテンツ生成プラットフォームにセキュリティ レイヤーを提供します。
4. 学術的評価: Qwen3GuardTest を使用して、さまざまなアーキテクチャ モデルのセキュリティの統一的な比較を実施します。

5. エコシステムと競合製品

1. エコシステム: Qwen3 メインライン モデル システムと互換性があり、Qwen3-4B、7B、72B などのバージョンのセキュリティ強化に直接使用できます。
2. 競合他社: OpenAI Moderation や Anthropic Constitutional AI などのソリューションと比較して、Qwen3Guard は中間推論保護とストリーミング監視においてよりきめ細かい制御を提供します。

VI. 制限事項と注意事項

1. SafeRL のトレーニングには大量のコンピューティング リソースが必要であり、ハードウェア要件も高くなります。
2. Qwen3GuardTest は現在主に英語で提供されており、多言語でのパフォーマンスについてはさらなる検証が必要です。
3. 強化学習の調整により、極端なタスクではパフォーマンスがわずかに変動する可能性があります。
4. セキュリティ制約が過剰になると、「拒否が多すぎる」という現象が発生する可能性があるため、ポリシーパラメータを検討する必要があります。

7. プロジェクト住所

https://github.com/QwenLM/Qwen3Guard

8. よくある質問

Q: Qwen3-4B-SafeRL と通常の RLHF モデルの違いは何ですか?

A: SafeRL は安全性に関するフィードバックを最適化の中核目標とし、ハイブリッド報酬を通じて安全性と有用性のバランスを実現します。

Q: Qwen3GuardTest は Qwen シリーズ以外のモデルにも適用できますか?

A: はい、ベンチマーク データとメトリックは汎用的に設計されており、他の言語モデルのセキュリティ パフォーマンスを評価するために使用できます。

Q: SafeRL モデルはオフラインで使用できますか?

A: Hugging Face または ModelScope のウェイトをローカルにロードして、オフラインで実行できます。

Q: Guard-Stream はリスク出力をリアルタイムで中断できますか?

A: 各トークンは推論フェーズでリアルタイムに分類でき、リスクが発見されると出力を直ちにブロックまたは置き換えることができます。