ToolNavs AIツールナビ
ツール投稿 ログイン
戻るAIはオープンソースです
Qwen3Guardは完全にオープンソースになりました: セキュリティ調整と推論保護のための二重フレームワーク

Qwen3Guardは完全にオープンソースになりました: セキュリティ調整と推論保護のための二重フレームワーク

AIはオープンソースです Admin 283 回閲覧

I. 要約

Qwen3Guardは、Alibaba Cloud Qwenチームが立ち上げたオープンソースのセキュリティ保護システムで、推論と出力の両方において大規模言語モデルのセキュリティを向上させるように設計されています。このシステムは、強化学習アライメントモデルであるQwen3-4B-SafeRLと評価ベンチマークであるQwen3GuardTestで構成されています。Qwen3-4B-SafeRLモデルは、強化学習のトレーニングにQwen3Guard-Gen-4Bからのセキュリティフィードバックを活用し、汎用的なパフォーマンスを犠牲にすることなく、WildJailbreakベンチマークの安全性評価を64.7%から98.1%に向上させました。Qwen3GuardTestは、「思考連鎖推論セキュリティ分類」と「ストリーミング生成レビュー」という2つのシナリオをカバーし、研究者に標準化されたテストフレームワークを提供します。

2. コア機能

  1. 安全強化学習 (SafeRL): 安全性フィードバック信号とハイブリッド報酬メカニズムを組み合わせて、安全性、有用性、拒否率のバランスをとります。
  2. 中間推論保護: Qwen3GuardTest は、モデルの思考連鎖コンテンツのセキュリティ分類とスクリーニングをサポートします。
  3. ストリーミング出力の監視:Guard-Stream モデルは、トークン生成段階で動的なリスク識別を実行できます。
  4. 多言語セキュリティ範囲:119 の言語と方言でのセキュリティ分類と検出をサポートします。
  5. 再現可能な評価フレームワーク: オープンデータセットと指標システムにより、研究者はモデルセキュリティ調整実験をより簡単に実施できるようになります。

3. インストール

  1. モデルの読み込み
__コードブロック_0__
  1. 評価データセット
__コードブロック_1__
  1. 推論の互換性:SGLang(≥0.4.6.post1)およびvLLM(≥0.8.5)をサポートし、OpenAI APIインターフェースにアクセスできます。

典型的な使用例

  1. セキュリティアライメント研究:セキュリティ最適化における強化学習の効果とトレードオフを分析します。
  2. リアルタイムレビューシステム:Guard-Stream モデルと組み合わせて、ストリーミング出力に対してトークンごとの検査を実行します。
  3. エンタープライズ展開: チャットボットとコンテンツ生成プラットフォームにセキュリティ レイヤーを提供します。
  4. 学術的評価: Qwen3GuardTest を使用して、さまざまなアーキテクチャ モデルのセキュリティの統一的な比較を実施します。

5. エコシステムと競合製品

  1. エコシステム: Qwen3 メインライン モデル システムと互換性があり、Qwen3-4B、7B、72B などのバージョンのセキュリティ強化に直接使用できます。
  2. 競合他社: OpenAI Moderation や Anthropic Constitutional AI などのソリューションと比較して、Qwen3Guard は中間推論保護とストリーミング監視においてよりきめ細かい制御を提供します。

VI. 制限事項と注意事項

  1. SafeRL のトレーニングには大量のコンピューティング リソースが必要であり、ハードウェア要件も高くなります。
  2. Qwen3GuardTest は現在主に英語で提供されており、多言語でのパフォーマンスについてはさらなる検証が必要です。
  3. 強化学習の調整により、極端なタスクではパフォーマンスがわずかに変動する可能性があります。
  4. セキュリティ制約が過剰になると、「拒否が多すぎる」という現象が発生する可能性があるため、ポリシーパラメータを検討する必要があります。

7. プロジェクト住所

https://github.com/QwenLM/Qwen3Guard

8. よくある質問

Q: Qwen3-4B-SafeRL と通常の RLHF モデルの違いは何ですか?

A: SafeRL は安全性に関するフィードバックを最適化の中核目標とし、ハイブリッド報酬を通じて安全性と有用性のバランスを実現します。

Q: Qwen3GuardTest は Qwen シリーズ以外のモデルにも適用できますか?

A: はい、ベンチマーク データとメトリックは汎用的に設計されており、他の言語モデルのセキュリティ パフォーマンスを評価するために使用できます。

Q: SafeRL モデルはオフラインで使用できますか?

A: Hugging Face または ModelScope のウェイトをローカルにロードして、オフラインで実行できます。

Q: Guard-Stream はリスク出力をリアルタイムで中断できますか?

A: 各トークンは推論フェーズでリアルタイムに分類でき、リスクが発見されると出力を直ちにブロックまたは置き換えることができます。

関連記事

24時間AIニュース:メトロエリア「ミリ秒コンピューティング」の実装とシステムレベルのコパイロットアップグレード

24時間AIニュース:メトロエリア「ミリ秒コンピューティング」の実装とシステムレベルのコパイロットアップグレード

過去24時間で、国内の各省庁や委員会は「ミリ秒コンピューティング」の推進、具現化ロボットの商用化、AI知的財産グループ標準の発表、インテリジェントコネクテッドカーカンファレンスの開催などの文書を発表し...

PaddleOCR-VL (0.9B) リリース: NaViT×ERNIE 軽量マルチモーダルモデル、文書解析が複数のベンチマークでトップ

PaddleOCR-VL (0.9B) リリース: NaViT×ERNIE 軽量マルチモーダルモデル、文書解析が複数のベンチマークでトップ

2025年10月16日、PaddleOCRはマルチモーダル文書解析モデルPaddleOCR-VLのリリースを発表しました。これはバージョン3.3.0のコア機能としてリリースされました。約0.9Bサイズ...

Mem0はエージェントと統合する価値がありますか? 長期記憶は役立ちますが、境界線を管理する必要があります

Mem0はエージェントと統合する価値がありますか? 長期記憶は役立ちますが、境界線を管理する必要があります

Mem0は、AIアプリケーションやエージェント向けのオープンソースメモリ層プロジェクトで、アプリのユーザーの好み、歴史的事実、長期的な文脈を記憶するのを支援することを目的としています。 パーソナライズ...

ヘイスタックはどのようなチームに適しているのでしょうか? むしろコンポジタブルなRAGエンジニアリングフレームワークのようなものです

ヘイスタックはどのようなチームに適しているのでしょうか? むしろコンポジタブルなRAGエンジニアリングフレームワークのようなものです

HaystackはDeepSetが保守するオープンソースのAIアプリケーションフレームワークで、RAG構築、ドキュメントQ&A、検索パイプライン、LLMワークフローの構築に一般的に使用されています。 ...

おすすめツール

もっと見る