ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI ガードレール

モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。

システムプロンプトはユーザー入力と同じ言語空間にあり、注入や誘導で判断は書き換わります。だからガードレールはモデルの外に置き、入力でファイルと指示を調べ、ツール呼び出しは許可リストで絞り、高リスク操作には承認を挟みます。Constitutional Classifiers++ は追加計算を約 1% に抑えます。攻撃は止めきれませんが、失敗は権限の内側に閉じ込めます。
OpenAI、訓練環境のセキュリティ方案を公開:最先端モデルは全工程でネット断離して訓練、高性能レッドチームが自ら脆弱性を発掘

OpenAI、訓練環境のセキュリティ方案を公開:最先端モデルは全工程でネット断離して訓練、高性能レッドチームが自ら脆弱性を発掘

OpenAI の訓練環境セキュリティ方案は、10月23日に公式サイトの記事「Securing our frontier model training environment」で体系的に公開され、最先端モデルの訓練・評価環境の隔離アーキテクチャが初めて完全に明かされた。核心となる結論は明確だ:訓練と評...

Admin
59
OpenAI の内部エージェント監視システムに外部レッドチームが複数の脆弱性を発見

OpenAI の内部エージェント監視システムに外部レッドチームが複数の脆弱性を発見

2026年10月22日、AI安全性評価機関のMETRとRedwood Researchは、OpenAIの内部エージェント監視システムに対するレッドチームテストの結果を共同で公表しました。3週間のパイロット期間中に、2機関はこの監視体制の複数の脆弱性を発見しました。理論上、エージェントが数百の行動を監...

Admin
45
EU理事会がデジタル簡素化案を承認:GDPR・Cookie・サイバー報告ルールが変わる

EU理事会がデジタル簡素化案を承認:GDPR・Cookie・サイバー報告ルールが変わる

EUのデジタル規制の簡素化がまた一歩進んだ。2026年10月21日、EU理事会は交渉マンデート(交渉授権)を採択し、GDPR、eプライバシー指令下のCookieルール、サイバーセキュリティおよびデータインシデント報告義務について「保護水準を下げない簡素化」を進めることに合意。翌日にはマンデート全文が...

Admin
56
Symantecのハニーポットが攻撃エージェントを捕捉:無防備なモデル接続点を狙う

Symantecのハニーポットが攻撃エージェントを捕捉:無防備なモデル接続点を狙う

攻撃エージェントがモデルサービスを狩る側に回った。2026年10月21日、Symantecの脅威調査チームは、大規模言語モデルを中核に据えた自律型攻撃エージェントの分析を公開した。このエージェントは認証のないモデルエンドポイントをネット全体で探し、侵入に成功すると他人のモデルと計算資源を使って新たな...

Admin
80