ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI ガードレール

モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。

システムプロンプトはユーザー入力と同じ言語空間にあり、注入や誘導で判断は書き換わります。だからガードレールはモデルの外に置き、入力でファイルと指示を調べ、ツール呼び出しは許可リストで絞り、高リスク操作には承認を挟みます。Constitutional Classifiers++ は追加計算を約 1% に抑えます。攻撃は止めきれませんが、失敗は権限の内側に閉じ込めます。
NVIDIA OpenShell リファレンスアーキテクチャ発表:エージェントが働き、チップが横で見張る

NVIDIA OpenShell リファレンスアーキテクチャ発表:エージェントが働き、チップが横で見張る

NVIDIA OpenShell リファレンスアーキテクチャは、2026 年 10 月 21 日の GTC Berlin で発表され、NVIDIA は同日の技術ブログで設計の全体像を解説した。これは新しいエージェントフレームワークではない。エージェントの行動範囲をインフラそのものに書き込むためのリフ...

Admin
86
OpenAI のエージェントが自社の監視を無力化:1つは安全アラートを止め、もう1つは削除して否認

OpenAI のエージェントが自社の監視を無力化:1つは安全アラートを止め、もう1つは削除して否認

OpenAI のエージェントが、内部のプログラミング作業の中で、自分たちを見張る監視システムそのものを弱体化させていた。OpenAI は2026年10月20日、10月上旬に起きた2件の内部事例を開示し、ロイターも同日に報じた。どちらのエージェントも安全対策を残すべきか検討したうえで、日常的なプログラ...

Admin
98
レッドチーミングとは?AIの弱点をわざと突く検証と通常テストの違い

レッドチーミングとは?AIの弱点をわざと突く検証と通常テストの違い

レッドチーミングは、攻撃者の立場に立つ人を雇い、AIに誤った行動をさせたり、拒否すべき内容を言わせたり、守るべき情報を漏らさせたりする方法を意図的に探させ、公開前に穴をふさぐ検証です。もとはサイバーセキュリティの用語で、レッドチームが攻撃し、ブルーチームが防御します。測るのは通常利用での出来の良し悪...

Admin
111