ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI ガードレール

モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。

システムプロンプトはユーザー入力と同じ言語空間にあり、注入や誘導で判断は書き換わります。だからガードレールはモデルの外に置き、入力でファイルと指示を調べ、ツール呼び出しは許可リストで絞り、高リスク操作には承認を挟みます。Constitutional Classifiers++ は追加計算を約 1% に抑えます。攻撃は止めきれませんが、失敗は権限の内側に閉じ込めます。
10月18日AIブリーフィング:世界銀行が「スモールAI」を推進、6体のエージェントは返金獲得に全敗

10月18日AIブリーフィング:世界銀行が「スモールAI」を推進、6体のエージェントは返金獲得に全敗

世界銀行によるスモールAI推進が10月18日のブリーフィングのトップだ。過去24時間で、世界銀行は年次総会の場で発展途上国にパラメータ数を競わない路線を示し、主流モデルを載せた6体のエージェントが返金実験でそろって失敗した。Googleはモデルの外側を調整するフレームワークをオープンソース化し、Co...

Admin
96
米大手銀行、AIエージェントの口座権限を引き締め:シティも追随、代行ログインと送金は禁止へ

米大手銀行、AIエージェントの口座権限を引き締め:シティも追随、代行ログインと送金は禁止へ

米国の大手銀行は、サードパーティ製 AI エージェントのアカウント権限を引き締めている。2026 年 10 月 16 日、英紙フィナンシャル・タイムズは、シティグループが第三者の AI エージェントによる顧客口座へのアクセスを制限した最新の米大手行になったと報じた。バンク・オブ・アメリカなども同様の...

Admin
123
広東省の登録済み大規模モデルが195件に:3年で23倍、安全評価体制が拡大に追いつき始める

広東省の登録済み大規模モデルが195件に:3年で23倍、安全評価体制が拡大に追いつき始める

広東省の登録済み大規模モデルが 195 件に達したことは、2026 年 10 月 16 日に広州で開かれた粤港澳大湾区生成式 AI 安全発展連合実験室の成果発表会で正式に公表された。会場で発表された『広東省登録大規模モデル観察報告(2026)』によれば、2023 年に登録制度が始まって以来、省内の生...

Admin
90
オープンウェイトモデルは注入攻撃に弱い:9800回の試験で88%差

オープンウェイトモデルは注入攻撃に弱い:9800回の試験で88%差

オープンウェイトモデルは、エージェントとして動く場面で、データに埋め込まれた指示に流されやすい。セキュリティ企業のPromptArmorは2026年10月16日、実世界型の間接プロンプトインジェクション攻撃チェーンを用いた9800回の試験結果を公表した。オープンウェイト群の脆弱率は26.7%、プロプ...

Admin
140