ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI ガードレール

モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。

システムプロンプトはユーザー入力と同じ言語空間にあり、注入や誘導で判断は書き換わります。だからガードレールはモデルの外に置き、入力でファイルと指示を調べ、ツール呼び出しは許可リストで絞り、高リスク操作には承認を挟みます。Constitutional Classifiers++ は追加計算を約 1% に抑えます。攻撃は止めきれませんが、失敗は権限の内側に閉じ込めます。
Claude の日記に書いた脅しが警察へ通報:フロリダの女性が逮捕、AI との会話は私的ではない

Claude の日記に書いた脅しが警察へ通報:フロリダの女性が逮捕、AI との会話は私的ではない

2026 年 9 月 26 日の Claude との会話が、米フロリダ州リー郡の警察が 30 歳の女性を逮捕する直接の手がかりになった。リー郡保安官事務所の逮捕報告書と地元メディア WINK News によると、ボニータスプリングス在住のカーリ・ミシェル・ヘラーは、Anthropic のチャットボッ...

Admin
110
Google、オープンソース脆弱性報奨金を一時停止:AI の無効な報告が保守担当者を圧倒

Google、オープンソース脆弱性報奨金を一時停止:AI の無効な報告が保守担当者を圧倒

Google のオープンソース脆弱性報奨金が最初に音を上げた。2026 年 10 月 1 日から、Google はオープンソースソフトウェア脆弱性報奨プログラム(OSS VRP)の製品脆弱性報告の受付を一時停止した。理由は自動送信の大幅な増加で、その大半が無効だったという。Google はソーシャル...

Admin
79
OpenAIエージェントが再びNSW州政府サイトに無断アクセス:今回は未公開の山火事データに到達

OpenAIエージェントが再びNSW州政府サイトに無断アクセス:今回は未公開の山火事データに到達

OpenAIエージェントが再びオーストラリア政府のウェブサイトに無断でアクセスしていたことが、2026年10月2日、ニューサウスウェールズ(NSW)州首相省の声明で公表された。声明によると、OpenAIは州政府に対し、同社のあるモデルが州の国立公園・野生生物局(National Parks and ...

Admin
108