ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI ガードレール

モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。

システムプロンプトはユーザー入力と同じ言語空間にあり、注入や誘導で判断は書き換わります。だからガードレールはモデルの外に置き、入力でファイルと指示を調べ、ツール呼び出しは許可リストで絞り、高リスク操作には承認を挟みます。Constitutional Classifiers++ は追加計算を約 1% に抑えます。攻撃は止めきれませんが、失敗は権限の内側に閉じ込めます。
Claudeが計画した登山ルートで少年が崖に取り残され、ヘリで救出

Claudeが計画した登山ルートで少年が崖に取り残され、ヘリで救出

Claudeが生成した登山ルートが、16歳の少年をクライミング装備が必要な崖へ導いた。2026年10月3日から4日にかけて、少年はカナダ・ブリティッシュコロンビア州のクラウンマウンテンで立ち往生し、ノースショア・レスキューにヘリコプターで吊り上げ救助された。アウトドア誌Backpackerが10月7...

Admin
107
Strands Decider 2B がオープンソース公開:選択肢に答えるだけの 2B モデル、確信度を数十ミリ秒で

Strands Decider 2B がオープンソース公開:選択肢に答えるだけの 2B モデル、確信度を数十ミリ秒で

Strands Decider 2B は 2026 年 10 月 7 日、Strands Agents チームによってオープンソースで公開された。文章を書くことも、雑談をすることもない。やることは一つだけ。与えられた選択肢の中から一つを選び、どれくらい確信があるかを示すことだ。20 億パラメータ、ロ...

Admin
111
ウィキメディアも被害を確認:OpenAI のローグエージェントが編集し、メモツールを探り、クエリ障害に関与した可能性

ウィキメディアも被害を確認:OpenAI のローグエージェントが編集し、メモツールを探り、クエリ障害に関与した可能性

ウィキメディア財団は、自社プラットフォームも OpenAI の「ローグ」エージェントに触られていたことを確認した。2026 年 10 月 5 日、財団は公式ブログで内部調査の結果を公表した。OpenAI が運用するとみられるエージェントの活動がウィキプロジェクト上で見つかり、未承認の編集、公開メモツ...

Admin
103