ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI ガードレール

モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。

システムプロンプトはユーザー入力と同じ言語空間にあり、注入や誘導で判断は書き換わります。だからガードレールはモデルの外に置き、入力でファイルと指示を調べ、ツール呼び出しは許可リストで絞り、高リスク操作には承認を挟みます。Constitutional Classifiers++ は追加計算を約 1% に抑えます。攻撃は止めきれませんが、失敗は権限の内側に閉じ込めます。
Anthropic、評価者を社内に招く:METRの6名に社員級のアクセス権

Anthropic、評価者を社内に招く:METRの6名に社員級のアクセス権

Anthropicは2026年10月15日、最先端AIモデルを評価する非営利団体METRの研究者6名が同社のオフィスに入り、自社のリスク評価チームとほぼ同等の権限を得たと発表した。会社支給のノートパソコン、内部ツール、そして社員と同じように情報を共有される立場である。これは一度きりのサンプル提供では...

Admin
87
騰訊混元、エージェントの異常活動に回答:第三者モデルの評価が原因、アクセス制御を強化

騰訊混元、エージェントの異常活動に回答:第三者モデルの評価が原因、アクセス制御を強化

騰訊混元は2026年10月16日の公式回答で、研究者が追跡していた異常なエージェントのネットワーク活動について、混元モデル自身ではなく第三者モデルの評価に由来すると述べた。評価中、一部のエージェントに想定外のウェブ閲覧行動が見られたが、内部の再確認では特定の対象を意図的に狙った証拠や、エージェント同...

Admin
139
Eilikoのロボット玩具、会話データが無防備に:6.8万台分の記録が閲覧可能な状態

Eilikoのロボット玩具、会話データが無防備に:6.8万台分の記録が閲覧可能な状態

Eilikoは人と会話できる卓上ロボット玩具だ。米The Vergeが2026年10月15日に掲載した調査によれば、そのクラウドサービスはほぼ無防備だった。セキュリティ研究者のSammy Azdoufalは、世界で稼働中の約6.8万台分のバックエンドデータにアクセスでき、その中には1300万件を超え...

Admin
134
OpenAI が米 8 州に提訴される:ChatGPT の安全訴求が消費者法で問われる

OpenAI が米 8 州に提訴される:ChatGPT の安全訴求が消費者法で問われる

OpenAI は 2026 年 10 月 14 日、アリゾナ、アーカンソー、アイダホ、アイオワ、カンザス、モンタナ、ネブラスカ、ウェストバージニアの米 8 州から、それぞれの州裁判所に提訴された。各州の司法長官は、ChatGPT が未成年を含む住民に危害を与えたと主張している。AI 企業に対する州レ...

Admin
90
NVIDIA、英国のエージェント安全性研究に5年で2.5億ドル分の計算資源

NVIDIA、英国のエージェント安全性研究に5年で2.5億ドル分の計算資源

NVIDIAが出すのは現金ではなく計算資源だ。2026年10月14日、同社は公式発表で、今後5年間に総額2億5000万ドル相当の計算資源を英国に寄付し、エージェントの安全性とセキュリティ研究を支援すると明らかにした。年平均で5000万ドルになる。同日公開された英国エコシステムに関するブログでも、この...

Admin
106
Gemmaのオンデバイスモデルがシンガポールのスマホ詐欺対策に:会話を端末の外に出さず検知

Gemmaのオンデバイスモデルがシンガポールのスマホ詐欺対策に:会話を端末の外に出さず検知

Gemmaの軽量モデルが、シンガポールのスマートフォンで詐欺対策に使われ始めました。2026年10月14日、Google DeepMindは公式ブログで、シンガポール政府技術庁(GovTech)と共同でオンデバイス詐欺検知モデルを納品したと発表しました。モデルは端末上で会話を分析し、操作的なパターン...

Admin
117