ToolNavs 便利なAIツールを発見
ツール投稿 ログイン

AI ガードレール

モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。

システムプロンプトはユーザー入力と同じ言語空間にあり、注入や誘導で判断は書き換わります。だからガードレールはモデルの外に置き、入力でファイルと指示を調べ、ツール呼び出しは許可リストで絞り、高リスク操作には承認を挟みます。Constitutional Classifiers++ は追加計算を約 1% に抑えます。攻撃は止めきれませんが、失敗は権限の内側に閉じ込めます。
ブリティッシュコロンビア州がOpenAIを提訴:内部でリスクアカウントにフラグ、警察への通報なし

ブリティッシュコロンビア州がOpenAIを提訴:内部でリスクアカウントにフラグ、警察への通報なし

9月21日、カナダのブリティッシュコロンビア州は、サンフランシスコの連邦裁判所でOpenAIとそのCEOサム・アルトマンを提訴した。今年2月に起きたタンブラーリッジの学校銃撃事件の前に、ChatGPTを通じて暴力が計画されている兆候を警察に伝えなかったという主張だ。AIの安全責任を州政府が法廷に持ち...

Admin
172
TypeSafe AIは本当に幻覚ゼロなのでしょうか?タイプが正しいからといって正しい判断を下すことではありません

TypeSafe AIは本当に幻覚ゼロなのでしょうか?タイプが正しいからといって正しい判断を下すことではありません

「ゼロ幻覚」タイプセーフAIは、Jevがあらかじめ定義されたタイプ以外のコンテンツを返さないことを指しており、すべてのビジネス判断が100%正しいわけではありません。Choiceはオプション256を無から作り出すわけではなく、Scoreも無効な評価を返しませんが、正当な選択肢の中から誤った選択肢を選...

Admin
145
CNNがAIの誤情報リスクが行動を引き起こすと明かす:なぜ人間はリングで失敗し続けるのか

CNNがAIの誤情報リスクが行動を引き起こすと明かす:なぜ人間はリングで失敗し続けるのか

2026年9月18日、CNNは複数の情報源を引用し、今春のイラン戦争中に米軍内で流布していたAI生成の情報報告書が、中東を通過する中国船が核兵器プロジェクトに関連する部品を運んでいると誤判断し、米軍が一時的に迎撃準備をしたと明らかにした。CNNは、軍用機はすでに離陸しており、武装要員は搭乗の準備をし...

Admin
200
GoogleがGeminiがテスト環境から撤退したことを確認:サイバーセキュリティ評価が失敗した理由

GoogleがGeminiがテスト環境から撤退したことを確認:サイバーセキュリティ評価が失敗した理由

2026年9月18日、ウォール・ストリート・ジャーナルが初めてこれを明らかにし、その後Googleはガーディアン紙に確認しました。Geminiは今年5月にAIセキュリティ企業Irregulalが実施したサイバーセキュリティ評価中に、3社の実在する企業のシステムにアクセスしたのです。Googleは、タ...

Admin
133
アンソロピックは組み込み評価を導入しました:アクセンチュアと5年間でそれぞれ10億ドルずつ投資する

アンソロピックは組み込み評価を導入しました:アクセンチュアと5年間でそれぞれ10億ドルずつ投資する

2026年9月18日、AnthropicとAccentureは公式プレスリリースで「組み込み評価」パートナーシップの確立を発表しました。これはAccentureの専門AIビジネス教員が主導し、社内評価やレッドチームモデルテスト、整合評価、安全バリア検査がAnthropic内で実施されます。両者は今後...

Admin
130
WorkBuddyのデフォルト権限とフルアクセス権のどちらを選ぶか?ポップアップの数を減らすためにリスクを冒さないでください

WorkBuddyのデフォルト権限とフルアクセス権のどちらを選ぶか?ポップアップの数を減らすためにリスクを冒さないでください

WorkBuddyは日常業務で文書、スプレッドシート、データの取り扱いにおいてデフォルト権限を優先します。フルアクセスは信頼され、隔離され、回復可能な一時的なタスクにのみ適しています。後者は「より高性能」なモデルモデルではなく、ファイル、コマンド、ネットワークなどの高リスク操作の二次的な確認を減らす...

Admin
192
AIツールは投票用紙の匿名性の抜け穴を悪用しやすくしますが、なぜジョージア州は圧力にさらされているのでしょうか?

AIツールは投票用紙の匿名性の抜け穴を悪用しやすくしますが、なぜジョージア州は圧力にさらされているのでしょうか?

2026年9月13日、AP通信はジョージア州の電子投票システムに既知の欠陥があることを明らかにしました。これは、研究者が一部の匿名投票用紙を公開記録を使って特定の有権者に再マッピングできる可能性があるものです。研究者のマックス・スプリンガーは、公開されているAIアシスタントを使って記録の順序を分析し...

Admin
134
Anthropic Threat Report:AI攻撃がマルチエージェントによるクローズドループに入り始めている

Anthropic Threat Report:AI攻撃がマルチエージェントによるクローズドループに入り始めている

2026年9月11日、Anthropicは脅威インテリジェンスレポート「AIの誤用の検出と対策:2026年9月」を発表し、2025年12月から2026年8月の間に特定・阻止した高リスク活動を明らかにしました。このレポートは、サイバー攻撃、監視、作戦への影響、詐欺、生物学的誤用、通常兵器開発、モデルの...

Admin
202