プロンプトインジェクションとは何ですか? なぜウェブページ、PDF、ナレッジベースがモデルに影響を与えるための入り口となり得るのか
プロンプト注入とは、攻撃者がモデルの挙動に影響を与えるコマンドを秘密裏にモデルが読み取る内容に詰め込み、モデルが従うべきタスクやルールから逸脱させることを意味します。 必ずしも「悪意のあるコード」のように見えるわけではなく、ウェブページやPDFドキュメント、ナレッジベースの内容、表記、あるいは一見普...
AI百科事典 • Admin •
70
プロンプトインジェクション
Found 3 related articles
OpenAIがSafety Bug Bountyプログラムを開始:AIの悪用と安全リスク報告に焦点を当てています
OpenAIは、製品におけるAIの悪用と安全リスクに焦点を当てた公開の安全バグバウンティプログラムの開始を発表しました。 このプロジェクトは既存のセキュリティバグバウンティを補完し、従来のセキュリティ侵害以外の現実世界での被害をもたらすシナリオに焦点を当てています。 現在の範囲には、プロキシベースの...
AI情報 • Admin •
105
AnthropicがClaude Code Autoモードを導入:権限ポップアップはスキップし、セキュリティブロックは保持
AnthropicはClaude Codeの自動モードをリリースし、「手動で一つずつ承認する」と「権限を完全にスキップする」の妥協案として位置づけています。 このモデルは、手動確認の一部をモデル分類器に置き換え、頻繁なクリックによる承認疲労を軽減しつつ、不正な削除、認証情報検索、外部サービスへのデー...
AI情報 • Admin •
105