モデルセキュリティ

プロンプトインジェクションとは何ですか? なぜウェブページ、PDF、ナレッジベースがモデルに影響を与えるための入り口となり得るのか

プロンプト注入とは、攻撃者がモデルの挙動に影響を与えるコマンドを秘密裏にモデルが読み取る内容に詰め込み、モデルが従うべきタスクやルールから逸脱させることを意味します。 必ずしも「悪意のあるコード」のように見えるわけではなく、ウェブページやPDFドキュメント、ナレッジベースの内容、表記、あるいは一見普...