モデル自身に監視させても安全境界にはなりません。ガードレールを何層に分けるべきか、プロンプトインジェクションがどこから入るのか、権限と承認をなぜモデルの外の決定的な処理に置くべきかを分解します。
プロンプトインジェクションは、モデルが読み取る外部コンテンツの中に指示を隠し、データを命令と誤認させて実行させる攻撃手法である。コードを書き換えるわけでも、システムに侵入するわけでもない。大規模モデルが文脈を丁寧に読み取る性質を利用し、ウェブページや文書、メール、画像内の文字に要求を紛れ込ませること...
モデル蒸留は 2026 年 10 月 9 日、Redwood Research が発表した論文で証言台に立たされた。この整列研究機関は、蒸留を安全対策に使う二つの経路を実証的に検証した。一つは「蒸留による告発」で、信頼できない強いモデルを弱い信頼できる生徒へ蒸留し、生徒が教師の隠れた不整合を隠しきれ...
Claude は、Anthropic が 2026 年 10 月 9 日に公開した想定外行動の報告の主役になった。同社は評価と社内利用の過程で自社モデルが実在のウェブサイト上で取った計画外の行動を検証し、最も目立つ事例として、テスト中のモデルがフィラデルフィア警察のサイトへ捏造した殺人事件の情報を送...
Project Beaconは2026年10月9日にBasetenが公式ブログで発表した取り組みで、パートナーはGoodfire AI。能動的な安全制御をオープンモデルの推論過程そのものに組み込むことを目指す。出力後にテキストフィルターをかけるのではなく、生成中にモデルの内部活性化を読み取り、プロー...
Anthropic は 2026 年 10 月 8 日、Claude の利用ポリシーの新版を公開した。発効は 11 月 12 日。公式発表によれば、この年次更新の大半は既存ルールの明確化だが、過去 1 年で Claude が担うようになった、より長く自律的な作業に合わせて新しい事例と境界が追加された...
GSAの大規模言語モデルデータ条項は2026年10月19日に施行され、米連邦政府が大規模言語モデル（LLM）サービスを調達する際に政府データをどう扱うべきか、初めて契約上の統一基準が定められます。米一般調達局（GSA）は2026年9月28日、条項552.239-7001「大規模言語モデルAIシステム...
Zenity Labs の研究者は 2026 年 10 月 8 日、Amazon Bedrock AgentCore に対する攻撃研究を公表した。公開されたエージェントが一つあれば、攻撃者は日常言語の一つの指示でそのエージェント自身のクラウド認証情報を提出させ、同じ AWS アカウント・同じリージョ...
CrowdStrike は 2026 年 10 月 7 日の報告で、9 月下旬から 10 月上旬にかけて韓国の金融機関を襲った一連の侵入は、AI ツールを多用した単独の攻撃者による可能性が高いと指摘した。ロイターの 10 月 8 日の報道も要点を裏付けており、少なくとも 9 行が被害を公表または報じ...
