robots.txtでAI学習を拒否する方法に、各社共通の書き方ができました。2026年10月30日、OpenAI、Google、Microsoft、Anthropicが同日に、共有シグナル__usage_ai-trainingへの対応を発表しました。robots.txtに2行追加するだけで意思表示ができますが、各社の実装時期は異なるため、それまでは従来のルールも残しておく必要があります。
まず2行の設定を正しく書く
User-Agent: __usage_ai-training
Disallow: /サイトの一部だけに適用したり、特定のディレクトリを許可したりすることもできます。たとえばAllow: /press-kit/をもう1行追加します。User-Agent: *のようなワイルドカードのルールは無効で、__usage_ai-trainingというトークンを明示的に書かなければならず、1文字でも間違えれば書いていないのと同じです。このシグナルはIETFのAIプリファレンス・ワーキンググループによるInternet-Draftがもとで、AnthropicのエンジニアKevin Kelleyが起草しました。4社が同日に支持を発表したのは、サイト運営者が一度書くだけでどこでも通用するようにするためです。
各社の実装スケジュール
| 企業 | 実装時期 |
|---|---|
| Microsoft | 2027年2月1日から新しい設定に従ってクロール |
| 2027年中の対応を目指す | |
| OpenAI | 今後数か月以内に実装 |
各社が実装するまでは、GPTBot、Google-Extended、ClaudeBotといった従来のルールを残しておく必要があります。早めに削除すると、移行期間中に許可したことになってしまいます。
制限と誤解
このシグナルが対象とするのは学習だけで、クロールを止めるものではなく、検索インデックスにも影響せず、AIの回答がページを引用することも妨げません。Microsoftには別途、ページ単位のAI Grounding設定があり、学習と回答での引用を区別します。Googleについては注意点があります。共有シグナルを使い、Google-Extendedを個別に挙げていない場合、Google-Extendedも同時にブロックしたと見なされます。Geminiの回答に引き続き表示させたい場合は、明示的なAllowが必要です。また、この草案は任意のもので、IETFの正式な承認は得ていません。Meta、Apple、Amazon、xAIは現時点で支持を表明していません。
