2026年7月1日、Cloudflareは公式ブログ「Your site, your rules: new AI traffic options for all customer.」で新しいAIトラフィック管理ソリューションを発表しました。 ウェブサイト管理者は検索、エージェント、トレーニングクローラーを別々に扱い、「すべてを許可」や「すべてを遮蔽する」に限定されることはありません。
この新しいオプションは、無料プランを含むすべてのCloudflare顧客が利用可能になりました。 ウェブサイトは検索インデックス、ユーザーを表すリアルタイム訪問、モデルトレーニングを別々に管理できるようになりました。
3種類のクローラーの価値はまったく異なります
検索とは、次のクエリのためにインデックスを作成するためにクロールすることであり、ウェブサイトは通常、これによってインプレッションやトラフィックの獲得を期待しています。 エージェントとは、現在のタスクを完了するためにページにアクセスする実際のユーザーを表現する自動化された行動を指します。 通常のチャットボットとの違いは、サイトのAIエージェント、チャットボット、ワークフローを比較することで理解できます。 トレーニングとは、コンテンツを用いてモデルのトレーニングやファインチューニングを行い、データが長期間にわたってモデルの能力に反映されます。
この分類は「AIボットかどうか」よりもウェブマスターの本当の関心により近いものです。 ウェブサイトはモデルトレーニングを拒否しつつ検索の可視性を保持できます。 また、エージェントがすべての自動トラフィックを開けずにユーザーのタスクを実行させることも可能です。
9月15日以降、新しいドメイン名のデフォルトルールが変更されます
Cloudflareは2026年9月15日から新たに統合されたドメインに対して新しいデフォルト値を有効化する予定です。広告表示ページでは、TrainingとAgentはデフォルトでブロックされ、Searchはデフォルトで許可されています。 既存の顧客は事前にセキュリティ設定で選択を確認または変更できます。
多目的クローラーには特に注意を払うべきです。 同じクローラーが検索と訓練の両方に使われている場合、システムはより厳格なルールに従って処理します。 ウェブマスターが直接トレーニングをブロックすると、そのようなクローラーの検索露出に影響を与える可能性があるため、カテゴリ詳細を確認する前に一括でクローラーをオンにするのは推奨されません。
ウェブマスターが最初にすべき3つのことは何ですか?
- どのページが検索に依存しているか、またどのページが有料、広告、または高価値のオリジナルコンテンツが含まれているかを確認してください。
- 捜索、エージェント、訓練を別々に設定し、従来の統一迎撃方式に固執しないこと。
- 調整後は、検索インデックス、推奨トラフィック、クローラー訪問を引き続き観察し、実際の影響に基づいてルールを厳格化してください。
Cloudflareはまた、BotBaseやコンテンツ利用シグナルを拡大し、「リアルタイムのやり取り」「インデックス作成と参照」「完全な要約またはコピー」をウェブサイトが区別できるようにしています。 これは、以前サイトで紹介されたCloudflare AI Indexのコンテンツ管理に関する主要なテーマ、すなわちコンテンツがAIによって利用可能かどうか、曖昧なデフォルトから分類可能で表現力豊か、そしてサイトオーナーの調整可能な決定へと移行するという問題に沿ったものです。
