2026년 7월 1일, Cloudflare는 공식 블로그 "당신의 사이트, 당신의 규칙: 모든 고객을 위한 새로운 AI 트래픽 옵션"을 통해 새로운 AI 트래픽 관리 솔루션을 발표했습니다. 웹사이트 관리자는 이제 검색, 에이전트, 교육 크롤러를 별도로 처리할 수 있으며, 더 이상 '모두 허용' 또는 '모두 가로채기'에 제한되지 않습니다.
새로운 옵션은 이제 모든 Cloudflare 고객에게 무료 요금제를 포함해 제공되고 있습니다. 웹사이트는 이제 검색 인덱싱, 사용자 대표 실시간 방문, 모델 학습을 별도로 관리할 수 있습니다.
세 가지 유형의 크롤러의 가치는 완전히 다릅니다
검색은 후속 쿼리를 위한 색인을 만들기 위해 크롤링하는 것을 의미하며, 웹사이트는 일반적으로 이를 통해 노출과 트래픽 재회를 기대합니다. 에이전트는 실제 사용자가 현재 작업을 완료하기 위해 페이지에 접속하는 자동화된 동작을 의미합니다; 일반 챗봇과의 차이점은 사이트의 AI 에이전트, 챗봇, 워크플로우를 비교함으로써 이해할 수 있습니다. 훈련은 데이터를 학습하거나 미세 조정하는 데 콘텐츠를 사용하는 것을 포함하며, 데이터가 더 긴 기간에 걸쳐 모델의 역량에 반영됩니다.
이 분류는 'AI 봇인지 여부'보다 웹마스터의 진짜 관심사에 더 가깝습니다. 웹사이트는 모델 학습을 거부하면서도 검색 가시성을 유지할 수 있습니다; 또한 에이전트가 모든 자동화된 트래픽을 열지 않고도 사용자 작업을 수행할 수 있도록 허용하는 것도 가능합니다.
9월 15일 이후에는 새로운 도메인 이름에 대한 기본 규칙이 변경됩니다
Cloudflare는 2026년 9월 15일부터 새로 통합된 도메인에 대해 새로운 기본값을 활성화할 계획입니다: 광고 페이지에서는 기본적으로 Training과 Agent가 차단되고, Search는 기본적으로 허용됩니다. 기존 고객은 보안 설정에서 미리 선택지를 확인하거나 변경할 수 있습니다.
다목적 크롤러에 특별한 주의를 기울여야 합니다. 만약 같은 크롤러가 검색과 훈련에 모두 사용된다면, 시스템은 더 엄격한 규칙에 따라 처리합니다. 웹마스터가 직접 Training을 차단하면 검색 노출에 영향을 줄 수 있으므로, 카테고리 세부 정보를 확인하기 전에 일괄적으로 크롤러를 켜는 것은 권장하지 않습니다.
웹마스터가 먼저 해야 할 세 가지는 무엇인가요?
- 어떤 페이지가 트래픽을 위해 검색을 기반으로 하는지, 어떤 페이지가 유료, 광고, 또는 고가치 오리지널 콘텐츠를 포함하고 있는지 확인하세요.
- Search, Agent, Training을 따로 설정하세요; 기존의 통합 가로채기 방식을 피하세요.
- 조정 후에는 검색 인덱싱, 추천 트래픽, 크롤러 방문을 계속 관찰한 후 실제 영향에 따라 규칙을 강화하세요.
Cloudflare는 또한 봇베이스와 콘텐츠 사용 신호를 확장하여 웹사이트가 "실시간 상호작용", "색인 및 참조", "전체 요약 또는 복사"를 구분할 수 있도록 하고 있습니다. 이는 이전에 사이트에서 소개된 Cloudflare AI 인덱스 콘텐츠 통제와 관련된 주요 흐름과 같습니다: AI가 콘텐츠를 사용할 수 있는지, 모호한 기본값에서 분류 가능하고 표현력 있으며 사이트 소유자의 결정 수 있는 방향으로 전환하는 것입니다.
