클라우드플레어(Cloudflare)는 "보상형 웹 인덱스"로 마케팅되는 AI 인덱스(AI Index) 의 비공개 베타 버전을 출시한다고 발표했습니다. 이 플랫폼은 웹사이트에 최적화된 AI 인덱스를 자동으로 생성하고 표준화된 API(MCP 서버, LLMs.txt, 검색 API 등)를 제공합니다. 사이트 소유자는 인덱스 사용 방식을 소유하고 제어할 수 있으며, AI 액세스는 크롤링당 요금제(Pay per crawl) 를 통해 청구되고 향후 x402 청구 시스템 통합이 적용될 예정입니다. AI 개발자는 AI 인덱스를 통해 라이선스가 부여된 최신 데이터에 액세스할 수 있으므로 "블라인드 크롤링"을 방지할 수 있습니다.
이 프로젝트는 지난 1년간 시행되어 온 Cloudflare의 "AI 크롤러 기본 차단" 및 "종량제 크롤링" 정책과 일치합니다. 라이선스 기반이며 명확한 사용량 및 청구 방식을 제공합니다. 현재 비공개 테스트 신청 양식이 공개되었으며, 사이트 소유자와 AI 개발자를 위한 별도의 진입 지점이 마련되어 있습니다. 자세한 가격 및 적용 범위는 테스트가 진행됨에 따라 발표될 예정입니다.
자주 묻는 질문
질문: AI Index는 웹마스터에게 무엇을 제공합니까?
답변: 현장 검색 및 외부 라이선싱에 사용할 수 있는 AI 최적화 인덱스를 자동으로 생성하고, Pay-per-Crawl/x402를 통해 AI 액세스에 대한 요금을 청구합니다.
Q: AI팀은 무엇을 얻을 수 있나요?
답변: 사이트에서 라이선스를 받아 교육이나 검색을 위해 최신으로 업데이트된 고품질 데이터 소스를 얻을 수 있으므로 저작권 및 규정 준수 위험이 줄어듭니다.
질문: 'AI 크롤러 기본 차단'과 어떤 관계가 있나요?
답변: AI Index + Pay-per-Crawl은 기본 차단을 기반으로 "지불 의사와 목적을 명시한 방문"에 대해 규정을 준수하는 채널을 제공합니다.
질문: 완전히 개방되어 있나요?
A: 현재 비공개 베타 버전 이며 신청이 필요합니다. 이후 기능 및 가격은 공식 발표에 따라 변경될 수 있습니다.
질문: 기술적으로 어떤 구성 요소가 포함되어 있나요?
A: MCP 서버, LLMs.txt, 검색 API와 같은 표준화된 인터페이스는 양측 간의 통합과 측정을 용이하게 합니다.
