AIIndex는 기본적으로 크롤러를 가로챕니다.

Cloudflare, AI Index 비공개 베타 출시: 콘텐츠 제작자에게 보상하고 AI 구축자에게 더 나은 데이터 제공

클라우드플레어(Cloudflare)는 "보상형 웹 인덱스"로 마케팅되는 AI 인덱스(AI Index) 의 비공개 베타 버전을 출시한다고 발표했습니다. 이 플랫폼은 웹사이트에 최적화된 AI 인덱스를 자동으로 생성하고 표준화된 API(MCP 서버, LLMs.txt, 검색 ...