Cloudflare hat die Veröffentlichung einer privaten Betaversion des AI Index angekündigt, der als „kostenpflichtiger Webindex“ vermarktet wird. Nach der Aktivierung generiert die Plattform automatisch einen KI-optimierten Index für Websites und stellt standardisierte APIs bereit (einschließlich MCP-Server, LLMs.txt und eine Such-API). Websitebesitzer besitzen und kontrollieren die Verwendung des Index. Der KI-Zugriff wird über Pay-per-Crawl und die kommende x402- Abrechnungsintegration abgerechnet. KI-Entwickler können über den AI Index außerdem auf lizenzierte, aktuelle Daten zugreifen und so „blinde Crawls“ vermeiden.
Dieses Projekt entspricht Cloudflares seit einem Jahr geltenden Richtlinien zur standardmäßigen Blockierung von KI-Crawlern und zum nutzungsabhängigen Crawling: Es basiert auf Lizenzen und bietet klare Nutzungs- und Abrechnungsmechanismen. Ein Antragsformular für private Tests ist ab sofort verfügbar und bietet separate Einstiegspunkte für Websitebesitzer und KI-Entwickler. Detaillierte Preise und Abdeckung werden im Laufe der Tests bekannt gegeben.
Häufig gestellte Fragen
F: Was bietet AI Index Webmastern?
A: Generieren Sie automatisch KI-optimierte Indizes, die für die Suche vor Ort und externe Lizenzierung verwendet werden können, und rechnen Sie den KI-Zugriff über Pay-per-Crawl/x402 ab.
F: Was kann das KI-Team gewinnen?
A: Sie können qualitativ hochwertige, zeitnah aktualisierte Datenquellen erhalten, die von der Site für Schulungen oder zum Abrufen lizenziert sind, wodurch Urheberrechts- und Compliance-Risiken reduziert werden.
F: Welche Beziehung besteht zur „Standardblockierung von KI-Crawlern“?
A: Basierend auf der Standardblockierung bietet AI Index + Pay-per-Crawl einen konformen Kanal für „Besuche, die bereit sind zu zahlen und den Zweck angeben“.
F: Ist es vollständig geöffnet?
A: Dies ist derzeit eine private Beta-Version und erfordert eine Bewerbung. Weitere Funktionen und Preise unterliegen offiziellen Ankündigungen.
F: Welche Komponenten sind technisch enthalten?
A: Standardisierte Schnittstellen wie MCP-Server, LLMs.txt und Such-API erleichtern die Integration und Messung zwischen den beiden Parteien.
