Am 1. Juli 2026 kündigte Cloudflare auf seinem offiziellen Blog eine neue KI-Traffic-Management-Lösung an: "Ihre Website, Ihre Regeln: neue KI-Traffic-Optionen für alle Kunden." Website-Administratoren können nun Such-, Agenten- und Trainings-Crawler getrennt verwalten, nicht mehr nur auf "alle lassen" oder "alle abfangen".
Die neue Option steht nun allen Cloudflare-Kunden zur Verfügung, einschließlich eines kostenlosen Tarifs. Webseiten können nun die Suchindexierung, Echtzeitbesuche für Nutzer und Modelltraining separat verwalten.
Der Wert der drei Typen von Crawlern ist völlig unterschiedlich
Suche bezieht sich auf Crawling zur Erstellung von Indizes für nachfolgende Anfragen, und Websites erwarten typischerweise Impressionen und Rückmeldungen dadurch. Ein Agent bezeichnet ein automatisiertes Verhalten, das reale Nutzer repräsentiert, die auf Seiten zugreifen, um die aktuelle Aufgabe zu erfüllen; Die Unterschiede zu gewöhnlichen Chatbots lassen sich durch den Vergleich der KI-Agenten, Chatbots und Workflows der Seite verstehen. Das Training beinhaltet die Verwendung von Inhalten zum Training oder Feinabstimmung von Modellen, wobei Daten über einen längeren Zeitraum die Fähigkeiten des Modells eingeben.
Diese Einstufung ist näher an den tatsächlichen Interessen der Webmaster als daran, "ob es ein KI-Bot ist". Eine Website kann die Suchsichtbarkeit behalten, während sie Modelltraining ablehnt; Es ist auch möglich, Agenten zu erlauben, Aufgaben für Nutzer auszuführen, ohne die Tür für den gesamten automatisierten Datenverkehr zu öffnen.
Nach dem 15. September werden sich die Standardregeln für neue Domainnamen ändern
Cloudflare plant, ab dem 15. September 2026 neue Standardwerte für neu integrierte Domains zu aktivieren: Bei anzeigenden Seiten sind Training und Agent standardmäßig blockiert, während Suche standardmäßig erlaubt ist. Bestehende Kunden können ihre Auswahl im Voraus in den Sicherheitseinstellungen bestätigen oder ändern.
Besondere Aufmerksamkeit sollte auf Mehrzweck-Crawler gelegt werden. Wenn derselbe Crawler sowohl für Search als auch Training verwendet wird, wird das System dies nach strengeren Regeln behandeln. Wenn der Webmaster Trainings direkt blockiert, kann dies die Suchbegegnung für solche Crawler beeinträchtigen, daher ist es nicht ratsam, sie vor der Überprüfung der Kategoriedetails in großen Mengen zu aktivieren.
Was sind die drei Dinge, die der Webmaster zuerst tun sollte?
- Überprüfen Sie, welche Seiten für Traffic auf Suche angewiesen sind und welche bezahlte, werbende oder hochwertige Originalinhalte enthalten.
- Setze Suche, Agent und Training getrennt ein; vermeide es, beim alten einheitlichen Abfangansatz festzuhalten.
- Nach den Anpassungen beobachten Sie weiterhin die Suchindexierung, empfohlenen Verkehr und Crawler-Besuche und verschärfen Sie dann die Regeln basierend auf der tatsächlichen Auswirkung.
Cloudflare erweitert außerdem BotBase- und Inhaltsnutzungssignale, sodass Websites zwischen "Echtzeit-Interaktion", "Indexierung und Referenz" und "vollständigen Zusammenfassungen oder Kopieren" unterscheiden können. Dies folgt demselben Hauptverlauf, der bereits auf der Seite bezüglich der Cloudflare AI Index-Inhaltskontrolle eingeführt wurde: ob Inhalte von KI genutzt werden können, der Wandel von vagen Standardeinstellungen zu kategorisierbaren, ausdrucksstarken und anpassungsfähigen Entscheidungen der Website-Besitzer.
