robots.txt bekommt ein einheitliches Signal für den Opt-out aus dem KI-Training. Am 30. Oktober 2026 kündigten OpenAI, Google und Microsoft am selben Tag an, das gemeinsame Signal __usage_ai-training zu unterstützen. Es stammt aus einem Internet-Draft der AI-Preferences-Arbeitsgruppe der Internet Engineering Task Force (IETF), verfasst von Kevin Kelley von Anthropic. Eine Website muss in ihrer robots.txt nur zwei Zeilen schreiben — User-Agent: __usage_ai-training und Disallow: /, wahlweise auch nur für einzelne Pfade —, um allen beteiligten Anbietern auf einmal die Präferenz „nicht für Training verwenden“ mitzuteilen, statt für jeden Crawler eigene Regeln zu pflegen.
| Anbieter | Zeitplan für die Umsetzung |
|---|---|
| Microsoft | Ab 1. Februar 2027 wird nach den neuen Präferenzen gecrawlt |
| Unterstützung im Laufe des Jahres 2027 angestrebt | |
| OpenAI | Umsetzung in den kommenden Monaten |
Auch die Grenzen des Signals sind wichtig. Es gilt nur für das Training: Es blockiert weder das Crawling noch die Aufnahme in die Suche, und es hindert KI-Antworten nicht daran, Seiteninhalte zu zitieren. Google ergänzte: Verwendet eine Website das neue Signal, ohne Google-Extended zu erwähnen, werde dies so behandelt, als sei auch Google-Extended blockiert, während Google-Extended selbst bestehen bleibt. Microsoft geht weiter: Neben der gemeinsamen Trainingspräferenz führt das Unternehmen eine seitenbezogene Trainingspräferenz und eine eigenständige AI-Grounding-Präferenz ein; letztere entscheidet, ob Inhalte zur Erzeugung von KI-Antworten herangezogen werden dürfen, und trennt damit die Zwecke „Training“ und „als Antwort zitieren“.
Für Websitebetreiber ist diese eine Konfiguration im Moment noch nicht ausreichend. Der Entwurf ist freiwillig, von der IETF nicht förmlich gebilligt, und die Zeitpläne der Anbieter unterscheiden sich; bis die einzelnen Anbieter ihn 2027 tatsächlich unterstützen, müssen die bisherigen Crawler-Steuerungen erhalten bleiben. Die eigentliche Veränderung liegt in der Koordination selbst: Musste man sich früher für den Trainings-Opt-out mit jedem Anbieter einzeln auseinandersetzen, stehen nun erstmals vier große Modellanbieter hinter demselben Signal. Ob diese zwei Zeilen halten, was sie versprechen, zeigt sich erst, wenn die Zeitpläne eingehalten werden.
