robots.txt에 AI 학습 거부 의사를 나타내는 공용 신호가 생긴다. 2026년 10월 30일 OpenAI, Google, Microsoft는 같은 날 공용 신호 __usage_ai-training을 지원하겠다고 발표했다. 이 신호는 인터넷 엔지니어링 태스크포스(IETF) AI Preferences 워킹그룹의 Internet-Draft에서 나온 것으로, Anthropic의 Kevin Kelley가 초안을 썼다. 웹사이트는 robots.txt에 두 줄, 즉 User-Agent: __usage_ai-training과 Disallow: /만 쓰면 되며 일부 경로에만 적용할 수도 있어, 크롤러마다 따로 규칙을 둘 필요 없이 참여 업체에 한 번에 “학습에 쓰지 말라”는 의사를 전할 수 있다.
| 업체 | 적용 일정 |
|---|---|
| Microsoft | 2027년 2월 1일부터 새 설정을 따라 크롤링 |
| 2027년 중 지원을 목표 | |
| OpenAI | 향후 수개월 내 구현 |
신호의 경계도 중요하다. 적용 대상은 학습뿐으로, 크롤링이나 검색 색인을 막지 않으며 AI 답변이 페이지 내용을 인용하는 것도 막지 않는다. Google은 새 신호를 쓰면서 Google-Extended를 언급하지 않은 사이트는 Google-Extended도 차단한 것으로 간주하되, Google-Extended 자체는 유지된다고 덧붙였다. Microsoft는 한 걸음 더 나아간다. 공용 학습 설정 외에 페이지 단위 학습 설정과 별도의 AI Grounding 설정을 도입하는데, 후자는 콘텐츠를 AI 답변 생성에 쓸 수 있는지를 정해 ‘학습’과 ‘답변 인용’이라는 두 용도를 나눈다.
사이트 운영자에게 지금으로서는 이 설정 한 줄만으로는 부족하다. 초안은 어디까지나 자발적인 것이고 IETF의 정식 승인을 받은 것도 아니며, 업체별 일정도 다르다. 각 업체가 2027년에 실제로 지원하기 전까지는 기존 크롤러 제어를 유지해야 한다. 진짜 변화는 조정 그 자체에 있다. 과거에는 학습 거부를 위해 업체마다 규칙을 따로 다뤄야 했지만, 이제 주요 모델 업체 네 곳이 처음으로 같은 신호 뒤에 섰다. 이 두 줄의 가치는 적용 일정이 지켜진 뒤에야 검증될 수 있다.
