robots.txt로 AI 학습을 거부하는 방법이 이제 각사가 공통으로 인정하는 한 가지 문구로 정리되었습니다. 2026년 10월 30일 OpenAI, Google, Microsoft, Anthropic이 같은 날 공유 신호 __usage_ai-training 지원을 발표했습니다. robots.txt에 두 줄을 추가하면 입장을 표명할 수 있지만, 각사의 적용 시점이 다르므로 그전까지는 기존 규칙을 유지해야 합니다.
두 줄 설정부터 정확히 쓰기
User-Agent: __usage_ai-training
Disallow: /사이트의 일부 경로에만 적용하거나 특정 디렉터리를 허용할 수도 있습니다. 예를 들어 Allow: /press-kit/를 한 줄 더 추가하면 됩니다. User-Agent: * 같은 와일드카드 규칙은 인정되지 않습니다. __usage_ai-training 토큰을 명시해야 하며, 한 글자라도 틀리면 쓰지 않은 것과 같습니다. 이 신호는 IETF AI 선호도 워킹그룹의 Internet-Draft에서 나온 것으로, Anthropic 엔지니어 Kevin Kelley가 초안을 작성했습니다. 네 회사가 같은 날 지원을 발표한 이유는 사이트 운영자가 한 번만 작성하면 어디서나 통하게 하기 위해서입니다.
각사 적용 일정
| 회사 | 적용 시기 |
|---|---|
| Microsoft | 2027년 2월 1일부터 새로운 선호도에 따라 크롤링 |
| 2027년 내 지원을 목표로 함 | |
| OpenAI | 향후 수개월 내 시행 |
각사가 적용하기 전까지는 GPTBot, Google-Extended, ClaudeBot 같은 기존 규칙을 유지해야 합니다. 일찍 삭제하면 전환 기간에 허용한 셈이 됩니다.
한계와 오해
이 신호는 학습에만 해당합니다. 크롤링을 막지 않고, 검색 색인에도 영향을 주지 않으며, AI 답변이 페이지를 인용하는 것도 막지 않습니다. Microsoft에는 학습과 답변 인용을 구분하는 페이지 단위의 AI Grounding 선호도가 별도로 있습니다. Google 측에서는 주의할 점이 있습니다. 공유 신호를 사용하면서 Google-Extended를 별도로 언급하지 않으면 Google-Extended도 함께 차단한 것으로 간주됩니다. Gemini 답변에 계속 표시되려면 명시적인 Allow가 필요합니다. 또한 이 초안은 자발적인 성격이며 IETF의 정식 승인을 받지 않았습니다. Meta, Apple, Amazon, xAI는 아직 지원을 약속하지 않았습니다.
