Cloudflare의 2026년 연례 파운더 레터가 9월 28일 공개됐다. 창업자 매슈 프린스(Matthew Prince)와 공동창업자 미셸 자틀린(Michelle Zatlyn)은 회사 16주년 생일을 맞아 자사 네트워크의 실측 데이터를 내놨다. 당초 2027년 하반기로 예상됐던 '자동화 트래픽이 인간 트래픽을 추월하는 순간'이 AI 에이전트와 AI 크롤러의 급증에 힘입어 2026년 5월에 이미 도래했다는 것이다. 현재 추세가 이어지면 5년 뒤 자동화 트래픽은 인간 트래픽의 1000배에 달한다.
이 수치가 주목받는 이유는 '1년 이상 앞당겨졌다'는 사실 때문만이 아니다. Cloudflare에 따르면 인간 트래픽이 줄어든 게 아니라 에이전트 트래픽이 폭발하고 있다. 에이전트에게 점심 식당을 찾아달라고 하면, 몇 분 만에 주변 레스토랑 1000곳의 메뉴를 샅샅이 훑고 결국 한 곳만 추천한다. 장사를 얻는 건 그 한 곳이고, 나머지 999곳은 반복 크롤링의 서버 비용을 떠안는다. 혜택을 보는 쪽과 비용을 치르는 쪽이 완전히 따로 논다. 레터는 이를 인터넷의 '공유지의 비극'이라고 불렀다.
기계 트래픽, 예정보다 1년 먼저 인간 추월
2025년 말 Cloudflare 내부 추산에서는 추월 시점이 여전히 2027년 하반기였다. 그러나 이후 몇 달 사이 AI 에이전트 보급이 곡선을 가파르게 끌어올렸다. 2026년 5월, 추월은 이미 현실이 됐다. 레터가 전하는 또 하나의 의외의 사실은 2012년부터 2025년까지 웹 전체가 장기간 정체, 심지어 위축됐다는 점이다. 진짜 폭발은 2025년 중반에 일어났다. 코드를 쓸 줄 모르는 일반인들이 '바이브 코딩' 도구로 앞다퉈 사이트를 열기 시작했고, 그중 다수가 Cloudflare 개발자 플랫폼을 최우선 배포 대상으로 삼았다. 현재 700만 명이 넘는 개발자가 Cloudflare 위에서 애플리케이션을 만들고 있다.
에이전트가 웹을 훑는 방식은 옛날 검색엔진과 판박이다. 전부, 반복해서, 내용이 바뀌었는지와 상관없이 가져간다. Cloudflare 데이터에 따르면 '착한 봇'이 가져가는 콘텐츠의 절반 이상은 지난 방문 이후 전혀 변하지 않았다. 즉, 상당량의 트래픽은 순수한 반복 작업이다. 사이트 운영자 입장에서는 대역폭과 컴퓨트 요금이 오르는데 수익은 따라오지 않는다.
에이전트의 '공유지의 비극': 비용은 누가 치르는가
지난해 파운더 레터는 AI가 출판사에 미치는 충격을 다뤘다. 콘텐츠는 학습에 쓰이고 트래픽은 가로채였다. 올해는 같은 논리가 훨씬 작은 사업자로 번졌다. 레터는 골목 델리 가게를 예로 든다. 작은 가게는 '이름을 기억해주는 점원' 같은 정서적 연결로 단골을 얻는다. 하지만 에이전트는 누가 이름을 기억하는지 신경 쓰지 않는다. 정보가 가장 많은 곳만 추천할 뿐이다. 대개 가장 오래된 터줏대감이다. 신규 진입자는 점점 보이지 않게 되고, 시장은 상위 업체로 집중된다.
이는 최근 잇따른 에이전트 폭주 사건과 같은 파도의 이면이기도 하다. OpenAI 에이전트의 인터넷 행태 검증 기사가 드러낸 것은 사람의 감시 없이 에이전트가 외부 사이트에 대규모로 접근하는 실태다. 인간을 대신해 '심부름'을 하는 에이전트가 인터넷 트래픽의 주역이 된 이상, 규칙은 다시 써야 한다.
클라우드 사업자의 승부수: 크롤링은 줄이고, 사용에는 대가를
레터는 경고에서 그치지 않는다. Cloudflare는 두 가지를 추진하고 있다. 하나는 기술적으로 크롤러가 '더 많이 보고 덜 가져가게' 하는 것. 실제로 바뀐 콘텐츠만 가져와 반복 크롤링 부하를 낮춘다. 다른 하나는 비즈니스 측면에서 콘텐츠 제작자에게 과금 채널을 열어주는 것. 에이전트가 사이트 콘텐츠를 사용하면 사이트에 돈이 들어온다. 기존 'Pay Per Crawl'(크롤링당 과금) 구상을 잇고 '사용당 과금'으로 진화시키는 흐름이다.
이번 주 Cloudflare는 일련의 파트너십도 발표할 예정이며, 목표는 '5개의 AI 기업이 아닌 50만 개'의 미래다. 신규 진입자, 크리에이터, 중소기업이 에이전트 시대에도 살아남을 수 있는 세상이다. 사이트 운영자와 개발자에게 이 레터의 신호는 구체적이다. 기계 트래픽이 주도하는 인터넷은 이미 도래했고, 서버 비용, 봇 방어, 콘텐츠 수익화는 모두 '방문객 대부분은 에이전트'라는 전제 아래 다시 설계해야 한다.
