Cloudflare가 AI 회사들에게 꽤 직접적인 데드라인을 제시했다. 2026년 9월 15일부터 검색용 크롤러와 AI 학습·에이전트용 크롤러를 구분하지 않는 "mixed-use" 봇은, 광고가 붙은 페이지에서 기본 차단될 수 있다. 적용 대상도 작지 않다. 신규 Cloudflare 고객, 기존 고객의 신규 사이트, 기존 무료 고객에게 기본 설정으로 반영된다.
이 발표의 핵심은 차단 기술 자체보다 "기본값"이다. 지금까지 많은 퍼블리셔는 검색 노출을 포기하지 않으면서 AI 학습이나 에이전트 접근만 거부하는 선택지를 원했다. 하지만 검색, AI 검색 기능, 모델 학습, 에이전트 호출이 한 크롤링 체계 안에서 섞이면 사이트 운영자는 무엇을 허용하고 무엇을 막는지 판단하기 어렵다. Cloudflare는 이 모호함을 AI 회사가 풀라고 요구하는 쪽으로 방향을 잡았다.
Google을 둘러싼 긴장도 이 지점에 있다. Cloudflare는 "세계 최대 검색 엔진"이 다른 AI 회사보다 약 2배 더 많은 정보에 접근한다고 지적했다. Google은 Google Extended를 통해 Gemini Apps나 Vertex API 같은 AI 제품·서비스 활용을 거부할 수 있다고 설명해왔다. 하지만 Googlebot은 검색뿐 아니라 AI Overviews, AI Mode 같은 검색 안의 AI 기능과도 연결된다. 검색 노출을 원하는 퍼블리셔에게 이 구분은 여전히 까다롭다.
돈의 흐름도 바뀌고 있다. Cloudflare는 Pay Per Crawl을 Pay Per Use로 확장하겠다고 밝혔다. 단순히 콘텐츠를 가져갈 때 과금하는 수준을 넘어, 그 콘텐츠가 AI 검색 결과나 프리미엄 답변에서 가치를 만들 때 퍼블리셔가 보상을 받는 모델이다. 초기 파트너로는 Ceramic.ai와 You.com이 언급됐다. You.com이 프리미엄 콘텐츠에 접근하거나 Ceramic의 AI 검색 결과에 퍼블리셔 콘텐츠가 등장할 때 보상 구조를 실험하는 방식이다.
물론 이 정책 하나로 웹 콘텐츠 경제가 바로 정리되지는 않는다. 대형 검색·AI 사업자는 예외와 협상을 만들 수 있고, 작은 퍼블리셔는 설정, 측정, 계약 구조를 이해해야 한다. 그래도 신호는 분명하다. AI가 웹을 읽는 행위는 더 이상 순수한 기술 인프라 문제가 아니다. 누가 비용을 내고, 누가 가치를 가져가며, 어떤 용도로 접근했는지를 구분하는 거래의 문제가 됐다. Cloudflare의 이번 조치는 그 경계선을 플랫폼 기본값에 새기려는 시도다.