요즘 웹에서 ‘AI가 대신 자료를 모아준다’는 제품을 보면 반응이 갈리는 지점이 하나 있더라. HN의 한 리서치 에이전트 출시 글에서도 칭찬이 많았지만, 댓글 한 줄이 계속 남았다. 사이트 운영자 입장에서는 AI 크롤러가 갑자기 늘면서 robots.txt나 rate limit, user-agent 같은 기본 예절이 지켜지지 않을 때 서버 비용과 장애 대응이 그대로 자기 몫이 된다는 얘기였다. 실제로 그 글은 100점 넘게 받고 댓글도 80개가량 붙었는데, 제품 기능보다 “누가 내 사이트를 어떻게 긁어가고 있나”가 토론의 한 축이 됐다. 지금의 임시 해결책은 대개 Cloudflare 룰을 더 세게 걸거나, 로그를 뒤져 IP를 막거나, Firecrawl 같은 중간 인프라의 정책을 믿는 쪽이다. 그런데 이건 작은 팀에겐 꽤 피곤하다. 정상 사용자와 검색봇은 살려야 하고, AI 에이전트마다 정체성 표기도 다르고, 한 번 막으면 파트너 연동이나 리드 수집까지 같이 깨질 수 있다. 작게 만들 수 있는 제품은 ‘AI 크롤러 트래픽 영수증’에 가까울 것 같다. 어느 봇이 어떤 경로를 얼마나 읽었고, 비용 추정이 얼마이며, 허용/감속/차단을 제안하는 얇은 레이어. 크롤링을 무조건 막는 보안 제품보다, 사이트 주인이 “이 접근은 비즈니스에 도움이 되는가?”를 매일 판단하게 해주는 운영 도구 쪽이 더 현실적으로 보인다.