"5년 뒤 봇 트래픽은 사람의 1,000배" 클라우드플레어의 AI 통행료

프린스는 6월 3일(미국 시각) X에 이 소식을 먼저 올렸습니다. 처음에는 2027년 말, 그다음에는 2027년 초로 내다봤는데 에이전트 트래픽이 워낙 빨리 늘어 인터넷 역사상 처음으로 봇이 사람 트래픽을 넘었다는 내용이고, 클라우드플레어 레이더(Radar)의 봇·사람 트래픽 비교 화면을 걸었습니다.

예측은 두 번 앞당겨졌다

방송에서 그는 같은 과정을 날짜와 함께 풀었습니다. 클라우드플레어는 인터넷 트래픽의 큰 부분을 직접 보기 때문에, 행사에서 질문을 받을 때마다 자료를 다시 뽑아 답했다고 했습니다.

그는 지금까지 이 예측이 매번 틀렸다는 단서를 달고 다음 숫자를 내놨습니다.

5년 뒤에는 자동화 트래픽이 사람 트래픽의 1,000배가 될 것으로 봅니다.— 매슈 프린스, 클라우드플레어 CEO (Decoder)

트래픽이 1,000배가 되면 그만큼의 대역폭과 서버 비용이 생기는데, 30년 동안 웹의 비용을 대 온 광고가 봇에게는 통하지 않는다는 것이 그의 출발점이었습니다. 점심 먹을 곳을 에이전트에게 물으면 에이전트는 동네 식당 메뉴를 전부 훑지만 돈을 버는 식당은 한 곳뿐이고, 훑는 비용이 0이면 언젠가 인터넷의 모든 자료를 본 뒤 웬디스에 가라고 답할 것이라는 예도 들었습니다. 그래서 페이지를 열 때마다 1,000분의 1센트 같은 작은 값이라도 붙어야 인프라 비용을 댈 수 있다고 했습니다. 클라우드플레어는 7월 1일 AI 크롤러가 방문자 한 명을 보내 줄 때마다 적게는 100번, 많게는 수만 번 페이지를 요청한다고 밝혔습니다.

봇은 광고를 클릭하지 않습니다.— 매슈 프린스, 클라우드플레어 CEO (Decoder)

광고 대신 402

프린스가 내놓은 답은 오랫동안 쓰이지 않던 HTTP 402(Payment Required, 결제 필요) 응답 코드입니다. 방송에서 403이라고 했다가 402로 바로잡은 그는 코인베이스, Stripe와 함께 사이트에 접근할 때마다 1센트에 못 미치는 돈을 받는 구조를 만들고 있다고 했습니다. 그 돈은 사람들이 AI 에이전트에 내는 구독료에서 나와 스포티파이나 애플 뮤직처럼 나뉜다는 설명이었고, 진행자 닐레이 파텔은 대화 10분 만에 1996년의 소액결제 꿈까지 왔다고 받았습니다.

클라우드플레어가 7월 1일 대기자 명단을 연 Monetization Gateway가 그 구조입니다. 사이트 주인이 웹페이지와 데이터셋, API, MCP 도구에 값을 매기면, 서버는 값을 치르지 않은 요청에 402 응답과 함께 가격과 결제 방법을 돌려줍니다. 에이전트가 결제 증명을 붙여 다시 요청하면 자료를 내주고, 정산은 스테이블코인으로 합니다. 결제 규약 x402는 25곳 넘는 회사가 함께 만드는 공개 규약이고, 클라우드플레어가 든 값의 예는 웹 검색 한 번에 몇 센트, 해결된 고객 문의 한 건에 0.99달러였습니다.

클레이 셔키는 2000년 12월 「소액결제에 반대하는 이유」에서, 1998년 쏟아진 낙관적 예측과 달리 소액결제가 퍼지지 못한 까닭을 사용자가 싫어하기 때문이라고 정리했습니다. 아무리 작은 돈이라도 낼지 말지 판단하는 순간 생기는 정신적 비용은 없앨 수 없고, 경쟁이 있는 시장에서는 단순한 정액 요금이 이긴다는 논리였습니다. 프린스의 설계는 그 판단을 사람 대신 에이전트에게 넘깁니다. 사람은 지금처럼 정액 구독료를 내고 페이지마다의 소액은 에이전트가 치르는 구조인데, 에이전트에게 지갑이 생기면 토큰을 노린 사기를 막는 일이 새로 붙습니다.

레딧이 뉴욕타임스보다 많이 받는 이유

AI 회사가 무엇에 돈을 낼지에 대한 프린스의 답은 새로운 지식이었습니다. 그는 거대언어모델을 구멍이 숭숭 뚫린 스위스 치즈에 빗대며, AI 연구소 수장들이 사고 싶어 하는 것은 백악관 소식을 또 한 번 쓴 기사보다 그 구멍을 메울 새 지식이라고 했습니다. 증거로는 레딧과 뉴욕타임스를 들었습니다. 두 곳의 토큰 양은 비슷한데 레딧이 토큰당 적어도 7배, 어떤 기준으로는 14배를 더 받는다는 것이 그의 말입니다. 뉴욕타임스가 없으면 월스트리트저널을 사서 AI에게 고쳐 쓰게 하면 되지만, 레딧은 대신할 곳이 없다는 이유를 댔습니다. 그는 모델끼리의 차이도 같은 데서 갈린다고 봤습니다. 오픈AI가 AGI를 만들어도 2일 뒤 앤트로픽이, 며칠 뒤 Grok과 구글이 따라올 테니, 비슷해진 모델을 붙잡아 두는 것은 누가 진짜 지식에 가장 많이 접근하느냐라는 겁니다.

프린스는 아내와 함께 고향 유타주 파크시티에서 지역신문 파크 레코드를 소유하고 있습니다. 새로 문을 연 식당 소식 같은 지역 뉴스는 규모의 경쟁에서 밀려났지만, 최고의 여행 비서를 만들려는 AI 회사에는 대체할 수 없는 자료라며 그는 이렇게 말했습니다.

올해는 AI 라이선스 계약으로 버는 돈이 디지털 광고보다 많을 것 같습니다.— 매슈 프린스, 클라우드플레어 CEO (Decoder)

그가 그린 미래는 스포티파이를 닮았습니다. 23년 전 80억 달러 안팎이던 음악 산업에서 아이튠즈의 곡당 99센트가 돈 내고 들을 가치가 있다는 깃발을 꽂았고, 스포티파이는 지난해 약 120억 달러를 음악 창작 쪽으로 보냈다는 겁니다. 검색해도 맞는 곡이 없는 요청을 창작자에게 공개했더니, 그 요청에 맞춰 곡을 써 한 해 4,000만 유로를 버는 덴마크 작곡가가 나왔다는 일화도 전했습니다.

파텔은 물러서지 않았습니다. 곡 하나로 버는 돈은 줄었고 판권을 사들인 사모펀드가 수익을 가져간다고 맞섰고, 정보를 사는 쪽이 사람보다 모델 회사가 되면 만드는 정보 자체도 달라질 것이라고 했습니다.

중간의 챗봇이 소화해 사람에게 건네도록 GEO에 맞춘 정보를 끝없이 쏟아내는 미래가 좋은 결과입니까.— 닐레이 파텔, 더버지 편집장 (Decoder)

프린스는 지금의 모델부터 나쁘다고 답했습니다. 제목을 A/B 시험해 분노를 자극하는 지금의 클릭 경쟁보다, 아무도 모르던 지식을 만든 사람에게 돈이 가는 쪽이 낫다는 겁니다. 다만 돈보다 인정이 더 큰 문제라며, 어떤 분야에 가장 많이 기여한 사람을 계산해 노벨상이나 아카데미상처럼 시상하자고 AI 연구소들에 제안하고 있다고 했습니다.

9월 15일, 구글은 막혔나

가장 센 압박은 구글을 향했습니다. 프린스는 구글에 검색용 크롤러와 AI용 크롤러를 나누라고 요구했고, 구글은 두 번 긁으면 웹에 부담이 두 배가 된다며 대신 페이지마다 크롤러가 무엇을 하는지 밝히고 사이트가 고르게 하겠다고 했다고 전했습니다. 영국 규제 당국의 결정에 맞춰 내놓을 그 절차를 영국 밖에도 적용하겠다는 신호를 받았다고도 했습니다. 그리고 9월 15일부터 무료 고객 전체의 기본값을 구글의 AI 학습 차단으로 두고, 구글이 학습과 검색을 나누지 않으면 아예 막겠다고 했습니다.

압박이 통하는 이유로 그는 구글 검색의 구조를 들었습니다. 페이지랭크는 믿을 만한 사이트에서 출발해 링크로 이어진 나무를 그리는데, 웹의 20% 넘는 클라우드플레어 고객이 빠지면 나무 한가운데 큰 구멍이 생긴다는 겁니다. 그는 구글을 어제의 영웅이 내일의 악당이 되는 마블 캐릭터에 빗대면서도, 구글 안에 생태계를 지키려는 사람들이 있고 최근 몇 달 사이 태도가 달라졌다고 평가했습니다.

클라우드플레어는 1월 30일 영국 경쟁시장청(CMA)에 크롤러 분리를 요구하며 근거를 냈습니다. 두 달 동안 구글봇이 본 고유 URL은 ClaudeBot의 1.70배, GPTBot의 1.76배, PerplexityBot의 166.98배였고, 2025년 7월부터 2026년 1월까지 다른 AI 크롤러를 막은 사이트는 구글봇과 빙봇을 막은 사이트의 7배 가까이 됐습니다. 클라우드플레어는 사이트들이 검색 유입을 잃을까 봐 구글봇만은 막지 못한다고 풀이했습니다.

녹음 날짜는 공개되지 않았지만, 파텔이 대화 중 오늘 나왔다고 한 트럼프 행정부의 오픈AI 지지 소식은 9월 2일 기사였습니다. 방송이 나간 9월 26일에는 결과가 이미 나와 있었습니다. 9월 15일 클라우드플레어가 내놓은 것은 전면 차단 대신 검색 노출은 두고 학습만 거부하는 Disallow AI Training 설정이었고, 구글과 애플, 마이크로소프트는 학습 거부 수단과 투명성 도구를 갖췄거나 기한을 정해 약속한 Accountable 운영자로 분류됐습니다. 클라우드플레어 설명에 따르면 구글은 Google-Extended로 학습을 거부하는 방법과 생성형 검색 결과에서 사이트를 빼는 웹마스터 도구 설정을 이미 두고 있고, URL 단위 투명성 도구는 몇 주 안에 내놓을 예정입니다. 이 설정에서 구글봇은 검색용으로 계속 사이트를 돌고, 구글을 완전히 막으려면 사이트 주인이 Block을 직접 골라야 합니다.

같은 글에 따르면 클라우드플레어 사이트 가운데 검색 봇을 막는 곳은 1%도 안 되고, 학습을 막는 장치를 켠 곳은 17%였습니다. 새로 연결하는 도메인이 광고로 돈을 번다고 고르면 학습은 Disallow, 에이전트는 광고가 있는 페이지에서 차단이 권장 설정으로 뜹니다. 클라우드플레어는 AI 요약을 읽은 사람은 검색을 끝낼 가능성이 40% 넘게 높지만, AI 검색을 타고 온 방문자의 구매 전환율은 기존 검색보다 3배에서 5배 넘게 높다고도 적었습니다.

에이전트는 봇인가

에이전트를 막는 기본값에는 오래된 반론이 있습니다. 클라우드플레어가 2025년 8월 4일 퍼플렉시티가 차단을 당하면 크롬 브라우저로 위장한 크롤러로 하루 300만~600만 건을 요청한다고 공개하자, 퍼플렉시티는 곧바로 반박 글을 냈습니다. 사용자가 질문할 때만 페이지를 가져와 바로 답에 쓰고 저장하거나 학습하지 않는 에이전트는 크롤러와 다르고, 문제의 요청 300만~600만 건은 퍼플렉시티가 하루 4만 5,000건도 쓰지 않는 외부 브라우저 서비스 BrowserBase의 트래픽을 잘못 엮은 것이라는 주장이었습니다. 인프라를 쥔 회사의 허락을 받은 도구만 웹을 쓸 수 있는 이원화된 인터넷이 된다는 경고도 붙였습니다.

파텔도 같은 힘을 물었습니다. 데일리 스토머 같은 신나치 사이트를 서비스에서 끊을지 고민하던 프린스가 이번에는 같은 힘으로 시장을 만들려 한다는 지적이었습니다. 프린스는 상대를 가려낼 수 있다는 자신감과 고객이 언제든 떠날 수 있다는 말로 답했습니다. 매일 북한과 이란, 중국 해커와 싸우는 회사에 델라웨어 법인을 둔 팔로알토의 AI 회사들은 숨기 어려운 상대이고, AI 회사들도 갈수록 자기 크롤러가 누구이고 무엇을 하는지 밝히려 한다는 겁니다.

클라우드플레어 가입에는 5분이 걸리고, 떠나는 데는 30초면 됩니다.— 매슈 프린스, 클라우드플레어 CEO (Decoder)

측정하는 사람부터 줄였다

대화 후반은 클라우드플레어 안의 변화였습니다. 회사는 5월 7일 직원 1,100명 넘게 줄인다고 발표하면서, 지난 3개월 사이 사내 AI 사용이 600% 넘게 늘었고 이번 조치를 비용 절감으로 보지 않는다고 밝혔습니다. 프린스는 지금 직원이 4,500~5,000명이라고 했습니다.

그가 본 사내 반응은 둘로 갈렸습니다. 아주 젊은 직원과 아주 노련한 직원은 AI를 빠르게 받아들였고, 정해진 규칙대로 일해 인정받아 온 그 사이의 직원들은 머뭇거렸다는 겁니다. 그는 수동 드라이버를 잘 쓰는 사람을 뽑아 놨더니 전동 드라이버가 나온 상황에 빗대며, 2025년 중반부터 전 직원에게 새 도구 교육을 시켰다고 했습니다. 감원 발표 뒤에는 반AI 성향의 낯선 사람들에게서 살해 협박까지 받았지만, 다른 회사들도 같은 결론에 이를 테니 먼저 하는 편이 떠나는 직원의 재취업에도 낫다고 판단했다고 말했습니다. 그가 예로 든 것은 9월 초 같은 이유로 감원한 우버였습니다.

그는 피터 드러커의 분류대로 직원을 만드는 사람, 파는 사람, 재는 사람으로 나눴고, 줄인 인원 다수가 감사 같은 측정 업무에서 나왔다고 했습니다. 만드는 사람은 생산성이 10배가 돼 오히려 더 뽑는다는 설명입니다. 투자자 관계 팀 20명가량이 결산 때마다 2주 동안 만들던 자료는 3분으로 줄었고, 관리자 한 명이 맡는 직원은 하버드 경영대학원 기준인 6명에서 12명을 목표로 늘리는 중이라고 했습니다. 지금은 8명 안팎이라 아직 목표에는 못 미쳤다는 것도 인정했습니다. AI의 편향은 조직의 편향과 겹치지 않아 내부 감사에 강하다는 것이 그의 논리였고, 성과가 좋은 직원의 기록으로 모델을 학습시켜 숨은 인재를 찾았는데 틀린 경우도 있었다고 했습니다. 파텔은 일이 시스템에 기록되는 회사에서나 통하는 방식이라고 짚었습니다.

남는 쟁점

프린스는 AI 회사들이 모두 돈을 낼 의향이 있고 콘텐츠를 가진 쪽도 반긴다며, 빠진 것은 둘을 잇는 기술이라고 했습니다. 파텔의 걱정은 반대편에 있었습니다. 웹사이트 손님 대부분이 봇이 되면 사람들은 웹사이트 대신 틱톡 채널을 열 것이라는 겁니다.

남은 약속에는 날짜가 붙어 있습니다. 구글의 URL 단위 투명성 도구는 몇 주 안에, 마이크로소프트의 robots.txt 학습 거부 지원은 2027년 초, 사이트 내용이 AI 요약에 얼마나 들어갈지 고르는 설정은 2027년 초가 목표입니다. 9월 15일 설정은 모든 요금제에 열려 있어, 클라우드플레어를 쓰는 국내 사이트도 검색은 두고 학습만 거부할 수 있습니다.

읽어 주셔서 고맙습니다.

초이 드림