2026년 4월 27일, Cloudflare Radar에 이상한 수치가 찍혔습니다. 전 세계 HTML 콘텐츠 HTTP 요청에서 봇 트래픽이 57%를 기록하며, 처음으로 인간의 요청 수를 앞질렀어요. Cloudflare CEO Matthew Prince는 이 시점을 2027년 말쯤으로 예상했는데, agentic AI 확산으로 약 18개월이나 앞당겨진 겁니다.
이 수치는 “모든 인터넷 트래픽”은 아닙니다. 비디오 스트리밍, 이메일, 게임 트래픽은 제외됐어요. HTML 요청만 집계한 결과니, 쉽게 말하면 “읽을 수 있는 웹”에 한정된 수치입니다. 그래도 상징성은 작지 않아요. 사람은 카메라 하나 사려고 웹사이트 몇 개를 훑지만, AI 에이전트는 수천 개를 돌아다닙니다.
문서의 1차 독자가 바뀌고 있다: llms.txt
이 변화에 먼저 반응한 건 문서 쪽이었어요.
llms.txt는 사이트 루트에 마크다운으로 핵심 콘텐츠를 정리해 에이전트에게 제공하는 표준 제안입니다. robots.txt가 크롤러에게 규칙을 알려주듯, llms.txt는 LLM 에이전트에게 “여기서 뭘 읽으면 되는지”를 알려주는 형식이에요. SE Ranking이 30만 도메인을 조사했더니 채택률은 약 10%. 아직 초기입니다.
이걸 SEO 전략으로 보는 시각도 있는데, 제 생각은 조금 달라요. 본질은 B2A(Business-to-Agent)에 가깝습니다. Cursor나 Claude Code 같은 코딩 에이전트들은 이미 문서 사이트에서 llms.txt를 일상적으로 가져가고 있거든요. 인간 개발자가 README를 먼저 읽는 것처럼, 에이전트가 llms.txt를 먼저 읽는 구조가 되어가고 있는 거예요.
이 흐름을 “Agent Experience(AX)“라고 처음 명명한 건 2025년 1월 Netlify CEO Mathias Biilmann이었습니다. UX(User Experience)를 거쳐 DX(Developer Experience)가 왔고, 이제 AX가 왔다는 거죠. 이름이 붙었다는 건 개념이 굳어지고 있다는 신호예요.
CLI 설계도 달라져야 한다: AXI
문서만 바뀌는 게 아닙니다. CLI도 마찬가지예요.
axi.md에 정리된 AXI(Agent eXperience Interface)는 에이전트가 CLI 도구를 쓸 때 토큰 비용을 줄이고 신뢰성을 높이기 위한 10가지 설계 원칙입니다. 배경엔 구체적인 수치가 있어요.
MCP는 도구 30개의 스키마만으로 입력 토큰이 185K에 달합니다. 일반 CLI 방식(79K)의 2.3배예요. 에이전트가 도구를 고르기도 전에 컨텍스트를 잔뜩 소모하는 셈이죠. 출력 포맷 측면에서도 TOON 포맷은 JSON 대비 토큰을 40% 절감합니다.
이 문제는 Anthropic도 인지하고 있어요. Claude API에 Tool Search Tool이라는 해법을 내놨거든요. 도구 정의를 전부 컨텍스트에 싣는 대신 defer_loading으로 미뤄두고, 에이전트가 필요할 때 검색해서 그때그때 불러오는 lazy loading 방식입니다. Anthropic 측정으로는 도구 관련 토큰 오버헤드가 85% 줄었고, 2026년 1월부터 Claude Code에도 기본 적용됐어요. MCP 스키마가 컨텍스트를 잡아먹는다는 진단이 틀리지 않았다는 방증이기도 하죠.
490회 벤치마크에서는 결과가 뚜렷하게 갈렸어요. AXI 기반 설계는 성공률 100%, 작업당 $0.074, 21.5초, 4.5턴. MCP는 $0.100, 일반 CLI는 $0.088으로, AXI가 비용·시간·턴 수 모든 지표에서 앞섰어요.
인간용 CLI의 컬러 출력, 표 정렬, 긴 도움말 텍스트. 사람 눈엔 편하지만, 에이전트에게는 전부 토큰 낭비입니다. 그리고 AXI가 주는 통찰 중 제가 가장 공감한 건 이거예요. 프로토콜 선택(CLI냐 MCP냐)이 중요한 게 아니라, 원칙 있는 설계가 핵심이라는 것.
저는 이미 이렇게 하고 있어요
거창한 얘기를 하려는 게 아니에요. 그냥 제가 요즘 실제로 일하는 방식입니다.
저는 내부 문서를 더 이상 사람을 대상으로 쓰지 않아요. 한국어 회사에서 일하는데도, 처음부터 영어로 작성합니다. 한국어로 쓰고 번역하는 게 아니라, 시작부터 그렇게 해요. AI가 검색하고 이해하는 데 영어가 더 유리하거든요.
감이 아니라 수치가 있는 얘기예요. OpenAI의 cl100k_base 토크나이저 기준으로, 같은 정보를 한국어로 표현하면 영어 대비 평균 2.36배의 토큰이 듭니다. NeurIPS 2023에 발표된 연구는 같은 텍스트라도 언어에 따라 토큰화 길이가 최대 15배까지 벌어진다는 점을 보여줬고요. 이 차이는 그대로 API 비용과 컨텍스트 윈도우 소모로 이어집니다. 같은 컨텍스트 예산이면 영어 문서가 두 배 넘게 들어가는 셈이에요.
목표 자체가 바뀌었어요. 예전엔 “팀원이 읽고 이해할 수 있는가”가 기준이었는데, 지금은 **“필요할 때 AI가 찾아서 내가 원하는 답을 줄 수 있는가”**가 기준입니다. 1차 독자는 AI고, 저는 그 답변을 통해 문서를 소비해요. 팀원도 마찬가지고요.
그래서 요즘은 정답을 적어두기보다 재료를 남기려고 해요. 결론만 있으면 AI가 새로운 질문에 적용을 못 하거든요. 결정에는 이유와 제약 조건, 당시의 전제를 함께 적습니다. 검색은 글을 조각으로 가져가니 각 섹션은 자기완결적으로 쓰고, “최근에” 같은 상대 표현 대신 날짜를 박아요.
갱신만큼 삭제도 중요해요. 사람은 낡은 문서를 보면 의심부터 하는데, AI는 검색에 걸리면 자신 있게 인용합니다. 답이 없는 상태가 아니라 자신 있게 틀린 답이 나오는 상태가 되는 거죠. 서로 어긋나는 두 버전이 아예 없는 쪽보다 나쁜 이유예요.
이상한 건지 모르겠어요. 그냥 그게 더 잘 동작하더라고요.
인간이 밀려나는 게 아니다, 인터페이스의 1차 독자가 바뀌는 것이다
“우리가 밀려나는 건가”라는 생각이 들 법도 해요. 제 경험상 그 프레임은 별로 유용하지 않습니다.
UX 다음에 DX가 왔을 때, 인간 사용자가 사라진 게 아니었잖아요. 인터페이스를 설계할 때 고려해야 할 독자가 하나 더 추가된 거였어요. AX도 같은 맥락입니다. 인터페이스를 읽는 주체가 달라지는 것이지, 인간이 사라지는 게 아니에요.
다만 현실은 솔직히 인정해야 해요. llms.txt 채택률 10%가 보여주듯 지금은 아직 초기이고, 표준이 난립할 가능성도 있습니다. llms.txt만 해도 아직 비공식 제안 수준이고, AXI가 업계에 자리 잡기까지 얼마나 걸릴지 알 수 없어요.
제가 쓰는 README, 제가 설계하는 CLI 출력의 첫 독자가 더 이상 사람이 아닐 수 있다는 것. 그게 약간 낯설게 느껴지면서도, 생각보다 자연스럽게 받아들여지고 있어요.
참고 문서
- Cloudflare Radar – 봇/인간 트래픽 비율 데이터
- Bots have now passed human traffic online – Tom’s Hardware – Matthew Prince 발언과 18개월 앞당겨진 배경
- llms.txt Explained: The Honest Guide – Codersera – SE Ranking 30만 도메인 채택률 조사 포함
- Agent Experience (AX) – Netlify가 만든 AX 개념 허브
- AXI: Agent eXperience Interface – 에이전트 친화적 CLI 설계 원칙 10가지와 벤치마크
- Tool Search Tool – Claude API Docs – defer_loading 기반 lazy loading
- Introducing advanced tool use – Anthropic Engineering – 도구 토큰 오버헤드 85% 절감 측정
- Anthropic brings MCP tool search to Claude Code – Tessl – Claude Code 기본 적용 소식
- Language Model Tokenizers Introduce Unfairness Between Languages (NeurIPS 2023) – 언어 간 토큰화 길이 최대 15배 격차
- Working with CJK text in Generative AI pipelines – Anthony Shaw – 한국어 2.36배 토큰 분석