Cloudflare BotBase 제출 흐름이 달라진 이유
Cloudflare가 공개한 BotBase for Operators는 웹사이트 운영자가 봇 트래픽을 관리하는 쪽만이 아니라, 봇을 운영하는 쪽도 자신의 봇 정보를 더 명확하게 제출하고 관리할 수 있게 만든 변화다. 핵심은 새로운 탐지 기술 하나가 아니라, 봇 운영자가 Cloudflare 대시보드 안에서 제출 상태를 확인하고, 거절 사유를 보고, 기존 제출 내용을 수정할 수 있게 된 점이다.
이 변화는 검색 크롤러, AI 에이전트, 연구용 수집 봇, SEO 도구, 데이터 수집 도구를 직접 운영하는 개발자에게 특히 중요하다. Cloudflare 네트워크에 있는 사이트들은 자동화 트래픽을 허용하거나 제한할 때 봇의 정체, 행동, 콘텐츠 사용 방식을 참고할 수 있다. 따라서 봇 운영자 입장에서는 “내 봇이 무엇을 하는지”를 정확히 설명하고 최신 상태로 유지하는 일이 운영 품질의 일부가 된다.
대시보드에서 달라진 점
이전에는 봇 제출 양식이 계정 설정 영역에 가까운 위치에 있었고, 제출 후 진행 상황을 확인하기 어려웠다. 이번 변경 이후 BotBase 관련 기능은 Cloudflare 대시보드의 봇 및 신뢰 도구 흐름 안으로 이동했다. 원문 기준 경로는 Protect & Connect → Application Security → BotBase다.
Cloudflare는 이 영역을 세 가지 용도로 나눴다. 첫째, 이미 추적 중인 봇을 탐색하는 Bots directory가 있다. 둘째, 새 봇을 제출하는 Submission form이 있다. 셋째, 계정에서 제출한 봇의 진행 상태를 보는 Submission history가 추가됐다. 개인 개발자나 연구자가 직접 크롤러를 운영한다면, 이제 제출 이후 이메일 문의에만 의존하지 않고 대시보드에서 상태를 확인할 수 있는 구조가 된 것이다.
상태 추적이 중요한 경우
가장 실용적인 변화는 제출 내역의 상태 표시다. 원문에 따르면 제출 상태는 Waiting for review, Accepted, Rejected로 표시된다. 대기 중이면 Cloudflare가 제출을 받았고 검토 대기열에 있다는 뜻이다. 승인되면 해당 봇이 디렉터리에서 추적된다는 의미다. 거절되면 무엇을 바꿔야 하는지 확인하고 다시 제출할 수 있다.
이 기능은 봇 운영자에게 단순한 편의 기능 이상이다. 예를 들어 연구실에서 운영하는 공개 데이터 수집 봇, 문서 검색 인덱스를 만드는 개인 프로젝트, 고객사를 대신해 웹 접근을 수행하는 플랫폼형 서비스는 제출 후 상태가 불명확하면 운영 정책을 세우기 어렵다. 이제는 제출 기록을 열어 세부 내용을 확인하고, 거절된 경우 이유를 볼 수 있으며, 승인 과정에서 Cloudflare가 분류를 조정했다면 그 변경도 확인할 수 있다.
봇 정보 수정과 취소가 갖는 의미
봇의 식별 정보는 시간이 지나면서 바뀔 수 있다. IP 목록을 제공하는 엔드포인트가 바뀔 수도 있고, IP 허용 목록 중심 운영에서 Web Bot Auth 같은 방식으로 이동할 수도 있다. 이전에는 이런 변경을 반영하려면 전체 양식을 다시 작성해 새 항목으로 제출해야 했다. 이번 변경 이후에는 이미 제출한 내용을 수정할 수 있고, 아직 검토 대기 중인 제출은 취소할 수 있다.
운영 관점에서는 이 부분이 중요하다. 봇이 오래 운영될수록 문서, 도메인, 인증 방식, 담당 조직, 사용자 에이전트, 콘텐츠 사용 방식이 바뀔 가능성이 커진다. Cloudflare는 정확한 정보가 Verified 상태를 얻고 유지하는 데 중요한 구성 요소라고 설명한다. 다만 Verified 상태가 모든 사이트에서 자동 허용을 의미한다고 단정해서는 안 된다. 최종적으로 어떤 트래픽을 허용할지는 개별 사이트 소유자가 결정한다.
새 제출 양식에서 봐야 할 세 가지 분류
Cloudflare는 새 입력 양식이 봇을 단일 라벨에 억지로 맞추는 방식이 아니라, 실제 행동과 콘텐츠 사용 방식을 더 구체적으로 선언하는 구조라고 설명한다. 개발자가 확인해야 할 축은 세 가지다.
- 봇이 하는 일: 검색 인덱싱, 사용자 대신 동작하는 에이전트, 데이터 수집, 모델 학습, SEO 도구 지원 등 해당하는 행동을 복수로 선택할 수 있다.
- 읽은 콘텐츠를 쓰는 방식: 검색 스니펫을 만들기 위해 일부 내용을 읽는 봇과 모델 학습용으로 저장하는 봇은 다르게 취급돼야 한다. Cloudflare는 사이트 소유자가 쓰는 Content Signals 모델과 맞물리도록 봇의 콘텐츠 사용 방식을 선언하게 한다.
- 실제 운영 주체: 직접 인프라에서 직접 목적을 위해 크롤링하는지, 다른 회사나 고객이 만든 제품의 요청을 전달하는 중개자 역할인지 구분한다.
이 분류는 AI 에이전트와 크롤러가 섞여 있는 현재 환경에서 특히 중요하다. 같은 URL을 가져오더라도 검색 인덱싱, 사용자 질문 응답, 데이터베이스 구축, 모델 학습은 사이트 운영자에게 전혀 다른 의미를 가진다. BotBase 제출에서는 이 차이를 실제 운영 방식에 맞게 설명해야 한다.
개인 사용자와 연구자가 확인할 지점
개인 사용자나 학생, 연구자는 대형 검색엔진 운영자와 같은 조건을 갖추지 못하는 경우가 많다. 그래도 공개 웹을 자동으로 읽는 도구를 만들고 Cloudflare가 보호하는 사이트에 접근한다면, 봇 식별과 사용 목적을 정리해 두는 편이 좋다. 특히 연구용 크롤러라면 데이터 수집 범위, 저장 기간, 재배포 여부, 모델 학습 사용 여부를 내부 문서로 남겨야 한다.
BotBase 제출 자체가 모든 접근 허가를 보장하는 것은 아니다. 하지만 봇이 누구의 인프라에서 어떤 목적으로 동작하는지 설명할 수 있으면, 차단이나 오해가 발생했을 때 확인할 기준이 생긴다. 공개 연구 프로젝트라면 프로젝트 페이지, 연락처, 사용자 에이전트 설명, IP 또는 인증 방식 안내가 실제 운영 신뢰도를 높이는 데 도움이 될 수 있다.
개발팀이 적용 전에 볼 항목
| 항목 | 확인 질문 | 판단 기준 |
|---|---|---|
| 계정 접근 | 현재 Cloudflare 계정에서 BotBase 메뉴와 제출 내역을 볼 수 있는가? | 원문은 모든 고객이 대시보드에서 접근할 수 있다고 설명하지만, 실제 계정 권한과 조직 설정은 직접 확인해야 한다. |
| 권한 | 누가 봇 제출, 수정, 취소를 할 수 있는가? | 팀 계정이라면 보안 담당자, 개발자, 운영자 사이의 권한 범위를 먼저 정해야 한다. |
| 비용 | 별도 요금이나 플랜 제한이 있는가? | 제공된 원문 정보만으로는 가격 조건을 단정할 수 없다. 적용 전 Cloudflare 대시보드와 공식 요금 문서를 확인해야 한다. |
| 봇 분류 | 우리 봇은 검색, 에이전트, 데이터 수집, 학습 중 어떤 행동을 하는가? | 하나의 마케팅 문구보다 실제 HTTP 요청 목적과 데이터 처리 방식을 기준으로 선언해야 한다. |
| 롤백 | 잘못 제출했거나 운영 방식이 바뀌면 수정할 수 있는가? | 이번 업데이트로 제출 수정과 대기 중 취소가 가능해졌지만, 변경 전후의 기록은 내부에서도 관리하는 편이 안전하다. |
바로 도입해도 되는 경우와 기다릴 경우
이미 공개 봇이나 크롤러를 운영하고 있고 Cloudflare 보호 사이트와의 접점이 많다면, BotBase for Operators는 바로 확인할 가치가 있다. 특히 제출 후 상태를 알 수 없어 지원 문의에 의존했던 팀, 봇 정보가 자주 바뀌는 팀, AI 에이전트와 크롤러의 목적을 구분해 설명해야 하는 팀에는 실질적인 운영 개선이 될 수 있다.
반대로 단순히 개인용 스크립트를 가끔 실행하거나, 외부 사이트에 자동 접근하지 않는 도구라면 우선순위는 낮다. 또한 제출 양식이 생겼다고 해서 데이터 사용 정책, robots.txt 준수, 사이트별 이용 약관 확인을 생략할 수는 없다. BotBase는 봇을 더 잘 설명하고 관리하는 통로이지, 모든 사이트 접근에 대한 포괄적 허가증은 아니다.
실무 적용을 위한 검토 순서
- 현재 운영 중인 봇, 크롤러, 에이전트 목록을 만든다.
- 각 봇의 목적, 사용자 에이전트, IP 또는 인증 방식, 담당자 연락 경로를 정리한다.
- 읽은 콘텐츠를 검색 인덱싱, 참조, 저장, 학습 중 어디에 사용하는지 구분한다.
- Cloudflare 대시보드에서 BotBase 접근 권한과 제출 가능 여부를 확인한다.
- 작은 범위의 봇 하나를 먼저 제출하고 상태, 거절 사유, 수정 흐름을 확인한다.
- 운영 방식이 바뀔 때마다 제출 정보와 내부 문서를 함께 갱신한다.
이 업데이트의 실제 의미
이번 발표의 방향은 분명하다. 웹사이트 운영자는 자동화 트래픽을 더 세밀하게 판단하고 싶어 하고, 봇 운영자는 자신이 합법적이고 예측 가능한 방식으로 동작한다는 점을 설명할 통로가 필요하다. BotBase for Operators는 이 둘 사이에서 제출, 상태 확인, 수정, 분류 선언을 대시보드 안으로 가져온다.
개발자에게 중요한 질문은 “이 기능이 새롭다”가 아니라 “내 봇의 행동을 정확히 설명할 준비가 되어 있는가”다. 봇이 무엇을 읽고, 왜 읽고, 어떻게 보관하고, 누구의 요청으로 실행되는지 답할 수 없다면 제출 양식이 있어도 운영 신뢰를 만들기 어렵다. 반대로 이 정보를 이미 체계적으로 관리하는 팀이라면, BotBase의 새 흐름은 반복 문의를 줄이고 봇 정보를 최신 상태로 유지하는 데 도움이 될 수 있다.
출처와 검증
이 글은 Cloudflare Blog의 2026년 8월 28일 게시글을 바탕으로 작성했다. 기능 접근 가능 여부, 계정 권한, 요금 조건, 조직별 적용 범위는 실제 Cloudflare 대시보드와 공식 문서에서 적용 전에 다시 확인해야 한다.