Cloudflare가 AI 에이전트 크롤러의 기본 규칙을 변경합니다

Cloudflare는 웹의 일부 영역에서 AI 에이전트 크롤러를 처리하는 방식을 바꾸고 있습니다. 9월 15일부터 일부 광고 지원 페이지는 기본적으로 에이전트 및 학습 크롤러를 차단하지만, 검색 크롤러는 계속 허용됩니다. 이 회사는 7월 1일 이 업데이트를 발표했으며, 무료 요금제 사용자를 포함한 고객들이 이미 새 제어 기능을 이용할 수 있다고 밝혔습니다. Cloudflare는 크롤러 활동을 검색, 에이전트, 학습의 세 가지 범주로 나눴습니다. 검색은 나중에 답변하기 위해 페이지를 색인화하는 데 사용되며, 에이전트는 사용자를 위해 실시간으로 작동하는 시스템을 가리키고, 학습은 데이터가 모델 가중치로 들어가도록 하는 크롤러를 포함합니다. 기사에 따르면 게시자는 변경 사항이 적용되기 전에 기본 차단을 유지하거나 보안 설정을 통해 제외를 선택할 수 있습니다. 또한 AI 에이전트를 운영하는 기업은 Cloudflare의 차단이 네트워크 수준에서 작동하기 때문에 단순한 useragent 변경에 의존하기보다 접근 권한을 협상해야 할 수도 있다고 지적합니다. 이 글은 사이트가 더 엄격한 설정을 선택할 경우, Googlebot을 포함한 혼합 용도 크롤러에도 이 업데이트가 영향을 미칠 수 있다고 강조합니다.