O anti-bot da sua CDN pode estar barrando o leitor de IA

O detalhe que faz esse problema durar meses é organizacional: quem ligou a proteção não é quem cuida do conteúdo. O time de infraestrutura resolveu um problema real de raspagem, o time de marketing não sabe que existe uma proteção, e ninguém liga os dois fatos.

Como confirmar em um minuto

# o que o leitor de IA recebe quando pede a sua home
curl -sS -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; GPTBot/1.1; +https://openai.com/gptbot)" \
  https://seusite.com.br/

# compare com o que um navegador comum recebe
curl -sS -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7)" \
  https://seusite.com.br/

Dois números iguais e na casa dos 200: está aberto. O primeiro em 403, 429 ou 503 e o segundo em 200: o bloqueio é seletivo por agente, e é exatamente o caso que este artigo trata.

Os três lugares onde o bloqueio mora

A ordem importa no diagnóstico: o robots é a instrução, a CDN é a porta. Liberar no robots e continuar bloqueado na CDN é o caso mais frequente de todos, porque o primeiro é fácil de editar e o segundo exige falar com outra pessoa.

O que fazer em cada tipo de proteção

1. Liste os agentes na exceção da proteção. Toda CDN moderna tem uma lista de robôs verificados que passam sem desafio. O trabalho é adicionar os agentes de IA nela, e não desligar a proteção.
2. Verifique por faixa de IP, não só por nome. O cabeçalho do agente é texto livre e qualquer um escreve o que quiser. Os provedores publicam as faixas de onde os robôs saem; liberar por nome sem conferir a origem abre a porta para quem se passa por eles.
3. Separe rastreio de visita a pedido. Quase todo fornecedor tem um agente que varre o site e outro que entra porque alguém perguntou naquele instante. Bloquear o primeiro e liberar o segundo é uma decisão legítima, e bem diferente de bloquear os dois por engano.
4. Trate a página de desafio como bloqueio. Ela devolve 200, então o monitoramento simples acha que está tudo bem. O conteúdo que veio é o desafio, não o seu texto.

Como saber se voltou a funcionar

O sinal imediato é o mesmo teste voltando 200 com o agente no cabeçalho. O sinal que interessa vem depois: a marca voltando a aparecer nas respostas. Respeite a régua de entrada de 7 dias para o Google e 15 para as buscas com IA antes de concluir qualquer coisa. Medir no dia seguinte ao conserto produz um zero que é atraso de descoberta, não efeito.

Perguntas frequentes

Desligar a proteção resolve?

Resolve e cria um problema maior. O objetivo é abrir para os agentes que você quer, não abrir para todos. A exceção por lista, com verificação de origem, faz as duas coisas.

Meu site está no ar e rápido. Ainda assim posso estar bloqueado?

Pode, e é o padrão dos casos que a gente encontra. Estar no ar para navegador e estar aberto para agente automático são duas coisas diferentes, decididas em camadas diferentes.

Isso vale para o Googlebot também?

Vale, e aí o prejuízo é maior porque atinge a busca orgânica junto. Bloquear o Googlebot quase sempre é acidente, não escolha, e costuma aparecer primeiro como queda de tráfego.