Testando o acesso de agente pelo terminal, passo a passo

O que você precisa antes de começar

Um terminal e o endereço do site. No Mac e no Linux o curl já vem instalado; no Windows ele existe no PowerShell. Nenhum dos comandos abaixo altera nada: são todos leitura.

Passo 1: a resposta que o agente recebe

# troque o endereço pelo seu
SITE="https://seusite.com.br"

for AG in "GPTBot/1.1" "ClaudeBot/1.0" "PerplexityBot/1.0" "Googlebot/2.1"; do
  CODE=$(curl -sS -o /dev/null -w "%{http_code}" -A "Mozilla/5.0 (compatible; $AG)" "$SITE")
  echo "$AG -> $CODE"
done

Como ler: 200 é entrada liberada. 403 é bloqueio. 429 é limite de requisição, que na prática também barra. 503 costuma ser página de desafio da proteção.

Passo 2: o conteúdo que veio junto

# tamanho do HTML e presença do seu texto principal
curl -sS -A "Mozilla/5.0 (compatible; GPTBot/1.1)" "$SITE" \
  | tee /tmp/pagina.html | wc -c

grep -c "um pedaço da sua frase de abertura" /tmp/pagina.html

Código 200 com HTML de poucos milhares de caracteres e a busca dando zero significa que a porta está aberta mas não há conteúdo do outro lado: a página é montada no navegador. É um problema diferente do bloqueio, e igualmente fatal.

Passo 3: o robots, agente por agente

curl -sS "$SITE/robots.txt"

Procure por Disallow: / logo abaixo de qualquer um destes nomes: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Perplexity-User, Google-Extended. Um Disallow: / num bloco User-agent: * vale para todos que não têm bloco próprio.

Passo 4: uma página interna, não só a home

curl -sS -o /dev/null -w "%{http_code}\n" \
  -A "Mozilla/5.0 (compatible; GPTBot/1.1)" \
  "$SITE/uma-pagina-de-conteudo"

É o passo que a maioria pula, e é onde o problema costuma estar. As regras de proteção frequentemente tratam a raiz de um jeito e o resto do site de outro. As páginas internas são as que respondem às perguntas do mercado.

Como ler o resultado

Perguntas frequentes

Posso usar o navegador em vez do terminal?

O navegador executa script e envia o agente dele, então ele mostra a experiência humana, não a do leitor automático. É justamente a diferença entre as duas que este teste mede.

Fingir ser um robô não é problema?

O cabeçalho do agente é texto livre e mudá-lo é prática comum de diagnóstico. Você está pedindo a sua própria página, com um rótulo diferente.

Descobri um bloqueio. E agora?

O conserto é uma regra de exceção na camada de proteção, quase sempre alguns cliques para quem administra a CDN. Depois, respeite a régua de entrada antes de medir de novo.