Os oito lugares onde o seu site trava a leitura por IA

Quando um site não aparece nas respostas, a primeira suspeita costuma ser o texto. É quase sempre a suspeita errada. Antes de o texto ser julgado, ele precisa ser lido, e é na etapa de leitura que a maior parte dos sites brasileiros perde, por um motivo que ninguém no time de marketing tem como saber: a regra que barra o leitor foi ligada por outra pessoa, em outro sistema, com outra intenção.

As oito camadas, e quanto cada uma pesa

Duas coisas nesse gráfico merecem atenção. A primeira é que peso e número de verificações não andam juntos: presença externa pesa 10 e tem 3 verificações, dados estruturados pesa os mesmos 10 e tem 7. Peso é quanto a camada importa; verificação é quantas coisas distintas precisam ser conferidas dentro dela. A segunda é que acesso tem 25 das 56, quase metade, e o motivo está no próximo tópico.

Acesso pesa 20 porque zera o resto

Acesso é a camada que responde uma pergunta binária: o leitor automático consegue entrar e ler? Se a resposta for não, as outras sete camadas viram irrelevantes. Não adianta ter a melhor página de perguntas frequentes do setor se o servidor devolve um bloqueio antes de entregar o HTML.

Os três lugares onde o bloqueio costuma morar, em ordem de frequência:

• A proteção contra robô da CDN. Ela foi ligada para conter raspagem de conteúdo e faz isso muito bem. O efeito colateral é que o leitor que decide se a sua marca entra na resposta usa o mesmo caminho do raspador, e leva o mesmo bloqueio.
• O robots.txt herdado. Escrito anos atrás, copiado de outro projeto, carrega regras para robôs que já nem existem e às vezes um bloqueio amplo que ninguém revisou.
• O conteúdo montado no navegador. O texto existe, mas só depois que o script roda. A maior parte dos leitores automáticos não executa script: eles leem o que veio do servidor. Se veio uma casca vazia, foi isso que eles leram.

Os seis grupos de robô que importam

A conferência de robots é feita por grupo de fornecedor, não por nome solto, porque cada fornecedor opera mais de um agente e liberar um sem liberar os outros produz um resultado parcial que parece resolvido.

Repare no padrão: quase todo fornecedor separa o robô que rastreia do agente que visita porque alguém perguntou agora. Bloquear o primeiro e liberar o segundo é uma decisão legítima, e bem diferente de bloquear os dois por engano. A decisão começa com esta forma no robots.txt:

# libera descoberta e visita a pedido, dos dois lados
User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

As outras sete camadas, em uma linha cada

Em que ordem consertar

1. Acesso, sempre. É barato, é rápido e libera o efeito de todo o resto. Um ajuste de configuração costuma resolver, e o resultado aparece na medição seguinte.
2. Dados estruturados. Sete verificações, peso 10, e o conserto é mecânico: marcação que falta é marcação que se escreve.
3. Entidade. Peso 14. Precisa de decisão humana, porque envolve quem assina, qual é o nome oficial e o que a internet confirma sobre a empresa.
4. Conteúdo e conhecimento. São as camadas que exigem escrever, e por isso as mais caras em hora. Deixar para depois de destravar o acesso evita escrever para um leitor que ainda não entra.

Perguntas frequentes

Bloquear o robô de IA prejudica o meu SEO no Google?

São controles separados. Bloquear os agentes de IA de outros fornecedores não afeta a indexação orgânica do Google. O que afeta é bloquear o Googlebot, e isso quase sempre é acidente, não escolha.

Se eu liberar tudo, meu conteúdo vira treino de modelo?

Pode virar, e essa é uma decisão de negócio legítima, não uma questão técnica. Dá para liberar descoberta e visita a pedido enquanto se restringe o uso do conteúdo em treino, porque a maioria dos fornecedores publica agentes distintos para cada finalidade.

Quanto tempo depois do conserto o resultado aparece?

A régua de entrada é de 7 dias para o Google e 15 para as buscas com IA. Antes disso, a ausência que você mede é atraso de descoberta, não efeito do conserto.

Dá para conferir isso sem contratar nada?

Dá. As duas verificações que mais entregam são a requisição com o agente no cabeçalho e a leitura do HTML que veio do servidor, sem executar script. As duas rodam do terminal em menos de um minuto.