Libere descoberta e visita a pedido para os agentes dos seis fornecedores que importam, e decida separadamente se o seu conteúdo pode ser usado em treino. O robots.txt é uma instrução que os agentes legítimos respeitam, não uma tranca: ele não protege contra quem ignora a regra e não abre porta fechada na CDN.
O que o robots.txt decide, e o que ele não decide
Ele decide o comportamento de quem escolheu obedecer. É pouco e é muito: os robôs dos provedores grandes obedecem, e são justamente eles que decidem se a sua marca entra numa resposta. Ele não impede raspagem de quem não quer obedecer, e não substitui a liberação na camada de proteção do servidor.
Os seis grupos que importam
| Fornecedor | Agentes | Para que serve |
|---|---|---|
| Google, busca | Googlebot | Indexação orgânica e base dos resumos de IA |
| Google, uso em IA | Google-Extended | Controle separado do uso do conteúdo em produtos de IA |
| Bing | Bingbot | Índice que alimenta buscas e assistentes |
| OpenAI | OAI-SearchBot, GPTBot, ChatGPT-User | Busca, rastreio e a visita disparada por uma pergunta de usuário |
| Anthropic | ClaudeBot, Claude-SearchBot, Claude-User | Mesma separação entre rastreio, busca e visita a pedido |
| Perplexity | PerplexityBot, Perplexity-User | Rastreio e visita disparada pela pergunta |
shared/score-vynco.ts, e documentação pública de cada provedor.Rastreio, busca e visita a pedido
Repare no padrão da tabela: quase todo fornecedor publica mais de um agente, e eles fazem coisas diferentes. Entender essa divisão é o que separa uma decisão de uma superstição.
- Rastreio percorre o site para montar um índice, do jeito que buscador sempre fez.
- Busca consulta esse índice na hora de responder, e é o que costuma determinar se você é citado.
- Visita a pedido é o agente entrando no seu site porque uma pessoa acabou de perguntar algo que exige olhar sua página agora. É a visita de maior intenção que existe.
Bloquear os três de uma vez para "proteger o conteúdo" custa a citação junto. Se a preocupação é treino, o alvo é o agente de treino, e não os outros dois.
Um arquivo pronto para copiar
# Descoberta e visita a pedido liberadas para os agentes legítimos. # Ajuste conforme a sua decisão sobre uso do conteúdo em treino. User-agent: Googlebot Allow: / User-agent: Bingbot Allow: / User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Claude-User Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Allow: / Sitemap: https://seusite.com.br/sitemap.xml
O que não adianta colocar lá
- Regra para agente que não existe mais. Linha morta não faz mal, mas dá a sensação de que o arquivo foi revisado quando não foi.
- Bloqueio como proteção de conteúdo sigiloso. O robots é público e lista justamente os caminhos que você não quer que apareçam. Conteúdo sigiloso pede autenticação.
- Regra de rastreio para resolver conteúdo duplicado. Bloquear a página impede a leitura, não a duplicidade. Isso é assunto de canônica.
Perguntas frequentes
Liberar tudo faz meu conteúdo virar treino de modelo?
Pode fazer, e é uma decisão de negócio, não técnica. Os fornecedores publicam agentes distintos para cada finalidade justamente para você poder liberar busca e restringir treino.
Bloquear IA prejudica meu SEO no Google?
Bloquear os agentes de IA de outros fornecedores não afeta a indexação orgânica. Bloquear o Googlebot afeta, e muito.
Mudei o robots. Quando muda o resultado?
Depois da régua de entrada: 7 dias para o Google e 15 para as buscas com IA. E só se a camada de proteção do servidor também estiver liberando, porque instrução não abre porta trancada.
Vynco Partners
Opere presença em IA para a carteira inteira, com a sua marca na frente, formação do time e o selo que entra no diretório.
Entrar no Vynco PartnersAche quem faz por você
Agências e profissionais certificados para cuidar da sua presença nas IAs. Você mede primeiro, e o diagnóstico vai anexo ao pedido.
Buscar uma agência parceiraUma matéria por dia útil, direto no seu e-mail
Presença de marca no Google e nas IAs, com a pergunta que rodou e o número de verificações ao lado. Você escolhe o nível e recebe a trilha certa.
- Uma matéria por dia útil, com o dado que a sustenta
- As ferramentas novas antes de virarem oferta pública
- Nenhuma promoção disfarçada de conteúdo