Guia de boas práticas de robots.txt com o Auditite
Domine a configuração do robots.txt para controlar o acesso de rastreamento, proteger páginas sensíveis e otimizar a alocação do crawl budget.
Visão geral
O arquivo robots.txt controla quais partes do seu site os crawlers dos mecanismos de busca podem acessar. Um robots.txt mal configurado pode bloquear páginas críticas da indexação ou desperdiçar crawl budget em URLs de baixo valor. Este guia cobre as boas práticas para todos os cenários comuns.
Etapa 1: Audite o seu robots.txt atual
- Acesse o seu robots.txt em
yourdomain.com/robots.txt. - Teste usando o testador de robots.txt do Google Search Console.
- Verifique se nenhuma página ou recurso crítico está bloqueado por engano.
- Verifique se os arquivos CSS e JavaScript necessários para a renderização não estão bloqueados.
Etapa 2: Entenda a sintaxe
Diretivas básicas
| Diretiva | Finalidade |
|---|---|
| User-agent | Especifica a quais rastreadores as regras se aplicam |
| Disallow | Bloqueia o rastreamento do caminho especificado |
| Allow | Substitui um Disallow para um caminho mais específico |
| Sitemap | Aponta para o local do seu sitemap XML |
| Crawl-delay | Solicita um intervalo entre as requisições (não respeitado pelo Google) |
Regras de precedência
- Caminhos mais específicos prevalecem sobre os menos específicos.
- Allow tem precedência sobre Disallow quando os caminhos têm o mesmo comprimento.
- As regras diferenciam maiúsculas de minúsculas nos caminhos.
- Curingas (*) correspondem a qualquer sequência de caracteres.
- O caractere $ indica o fim de uma URL.
Etapa 3: Padrões comuns de configuração
Bloqueie páginas de admin e páginas internas
User-agent: *
Disallow: /admin/
Disallow: /wp-admin/
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /internal/
Bloquear resultados de busca e filtros
Disallow: /search
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&page=
Permita recursos específicos dentro de diretórios bloqueados
Disallow: /private/
Allow: /private/public-page/
Bloqueie tipos de arquivo específicos
Disallow: /*.pdf$
Disallow: /*.doc$
Etapa 4: otimização do orçamento de rastreamento
- Bloqueie parâmetros de URL que criam conteúdo duplicado (ordenação, IDs de sessão, parâmetros de rastreamento).
- Bloqueie páginas de resultados de busca interna — elas raramente têm valor de SEO e podem gerar URLs infinitas.
- Bloqueie as combinações de filtros paginadas que você já trata com canonical tags.
- Não bloqueie páginas que você quer deixar como noindex — use a meta robots. Bloquear com o robots.txt impede o Google de ver a diretiva noindex.
Etapa 5: erros comuns a evitar
Bloqueio de CSS e JavaScript
O Google precisa renderizar suas páginas para avaliá-las. Bloquear arquivos CSS ou JS no robots.txt impede a renderização e pode prejudicar os rankings.
Como usar o robots.txt para desindexar
O robots.txt impede o rastreamento, não a indexação. Se uma página recebe links externos, o Google ainda pode indexá-la sem rastreá-la. Use meta tags noindex para desindexar.
Regras Disallow amplas demais
Um Disallow: / bloqueia o site inteiro. Um Disallow: /blog bloqueia tanto /blog/ quanto /blogging-tips/. Inclua sempre barras finais nos diretórios.
Esquecer a diretiva Sitemap
Sempre inclua a localização do seu sitemap no final do robots.txt:
Sitemap: https://yourdomain.com/sitemap.xml
Etapa 6: testes e monitoramento
- Depois de qualquer mudança no robots.txt, teste o arquivo atualizado no Google Search Console.
- Verifique, com a ferramenta de inspeção de URL, se suas páginas mais importantes não estão bloqueadas.
- Monitore as estatísticas de rastreamento do Google Search Console para ver mudanças na taxa de rastreamento após atualizações do robots.txt.
- Use o Auditite para auditar a configuração do seu robots.txt junto com o rastreamento completo do site.
- Mantenha um histórico de versões das alterações no seu robots.txt para poder reverter caso surjam problemas.
Robots.txt para vários ambientes
Garanta que seus ambientes de staging e desenvolvimento bloqueiem todos os rastreadores:
User-agent: *
Disallow: /
Remova este bloco antes de lançar qualquer ambiente em produção. Lançar por engano com um Disallow total é um dos erros de deploy de SEO mais comuns.
Playbooks relacionados
Playbook de implementação de marcação Schema para SEO
Playbook passo a passo para implementar dados estruturados em todo o site, conquistar rich results e melhorar a visibilidade na busca.
ChecklistChecklist de SEO para migração de site com o Auditite
Checklist completo para preservar o equity de SEO em mudanças de domínio, migrações de CMS, redesigns e transições para HTTPS.
PlaybookPlaybook de testes de dados estruturados com o Auditite
Abordagem sistemática para testar, validar e solucionar problemas de marcação de dados estruturados em todo o seu site.
Chega de copiar e colar. Comece a automatizar.
O Auditite transforma playbooks em fluxos de auditoria ao vivo. Comece agora para ver como funciona.