Template de configuração do robots.txt com o Auditite
Configure o robots.txt corretamente com este modelo. Cobre diretivas para os principais crawlers, padrões comuns de CMS e procedimentos de teste.
Visão geral
O arquivo robots.txt controla quais partes do seu site os crawlers dos mecanismos de busca podem acessar. Um robots.txt mal configurado pode impedir a indexação de conteúdo importante ou desperdiçar crawl budget em páginas de baixo valor. Este modelo oferece configurações padrão para os tipos de site mais comuns.
Referência de sintaxe do robots.txt
| Diretiva | Finalidade | Exemplo |
|---|---|---|
| User-agent | Especifica a quais rastreadores as regras se aplicam | User-agent: Googlebot |
| Disallow | Bloqueia o rastreamento de um caminho | Disallow: /admin/ |
| Allow | Permite o rastreamento explicitamente (sobrepõe o Disallow) | Allow: /admin/public/ |
| Sitemap | Aponta para o seu sitemap XML | Sitemap: https://example.com/sitemap.xml |
| Crawl-delay | Atraso entre requisições nos rastreamentos (não respeitado pelo Google) | Crawl-delay: 10 |
Regras principais:
- O robots.txt deve ficar na raiz:
https://example.com/robots.txt - As diretivas diferenciam maiúsculas e minúsculas nos caminhos
- Caminhos mais específicos têm precedência sobre os menos específicos
- Um
Disallow:vazio significa “permitir tudo” - A ausência de um robots.txt significa “permitir tudo”
Template padrão
# Robots.txt for example.com
# Updated: 2026-10-15
User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
Templates específicos por CMS
WordPress
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/
Sitemap: https://example.com/sitemap_index.xml
Shopify
User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=
Sitemap: https://example.com/sitemap.xml
E-commerce (geral)
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /
Sitemap: https://example.com/sitemap.xml
O que bloquear e o que permitir
| Tipo de conteúdo | Bloquear? | Motivo |
|---|---|---|
| Páginas de admin/login | Sim | Sem valor de SEO, com risco de segurança |
| Páginas de resultados de busca | Sim | Conteúdo raso/duplicado |
| Carrinho/checkout | Sim | Sem valor para SEO, dados pessoais |
| Páginas de conta de usuário | Sim | Dados pessoais, sem valor para SEO |
| URLs de navegação facetada | Sim | Conteúdo duplicado, desperdício de rastreamento |
| Parâmetros de ordenação/filtro | Sim | Conteúdo duplicado |
| Endpoints de API | Sim | Não destinado ao público |
| Arquivos CSS/JS | Não | O Google precisa deles para renderizar |
| Imagens | Não | Imagens precisam de indexação |
| PDFs/documentos | Não | Frequentemente conteúdo valioso |
| Conteúdo do blog | Não | Conteúdo central de SEO |
| Páginas de produto | Não | Conteúdo central de SEO |
Configuração de rastreadores de IA
| Crawler | User-agent | Finalidade | Recomendação |
|---|---|---|---|
| GPTBot | GPTBot | Dados de treinamento da OpenAI | Bloqueie, se quiser |
| Google-Extended | Google-Extended | Dados de treinamento do Gemini | Bloqueie, se quiser |
| CCBot | CCBot | Common Crawl | Bloqueie, se quiser |
| Anthropic | anthropic-ai | Dados de treinamento do Claude | Bloqueie, se quiser |
| Bytespider | Bytespider | TikTok/ByteDance | Bloqueie, se quiser |
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
Checklist de testes
- O arquivo está acessível em
/robots.txt(retorna status 200) - A sintaxe é válida (sem erros de digitação nas diretivas)
- O conteúdo importante NÃO está bloqueado
- As páginas de baixo valor ESTÃO bloqueadas
- A URL do sitemap está incluída e é válida
- Testado com o testador de robots.txt do Google (Search Console)
- Nenhum
Disallow: /acidental bloqueando o site inteiro - Os arquivos CSS e JS não estão bloqueados (necessários para a renderização)
- O diretório de imagens não está bloqueado
Planilha de auditoria
| Padrão de URL | Bloqueado atualmente? | Deve ser bloqueado? | Ação necessária |
|---|---|---|---|
| / (site inteiro) | Não | ||
| /admin/ | Sim | ||
| /blog/ | Não | ||
| /search? | Sim |
Erros comuns
| Erro | Impacto | Correção |
|---|---|---|
Bloqueio do site inteiro (Disallow: /) | Nada é indexado | Remova ou especifique os caminhos |
| Bloqueio de CSS/JS | Problemas de renderização, avaliação ruim | Permitir diretórios de CSS/JS |
| Bloqueio de imagens | Sem tráfego da busca de imagens | Permitir diretórios de imagens |
| Não incluir o sitemap | Descoberta mais lenta de páginas novas | Adicionar a diretiva Sitemap |
| Usar o robots.txt para noindex | Não remove do índice | Use meta noindex em vez disso |
| Espaço antes dos dois-pontos | A diretiva pode não ser interpretada | Remover espaços |
O Auditite valida a configuração do seu robots.txt em cada auditoria, sinalizando conteúdo importante bloqueado, sitemaps ausentes e erros de sintaxe.
Templates relacionados
Checklist de implementação de marcação schema para SEO
Implemente dados estruturados corretamente com este checklist de schema markup. Cobre os principais tipos de schema, etapas de validação e erros comuns de implementação.
ChecklistChecklist de auditoria de SEO para segurança de sites
Audite a segurança do seu site e seu impacto no SEO. Abrange HTTPS, conteúdo misto, cabeçalhos, sinais de malware e o status no Google Safe Browsing.
ScorecardScorecard de auditoria de SEO: fluxo de SEO automatizado
Pontue a saúde de SEO do seu site em fatores técnicos, on-page e off-page. Rubrica de pontuação ponderada com recomendações de prioridade acionáveis.
Quer o passo a passo por trás deste modelo?
Confira nossos playbooks com guias passo a passo do processo de auditoria.