Auditite
Todos os templates
Template Gerente de SEO

Template de configuração do robots.txt com o Auditite

Configure o robots.txt corretamente com este modelo. Cobre diretivas para os principais crawlers, padrões comuns de CMS e procedimentos de teste.

Visão geral

O arquivo robots.txt controla quais partes do seu site os crawlers dos mecanismos de busca podem acessar. Um robots.txt mal configurado pode impedir a indexação de conteúdo importante ou desperdiçar crawl budget em páginas de baixo valor. Este modelo oferece configurações padrão para os tipos de site mais comuns.

Referência de sintaxe do robots.txt

DiretivaFinalidadeExemplo
User-agentEspecifica a quais rastreadores as regras se aplicamUser-agent: Googlebot
DisallowBloqueia o rastreamento de um caminhoDisallow: /admin/
AllowPermite o rastreamento explicitamente (sobrepõe o Disallow)Allow: /admin/public/
SitemapAponta para o seu sitemap XMLSitemap: https://example.com/sitemap.xml
Crawl-delayAtraso entre requisições nos rastreamentos (não respeitado pelo Google)Crawl-delay: 10

Regras principais:

  • O robots.txt deve ficar na raiz: https://example.com/robots.txt
  • As diretivas diferenciam maiúsculas e minúsculas nos caminhos
  • Caminhos mais específicos têm precedência sobre os menos específicos
  • Um Disallow: vazio significa “permitir tudo”
  • A ausência de um robots.txt significa “permitir tudo”

Template padrão

# Robots.txt for example.com
# Updated: 2026-10-15

User-agent: *
Disallow: /admin/
Disallow: /api/
Disallow: /search?
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /thank-you/
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

Templates específicos por CMS

WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /wp-json/
Disallow: /*?s=
Disallow: /*?replytocom=
Disallow: /tag/*/page/
Disallow: /author/

Sitemap: https://example.com/sitemap_index.xml

Shopify

User-agent: *
Disallow: /admin
Disallow: /cart
Disallow: /orders
Disallow: /checkouts/
Disallow: /checkout
Disallow: /account
Disallow: /collections/*+*
Disallow: /collections/*%2B*
Disallow: /collections/*%2b*
Disallow: /*?variant=
Disallow: /*?sort_by=
Disallow: /*?filter=

Sitemap: https://example.com/sitemap.xml

E-commerce (geral)

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /wishlist/
Disallow: /compare/
Disallow: /search?
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*?color=
Disallow: /*?size=
Disallow: /*?price=
Disallow: /*?page=
Allow: /

Sitemap: https://example.com/sitemap.xml

O que bloquear e o que permitir

Tipo de conteúdoBloquear?Motivo
Páginas de admin/loginSimSem valor de SEO, com risco de segurança
Páginas de resultados de buscaSimConteúdo raso/duplicado
Carrinho/checkoutSimSem valor para SEO, dados pessoais
Páginas de conta de usuárioSimDados pessoais, sem valor para SEO
URLs de navegação facetadaSimConteúdo duplicado, desperdício de rastreamento
Parâmetros de ordenação/filtroSimConteúdo duplicado
Endpoints de APISimNão destinado ao público
Arquivos CSS/JSNãoO Google precisa deles para renderizar
ImagensNãoImagens precisam de indexação
PDFs/documentosNãoFrequentemente conteúdo valioso
Conteúdo do blogNãoConteúdo central de SEO
Páginas de produtoNãoConteúdo central de SEO

Configuração de rastreadores de IA

CrawlerUser-agentFinalidadeRecomendação
GPTBotGPTBotDados de treinamento da OpenAIBloqueie, se quiser
Google-ExtendedGoogle-ExtendedDados de treinamento do GeminiBloqueie, se quiser
CCBotCCBotCommon CrawlBloqueie, se quiser
Anthropicanthropic-aiDados de treinamento do ClaudeBloqueie, se quiser
BytespiderBytespiderTikTok/ByteDanceBloqueie, se quiser
# Optional: Block AI training crawlers
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: /

Checklist de testes

  • O arquivo está acessível em /robots.txt (retorna status 200)
  • A sintaxe é válida (sem erros de digitação nas diretivas)
  • O conteúdo importante NÃO está bloqueado
  • As páginas de baixo valor ESTÃO bloqueadas
  • A URL do sitemap está incluída e é válida
  • Testado com o testador de robots.txt do Google (Search Console)
  • Nenhum Disallow: / acidental bloqueando o site inteiro
  • Os arquivos CSS e JS não estão bloqueados (necessários para a renderização)
  • O diretório de imagens não está bloqueado

Planilha de auditoria

Padrão de URLBloqueado atualmente?Deve ser bloqueado?Ação necessária
/ (site inteiro)Não
/admin/Sim
/blog/Não
/search?Sim

Erros comuns

ErroImpactoCorreção
Bloqueio do site inteiro (Disallow: /)Nada é indexadoRemova ou especifique os caminhos
Bloqueio de CSS/JSProblemas de renderização, avaliação ruimPermitir diretórios de CSS/JS
Bloqueio de imagensSem tráfego da busca de imagensPermitir diretórios de imagens
Não incluir o sitemapDescoberta mais lenta de páginas novasAdicionar a diretiva Sitemap
Usar o robots.txt para noindexNão remove do índiceUse meta noindex em vez disso
Espaço antes dos dois-pontosA diretiva pode não ser interpretadaRemover espaços

O Auditite valida a configuração do seu robots.txt em cada auditoria, sinalizando conteúdo importante bloqueado, sitemaps ausentes e erros de sintaxe.

Quer o passo a passo por trás deste modelo?

Confira nossos playbooks com guias passo a passo do processo de auditoria.

Receba insights toda semana

Junte-se às equipes que recebem toda semana playbooks acionáveis, benchmarks e novidades do produto.