Guia de boas práticas de robots.txt para equipes de SEO
Conheça as boas práticas de robots.txt para controlar o acesso dos crawlers, proteger páginas sensíveis e otimizar seu crawl budget com eficácia.
Equipe Auditite
Índice
Entenda o robots.txt e seu papel no SEO
O arquivo robots.txt é um arquivo de texto simples, colocado no diretório raiz do seu site, que informa aos crawlers dos mecanismos de busca quais partes do site eles podem ou não acessar. Apesar da simplicidade, configurar o robots.txt de forma errada é um dos erros de SEO técnico mais comuns — e um dos mais prejudiciais.
Uma única diretiva fora do lugar pode bloquear a indexação do seu site inteiro, enquanto um arquivo permissivo demais pode desperdiçar orçamento de rastreamento em páginas que nunca deveriam aparecer nos resultados de busca.
Como funciona o robots.txt
Quando um crawler de mecanismo de busca chega ao seu domínio, a primeira coisa que ele solicita é https://yourdomain.com/robots.txt. Com base nas diretivas que encontra, o crawler decide quais URLs tem permissão para visitar.
As principais diretivas incluem:
- User-agent — define a quais crawlers as regras se aplicam (por exemplo,
Googlebot,Bingbotou*para todos) - Disallow — Bloqueia o rastreamento do caminho especificado
- Allow — Permite explicitamente o rastreamento de um caminho (útil para sobrepor regras Disallow mais amplas)
- Sitemap — Aponta os crawlers para o seu sitemap XML
- Crawl-delay — Orienta certos bots a esperar entre as requisições (não é respeitado pelo Googlebot)
Limitações importantes
O robots.txt é uma diretiva, não uma medida de segurança. Bots bem-comportados o seguem, mas bots maliciosos o ignoram por completo. Nunca use o robots.txt para esconder informações sensíveis — use autenticação no servidor.
Além disso, bloquear uma página com o robots.txt não impede que ela apareça nos resultados de busca. Se outros sites linkam para uma página bloqueada, o Google ainda pode indexar a URL (sem conteúdo). Para impedir totalmente a indexação, use a meta tag noindex.
Regras essenciais de robots.txt para todo site
Bloqueie resultados de busca interna
As páginas de resultados da busca interna criam combinações quase infinitas de URLs que desperdiçam crawl budget e correm o risco de serem sinalizadas como conteúdo raso ou duplicado:
Disallow: /search
Disallow: /search?
Bloqueie a navegação facetada
Sites de e-commerce com filtros de cor, tamanho, faixa de preço e outros atributos geram milhares de URLs baseadas em parâmetros. Bloqueie esses caminhos filtrados:
Disallow: /*?sort=
Disallow: /*?filter=
Disallow: /*&color=
Bloqueie as áreas de administração e login
Os crawlers não têm nada que fazer no seu painel administrativo, nas páginas de login ou nas áreas de gerenciamento de conta:
Disallow: /admin/
Disallow: /login
Disallow: /account/
Disallow: /wp-admin/
Bloqueie as páginas de carrinho e checkout
As páginas de carrinho de compras e checkout são específicas de sessão e não têm valor de SEO:
Disallow: /cart
Disallow: /checkout
Bloqueie caminhos de conteúdo duplicado
Se o seu CMS gera vários padrões de URL para o mesmo conteúdo (por exemplo, arquivos de tags, arquivos por data), bloqueie as duplicatas:
Disallow: /tag/
Disallow: /author/
Inclua a referência ao seu sitemap
Sempre inclua uma diretiva de sitemap no final do seu robots.txt:
Sitemap: https://yourdomain.com/sitemap-index.xml
Erros comuns de robots.txt a evitar
Bloqueio de arquivos CSS e JavaScript
Anos atrás, era prática comum bloquear arquivos CSS e JS para os crawlers. Hoje isso é prejudicial, porque o Google precisa renderizar suas páginas por completo para avaliar a qualidade delas. Se o Googlebot não consegue acessar o seu CSS e JS, ele não consegue avaliar corretamente os seus Core Web Vitals nem entender o layout da página.
Usar Disallow: / sem perceber o impacto
Uma única diretiva Disallow: / sob User-agent: * bloqueia o site inteiro para todos os crawlers. Às vezes ela é adicionada durante o desenvolvimento e esquecida depois do lançamento. Audite sempre o robots.txt após migrações ou redesigns do site.
Regras Allow e Disallow conflitantes
Quando várias regras se aplicam ao mesmo caminho de URL, os mecanismos de busca usam a regra correspondente mais específica. No entanto, depender desse comportamento gera confusão e dor de cabeça na manutenção. Mantenha suas regras claras e sem sobreposição.
Esquecer de atualizar após mudanças no site
Seu robots.txt deve evoluir junto com o site. Novos padrões de URL, seções descontinuadas e mudanças estruturais exigem atualizações no robots.txt. Inclua a revisão do robots.txt no seu processo regular de auditoria de SEO técnico.
Robots.txt para diferentes plataformas
WordPress
O WordPress serve um robots.txt virtual, a menos que exista um arquivo físico; nosso guia de robots.txt para WordPress explica como editá-lo com segurança no Yoast, no Rank Math ou via FTP. Sites WordPress costumam precisar bloquear:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Disallow: /tag/
Disallow: /author/
Disallow: /?s=
Disallow: /search/
Shopify
A Shopify gera um robots.txt padrão que, em geral, é bem configurado, mas você pode personalizá-lo pelo arquivo de template robots.txt.liquid. Acréscimos comuns incluem bloquear páginas de filtros de coleção e URLs de variantes.
Next.js e Single-Page Applications
Sites com muito JavaScript exigem atenção especial. Garanta que você não bloqueie os bundles de JavaScript de que o Googlebot precisa para renderizar suas páginas. Leia nosso guia completo de SEO para JavaScript para mais detalhes.
Como testar seu robots.txt
O robots.txt também é o primeiro lugar a consultar quando você precisa saber onde fica o sitemap de um site; veja como encontrar o sitemap de um site.
Inspeção de URL do Google Search Console
Use a ferramenta de Inspeção de URL para verificar se URLs específicas estão bloqueadas pelo seu robots.txt. Esse é o teste mais confiável, pois usa o parser real do Google.
Ferramentas de teste de robots.txt
Várias ferramentas online podem validar a sintaxe do seu robots.txt e testar URLs específicas contra as regras. Execute esses testes após cada alteração.
Monitoramento automatizado
Configure um monitoramento automatizado que avise se o seu robots.txt mudar inesperadamente. Uma edição acidental durante o deploy pode impedir o rastreamento de páginas críticas. O Auditite monitora o seu robots.txt e alerta sobre qualquer mudança que possa afetar o SEO.
Técnicas avançadas de robots.txt
Crawl-delay para bots que não são do Google
Embora o Googlebot ignore a diretiva Crawl-delay, outros bots, como Bingbot e Yandex, a respeitam. Se crawlers secundários estiverem sobrecarregando seu servidor, adicione um crawl delay:
User-agent: Bingbot
Crawl-delay: 5
Correspondência de padrões com curingas
Tanto * (corresponde a qualquer sequência de caracteres) quanto $ (corresponde ao fim da URL) podem ser usados em caminhos do robots.txt:
Disallow: /*.pdf$— Bloqueia todos os arquivos PDFDisallow: /*?sessionid=— Bloqueia URLs com parâmetros de sessãoDisallow: /category/*/feed/— bloqueia feeds em caminhos de categoria
Regras específicas por bot
Você pode criar regras diferentes para crawlers diferentes. Isso é útil quando você quer que o Google rastreie certas páginas, mas as mantenha fora do Bing, ou vice-versa:
User-agent: Googlebot
Allow: /special-section/
User-agent: Bingbot
Disallow: /special-section/
Checklist de auditoria do robots.txt
Percorra este checklist em toda auditoria de SEO técnico:
- O arquivo está acessível em
https://yourdomain.com/robots.txt - Nenhuma página crítica está bloqueada (página inicial, páginas de produto, posts de blog)
- Arquivos CSS e JS não estão bloqueados
- As páginas de baixo valor estão bloqueadas corretamente (busca, filtros, admin)
- A URL do sitemap está incluída
- Não há diretivas conflitantes
- A sintaxe é válida e está bem formatada
- O arquivo reflete a estrutura atual do site (sem regras desatualizadas)
Principais conclusões
Seu arquivo robots.txt é um instrumento poderoso, mas pouco preciso, para controlar o acesso dos crawlers. Use-o de forma estratégica para proteger seu crawl budget, mas lembre-se de que ele não substitui tags noindex adequadas, canonical tags ou controles de acesso no servidor. Audite-o regularmente, teste cada mudança e mantenha-o sempre alinhado à arquitetura atual do seu site.
Fique por dentro
Receba insights, estratégias e novidades do produto na sua caixa de entrada.
Sem spam. Cancele a inscrição quando quiser.
Pronto para ver o Auditite em ação?
Comece agora e veja como o Auditite pode transformar o seu fluxo de auditoria de SEO.
Começar