Robots.txt
Saiba o que é um arquivo robots.txt, como ele controla o comportamento de rastreamento dos mecanismos de busca e como configurá-lo corretamente para obter melhores resultados de SEO.
O Robots.txt é um arquivo de texto simples colocado na raiz do seu site que dá instruções aos crawlers dos mecanismos de busca sobre quais partes do site eles devem ou não acessar. Ele segue o Robots Exclusion Protocol e é o primeiro arquivo que os bots verificam antes de rastrear o seu site. Embora sugira um comportamento de rastreamento, não garante que as páginas bloqueadas sejam excluídas dos resultados de busca.
Por que isso importa para o SEO
O robots.txt tem um papel crítico na gestão do seu orçamento de rastreamento. Ao afastar os bots de áreas de baixo valor, como painéis administrativos, ambientes de staging, conteúdo duplicado ou páginas de navegação facetada, você garante que os crawlers gastem seu tempo limitado nas páginas que realmente importam para os seus rankings. Arquivos robots.txt mal configurados estão entre as causas mais comuns de problemas de indexação, capazes de bloquear acidentalmente seções inteiras de um site para os mecanismos de busca.
Como configurar o robots.txt
Coloque o arquivo na raiz do seu domínio, para que fique acessível em seu domínio seguido de /robots.txt. Use diretivas User-agent para mirar bots específicos e regras Disallow para bloquear caminhos. A diretiva Allow pode sobrepor regras disallow mais amplas em subcaminhos específicos.
Referencie seu sitemap XML no final do arquivo usando a diretiva Sitemap. Isso ajuda os mecanismos de busca a descobrir seu sitemap sem precisar passar pelo Google Search Console.
Para páginas que você quer excluir totalmente dos resultados de busca, use uma meta tag noindex em vez do robots.txt. Bloquear via robots.txt impede que os crawlers vejam a diretiva noindex, o que pode fazer a página continuar aparecendo nos resultados de busca.
Erros comuns
- Bloquear arquivos CSS e JavaScript: os mecanismos de busca modernos precisam renderizar as páginas para entendê-las. Bloquear recursos críticos para a renderização quebra a renderização de JavaScript e prejudica seus rankings.
- Usar o robots.txt para esconder páginas dos resultados de busca: páginas bloqueadas ainda podem ser indexadas se outros sites apontarem para elas. Use noindex para desindexar.
- Deixar uma diretiva disallow-all do ambiente de staging: depois de lançar um site, verifique se o robots.txt não mantém um disallow geral da fase de desenvolvimento.
- Não testar as mudanças: use o testador de robots.txt no Google Search Console antes de implantar atualizações em produção.
- Esquecer as barras finais: Disallow /admin bloqueia /admin, /admin/ e /admin/page, enquanto Disallow /admin/ bloqueia apenas os caminhos dentro do diretório.
Um arquivo robots.txt bem configurado é fundamental para o SEO técnico e prepara o terreno para um rastreamento e uma indexação eficientes.
Artigos relacionados
Como encontrar o sitemap de um site (7 formas)
Como encontrar o sitemap de um site: verifique o robots.txt, URLs comuns de sitemap, padrões do CMS e o Search Console, e depois teste o XML do sitemap em busca de erros em minutos.
robots.txt no WordPress: o que incluir e por quê
Como funciona o robots.txt do WordPress: o arquivo virtual padrão, como editá-lo no Yoast, no Rank Math ou via FTP, um arquivo recomendado e as regras que prejudicam o SEO silenciosamente.
Guia de boas práticas de robots.txt para equipes de SEO
Conheça as boas práticas de robots.txt para controlar o acesso dos crawlers, proteger páginas sensíveis e otimizar seu crawl budget com eficácia.