Auditite
Voltar ao glossário
SEO técnico

Robots.txt

Saiba o que é um arquivo robots.txt, como ele controla o comportamento de rastreamento dos mecanismos de busca e como configurá-lo corretamente para obter melhores resultados de SEO.

O Robots.txt é um arquivo de texto simples colocado na raiz do seu site que dá instruções aos crawlers dos mecanismos de busca sobre quais partes do site eles devem ou não acessar. Ele segue o Robots Exclusion Protocol e é o primeiro arquivo que os bots verificam antes de rastrear o seu site. Embora sugira um comportamento de rastreamento, não garante que as páginas bloqueadas sejam excluídas dos resultados de busca.

Por que isso importa para o SEO

O robots.txt tem um papel crítico na gestão do seu orçamento de rastreamento. Ao afastar os bots de áreas de baixo valor, como painéis administrativos, ambientes de staging, conteúdo duplicado ou páginas de navegação facetada, você garante que os crawlers gastem seu tempo limitado nas páginas que realmente importam para os seus rankings. Arquivos robots.txt mal configurados estão entre as causas mais comuns de problemas de indexação, capazes de bloquear acidentalmente seções inteiras de um site para os mecanismos de busca.

Como configurar o robots.txt

Coloque o arquivo na raiz do seu domínio, para que fique acessível em seu domínio seguido de /robots.txt. Use diretivas User-agent para mirar bots específicos e regras Disallow para bloquear caminhos. A diretiva Allow pode sobrepor regras disallow mais amplas em subcaminhos específicos.

Referencie seu sitemap XML no final do arquivo usando a diretiva Sitemap. Isso ajuda os mecanismos de busca a descobrir seu sitemap sem precisar passar pelo Google Search Console.

Para páginas que você quer excluir totalmente dos resultados de busca, use uma meta tag noindex em vez do robots.txt. Bloquear via robots.txt impede que os crawlers vejam a diretiva noindex, o que pode fazer a página continuar aparecendo nos resultados de busca.

Erros comuns

  • Bloquear arquivos CSS e JavaScript: os mecanismos de busca modernos precisam renderizar as páginas para entendê-las. Bloquear recursos críticos para a renderização quebra a renderização de JavaScript e prejudica seus rankings.
  • Usar o robots.txt para esconder páginas dos resultados de busca: páginas bloqueadas ainda podem ser indexadas se outros sites apontarem para elas. Use noindex para desindexar.
  • Deixar uma diretiva disallow-all do ambiente de staging: depois de lançar um site, verifique se o robots.txt não mantém um disallow geral da fase de desenvolvimento.
  • Não testar as mudanças: use o testador de robots.txt no Google Search Console antes de implantar atualizações em produção.
  • Esquecer as barras finais: Disallow /admin bloqueia /admin, /admin/ e /admin/page, enquanto Disallow /admin/ bloqueia apenas os caminhos dentro do diretório.

Um arquivo robots.txt bem configurado é fundamental para o SEO técnico e prepara o terreno para um rastreamento e uma indexação eficientes.

Veja em ação

Veja como o Auditite coloca o robots.txt em prática.

Explore o SEO técnico

Veja como o Auditite lida com isso

Comece agora e veja a plataforma em ação.

Começar

Receba insights toda semana

Junte-se às equipes que recebem toda semana playbooks acionáveis, benchmarks e novidades do produto.