Auditite
Voltar ao blog
SEO técnico Auditoria de SEO técnico 2026-10-12 9 min de leitura

robots.txt no WordPress: o que incluir e por quê

Como funciona o robots.txt do WordPress: o arquivo virtual padrão, como editá-lo no Yoast, no Rank Math ou via FTP, um arquivo recomendado e as regras que prejudicam o SEO silenciosamente.

A

Equipe Auditite

robots.txtWordPressSEO técnicocontrole de rastreamento

A maioria dos sites WordPress nem tem um arquivo robots.txt. Acesse https://yoursite.com/robots.txt e você ainda verá um, porque o WordPress o gera na hora. Essa distância entre “o arquivo que você vê” e “o arquivo que existe” é onde começam a maioria dos problemas de robots.txt no WordPress: as pessoas editam um arquivo físico que um plugin depois ignora, ou uma configuração de plugin que um arquivo físico sobrescreve silenciosamente.

Este guia explica como o robots.txt do WordPress realmente funciona, como editá-lo com segurança, como é um arquivo sensato para um site típico e as regras que removeríamos de quase todo robots.txt de WordPress que encontramos.

Como o WordPress gera o robots.txt

O núcleo do WordPress inclui uma função chamada do_robots(). Quando uma requisição a /robots.txt chega ao WordPress e não existe um arquivo robots.txt físico na raiz do site, o WordPress cria um virtual e o entrega.

Em uma instalação atual do WordPress com a visibilidade para mecanismos de busca ativada, o arquivo virtual fica assim:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/wp-sitemap.xml

Três coisas estão acontecendo:

  1. Disallow: /wp-admin/ mantém os crawlers fora da área de administração, que não tem nada que valha a pena indexar.
  2. Allow: /wp-admin/admin-ajax.php reabre o único endpoint de administração que temas e plugins chamam a partir do front-end. Bloqueá-lo pode impedir o Google de renderizar conteúdo carregado via AJAX.
  3. Sitemap: aponta para o sitemap XML nativo que o WordPress oferece desde a versão 5.5. Se um plugin de SEO substituir o sitemap nativo, o plugin geralmente troca essa linha pelo próprio índice de sitemaps (por exemplo, sitemap_index.xml).

Como o arquivo é virtual, plugins e temas podem alterá-lo pelo filtro robots_txt sem tocar no sistema de arquivos. É exatamente assim que o Yoast SEO e o Rank Math adicionam suas linhas de sitemap.

O arquivo físico sempre vence

Se você enviar um robots.txt real para a raiz web, seu servidor web o entregará diretamente e o WordPress nunca executará do_robots(). Qualquer configuração de plugin que edite o arquivo virtual deixa de ter efeito. Esse é o motivo mais comum para quem diz “mudei o robots.txt no meu plugin de SEO, mas nada aconteceu”.

Verificação rápida: abra o arquivo por SFTP ou pelo gerenciador de arquivos da hospedagem. Se robots.txt existir na mesma pasta que wp-config.php, é ele que está sendo servido.

Como editar o robots.txt no WordPress

Há três formas confiáveis. Escolha uma e mantenha-a, para que exista sempre uma única fonte da verdade.

Opção 1: Yoast SEO

  1. Acesse Yoast SEO → Ferramentas → Editor de arquivos.
  2. Se não existir um arquivo físico, o Yoast oferece a opção de criar um. Clique em Criar arquivo robots.txt.
  3. Edite e salve.

Observe que o editor de arquivos do Yoast grava um arquivo físico. A partir daí, o arquivo virtual do WordPress deixa de ser usado. Se a opção File editor não aparecer, provavelmente a edição de arquivos está desativada na sua instalação (por exemplo, via DISALLOW_FILE_EDIT em wp-config.php) ou a sua hospedagem não permite que o PHP grave na raiz do site.

Opção 2: Rank Math

  1. Acesse Rank Math → Configurações gerais → Editar robots.txt.
  2. Edite o conteúdo e salve.

O Rank Math edita o arquivo virtual por meio do filtro. Se existir um robots.txt físico, o Rank Math exibe o campo como somente leitura e pede que você exclua primeiro o arquivo físico.

Opção 3: Envie o arquivo você mesmo

  1. Crie um arquivo de texto simples chamado robots.txt (UTF-8, sem BOM).
  2. Envie o arquivo por SFTP ou pelo gerenciador de arquivos da sua hospedagem para a raiz web.
  3. Carregue https://yoursite.com/robots.txt em uma janela anônima para confirmar que o novo conteúdo está sendo servido. Limpe o cache de página ou da CDN se ainda vir a versão antiga.

Essa opção é a mais previsível, especialmente em hospedagens gerenciadas e configurações multisite, porque nenhum plugin pode alterá-la pelas suas costas.

Para um blog WordPress ou site empresarial típico, isto é o mais próximo do que recomendamos:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

Por que cada linha está ali:

  • As regras de admin são os padrões do WordPress e são seguras.
  • /?s= e /search/ bloqueiam URLs de resultados de busca interna. As páginas de busca interna podem gerar um número ilimitado de URLs rasas e quase duplicadas e são uma fonte comum de spam: bots enviam consultas com frases spam, e essas URLs podem acabar sendo descobertas e rastreadas. Bloqueá-las preserva a atividade de rastreamento para as páginas que importam.
  • Sitemap: deve apontar para o sitemap que o seu site realmente serve. Abra-o no navegador para confirmar que ele retorna XML e não um 404. Se você não tem certeza de qual é esse sitemap, nosso guia sobre como encontrar o sitemap de um site explica o passo a passo.

Complementos para WooCommerce

As lojas costumam adicionar:

Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?add-to-cart=

Essas páginas são específicas de cada usuário e não têm valor para busca. A regra add-to-cart importa mais do que se imagina: cada link de listagem de produtos com ?add-to-cart= é uma URL rastreável que gera processamento no servidor.

Filtros facetados (?filter_color=, ?orderby=) são uma questão de julgamento. Em catálogos pequenos, deixe-os rastreáveis e trate as duplicatas com canonicals. Em catálogos grandes, em que os filtros se multiplicam em milhares de combinações, bloquear os piores padrões de parâmetros pode ajudar. Nosso guia de navegação facetada trata dessa decisão em detalhes.

O que não colocar no robots.txt do WordPress

Aqui está o ângulo que a maioria dos tutoriais de robots.txt erra: eles tratam o arquivo como uma lista de “coisas para esconder”. A maioria dos problemas de robots.txt no WordPress vem de regras adicionadas com boas intenções anos atrás.

Não bloqueie /wp-content/ nem /wp-includes/

Guias antigos recomendavam isso para “proteger” as pastas do WordPress. Essas pastas guardam o CSS, o JavaScript e as imagens de que o Google precisa para renderizar as suas páginas. O Google renderiza páginas de forma semelhante a um navegador, então bloquear esses recursos pode fazer as páginas parecerem quebradas ou vazias para o Googlebot. A própria documentação do Google desaconselha bloquear recursos necessários para a renderização.

Não bloqueie /wp-content/uploads/

É onde ficam as suas imagens. Se você bloqueá-lo, suas imagens somem do Google Imagens, e as páginas que dependem delas para contexto perdem sinais.

Não use o robots.txt para remover páginas do Google

Disallow interrompe o rastreamento, não a indexação. Se outros sites linkam para uma URL bloqueada, o Google ainda pode indexar a própria URL, normalmente sem descrição, porque não consegue ler a página. Pior: uma tag noindex em uma página bloqueada nunca é vista, porque o Google não tem permissão para acessá-la. Para remover arquivos de tags, páginas de anexos ou páginas rasas do índice, use noindex (pelo Yoast ou Rank Math) e deixe-as rastreáveis até que saiam do índice.

Não bloqueie feeds, tags ou categorias por reflexo

Os feeds ajudam na descoberta. As páginas de categoria costumam estar entre os hubs mais fortes de um blog. Se os arquivos de tags são rasos, aplique noindex neles; não os bloqueie no robots.txt.

Cuidado com bloqueios genéricos de bots

Desde que os crawlers de IA generativa apareceram, muitos donos de sites adicionaram bloqueios como:

User-agent: GPTBot
Disallow: /

Essa é uma decisão de negócio legítima. Apenas seja preciso sobre quais user agents você bloqueia. Bloquear Googlebot ou adicionar User-agent: * / Disallow: / ao tentar bloquear bots de IA fará você desaparecer da busca por completo. A opção de exclusão do treinamento de IA do Google usa um token separado, Google-Extended, que não afeta o rastreamento do Google Search.

A caixa “Desencorajar mecanismos de busca”

Em Configurações → Leitura, o WordPress tem uma caixa “Evitar que mecanismos de busca indexem este site”. Ela serve para sites de homologação e desenvolvimento. As versões atuais do WordPress a implementam principalmente com uma meta tag robots noindex, em vez de depender do robots.txt.

O erro clássico: um site é construído em staging com essa caixa marcada, migrado para produção e lançado com a caixa ainda marcada. Algumas semanas depois, o tráfego despenca. Adicione “Configuração de visibilidade para mecanismos de busca” a todo checklist de lançamento e verifique-a no site em produção como parte de um checklist de migração de site.

Como testar o robots.txt do WordPress

  1. Acesse diretamente https://yoursite.com/robots.txt e confirme que retorna status 200 com conteúdo text/plain. Um erro 5xx no robots.txt é sério: o Google pode tratar o site inteiro como temporariamente fora dos limites.
  2. Confira o relatório do robots.txt no Google Search Console (em Configurações). Ele mostra quais arquivos robots.txt o Google encontrou, quando os buscou pela última vez e quaisquer problemas de análise.
  3. Teste URLs importantes com a ferramenta de Inspeção de URL para confirmar que não estão bloqueadas.
  4. Valide a sintaxe com um validador de robots.txt antes de implantar as mudanças.
  5. Verifique novamente após mudanças de plugin. Trocar de plugin de SEO costuma alterar a linha do sitemap, e a URL antiga pode retornar 404.

Um exemplo prático

Aqui está um robots.txt herdado que reescreveríamos na hora (ilustrativo, mas bem representativo):

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/themes/
Disallow: /tag/
Disallow: /feed/
Disallow: /*?*

Sitemap: https://example.com/sitemap.xml

Problemas, em ordem de gravidade:

  1. /wp-includes/, /wp-content/plugins/ e /wp-content/themes/ bloqueiam o CSS e o JavaScript de que o Google precisa para renderizar a página.
  2. /*?* bloqueia todas as URLs com query string, incluindo URLs paginadas ou com rastreamento legítimas e chamadas admin-ajax.php com parâmetros.
  3. /tag/ bloqueia os arquivos de tags, mas eles continuam indexados por meio de links, agora sem conteúdo que o Google possa ler. noindex é a ferramenta certa.
  4. /feed/ remove um caminho útil de descoberta sem nenhum benefício.
  5. A URL do sitemap aponta para sitemap.xml, mas o site roda Yoast, que serve sitemap_index.xml.

A versão corrigida é o arquivo recomendado mostrado antes, mais noindex nos arquivos de tags configurado no plugin de SEO.

Para uma visão mais ampla sobre diretivas, curingas e orçamento de rastreamento, veja nosso guia de boas práticas de robots.txt e a auditoria de SEO técnico para WordPress.

Perguntas frequentes

Onde fica o arquivo robots.txt no WordPress?

Na maioria das instalações não existe um arquivo físico. O WordPress gera um robots.txt virtual quando /robots.txt é solicitado. Se existir um arquivo real, ele fica na raiz web, na mesma pasta do wp-config.php, e substitui o virtual.

Como edito o robots.txt no WordPress sem um plugin?

Crie um arquivo de texto simples chamado robots.txt, envie-o para a raiz do seu site via SFTP ou pelo gerenciador de arquivos da hospedagem e limpe qualquer cache de página ou CDN. O arquivo físico substitui imediatamente o arquivo virtual do WordPress.

Por que as mudanças no robots.txt feitas no Yoast ou no Rank Math não aparecem?

Em geral, porque existe um arquivo robots.txt físico e o servidor o entrega no lugar da versão virtual do plugin, ou porque um cache ainda está servindo o arquivo antigo. Verifique a raiz do site e limpe os caches.

Devo bloquear o wp-content no robots.txt?

Não. O wp-content contém o CSS, o JavaScript e as imagens de que o Google precisa para renderizar suas páginas. Bloqueá-lo pode fazer as páginas parecerem quebradas para o Googlebot e remove as imagens do Google Imagens.

O robots.txt consegue remover uma página do WordPress do Google?

Não. O Disallow apenas impede o rastreamento. Para remover uma página dos resultados de busca, adicione uma diretiva noindex e mantenha a página rastreável para que o Google possa vê-la.

Fique por dentro

Receba insights, estratégias e novidades do produto na sua caixa de entrada.

Sem spam. Cancele a inscrição quando quiser.

Pronto para ver o Auditite em ação?

Comece agora e veja como o Auditite pode transformar o seu fluxo de auditoria de SEO.

Começar
Começar

Receba insights toda semana

Junte-se às equipes que recebem toda semana playbooks acionáveis, benchmarks e novidades do produto.