Robots.txt: o que é, como funciona e erros que custam caro
O robots.txt é um arquivo de texto na raiz do site (seusite.com.br/robots.txt) com regras para os robôs dos buscadores: quais partes do site eles podem visitar e quais não. Ele controla o rastreamento, não a indexação, e um erro nele pode esconder o site inteiro do Google.
Robots.txt: o que é e onde fica
Antes de visitar um site, o robô do Google (o Googlebot) procura um arquivo chamado robots.txt no endereço principal. Se acha, lê as regras e segue. Se não acha, entende que pode visitar tudo.
O arquivo precisa estar na raiz: seusite.com.br/robots.txt. Numa pasta, como seusite.com.br/blog/robots.txt, ele não vale. E cada subdomínio tem o seu: o robots.txt de loja.seusite.com.br não manda no www.
É um arquivo de texto puro, em UTF-8. Segundo a documentação do Google, o limite é de 500 KiB, e o que passar disso é ignorado. Site de pequena empresa usa poucas linhas.
Os robôs de outros buscadores, como o Bing, também leem o arquivo. Os robôs sérios respeitam as regras, mas nada obriga um robô mal-intencionado a obedecer.
Um robots.txt comentado, linha por linha
O Google entende quatro campos: user-agent (para qual robô vale a regra), disallow (o que não pode visitar), allow (o que pode, mesmo dentro de uma área bloqueada) e sitemap (onde está a lista de páginas). Outros campos, como crawl-delay, o Google não usa.
Um robots.txt típico de site de empresa fica assim:
| Linha | O que quer dizer |
|---|---|
User-agent: * | As regras abaixo valem para todos os robôs |
Disallow: /area-do-cliente/ | Não visite a área restrita |
Disallow: /obrigado/ | Não visite a página de obrigado do formulário |
Allow: / | O resto do site está liberado |
Sitemap: https://seusite.com.br/sitemap.xml | A lista de páginas está neste endereço completo |
Fonte: Google Search Central, "How Google interprets the robots.txt specification" (consultado em 03/11/2026).
O caminho depois de Disallow diferencia maiúscula de minúscula. /Obrigado/ e /obrigado/ são endereços diferentes para o robô.
Mande o endereço. A gente lê o seu robots.txt e diz se tem alguma regra atrapalhando.
O que o robots.txt não faz
Este é o ponto que mais confunde. O robots.txt diz ao robô para não entrar numa página. Ele não diz para o Google não mostrar a página.
A documentação do Google é clara: uma página bloqueada no robots.txt pode continuar aparecendo na busca, só com o endereço e sem descrição, se outros sites linkarem para ela. Para tirar uma página do Google, o certo é a etiqueta noindex na própria página, e o robô precisa conseguir entrar para ler essa etiqueta.
Ou seja: bloquear no robots.txt e colocar noindex ao mesmo tempo não funciona. O robô não entra, não vê o noindex e a página pode continuar lá.
Também não é segurança
O robots.txt é público, qualquer pessoa abre. Listar ali uma pasta secreta é praticamente avisar onde ela está. Área restrita se protege com senha, não com robots.txt.
Quando vale bloquear alguma coisa no robots.txt
Site de pequena empresa costuma precisar de pouco bloqueio. Estes são os casos em que faz sentido.
Busca interna do site
Se o site tem uma caixa de busca, cada pesquisa gera um endereço novo, como /?s=dentista. São páginas sem valor para o Google. Bloquear esse caminho economiza visita do robô.
Área do cliente e painel
Login, painel administrativo e área restrita não têm nada para o Google mostrar. O bloqueio não protege, só evita a visita. A proteção é a senha.
Filtros e ordenação de loja
Em loja virtual, cada combinação de filtro (cor, tamanho, preço) pode virar um endereço. Bloquear os parâmetros de filtro evita que o robô se perca em variações da mesma página.
O que não bloquear
Páginas de serviço, artigos, imagens e os arquivos de CSS e JavaScript que montam o visual. Se o Google não carrega o visual, ele não vê a página como o cliente vê.
Na dúvida, menos é mais. Poucas linhas bem pensadas resolvem o caso da maioria das empresas de serviço.
Os erros de robots.txt que custam mais caro
Um robots.txt errado não dá aviso no site. Ele vai apagando o site do Google em silêncio. Estes são os casos mais comuns.
Disallow: /esquecido depois do site novo: a regra de "site em construção" bloqueia tudo e vai para o ar junto.- Bloquear as pastas de CSS e JavaScript: o Google não consegue montar a página e entende o site errado.
- Usar o robots.txt para esconder página do Google, em vez do noindex.
- Copiar o robots.txt de outro site, com caminhos que não existem no seu.
- Sitemap com endereço relativo ou antigo na linha Sitemap.
- Servidor devolvendo erro ao abrir o robots.txt.
O último item merece atenção. Pela documentação do Google, quando o robots.txt devolve erro de servidor, o Google para de visitar o site nas primeiras 12 horas e, por até 30 dias, usa a última versão boa que tinha guardada. Um problema de hospedagem vira problema de Google.
Como conferir o robots.txt do seu site
Abra seusite.com.br/robots.txt no navegador. Se aparecer Disallow: / sozinho debaixo de User-agent: *, o site está bloqueado. Se aparecer uma página de erro, o arquivo não existe, o que não é grave, mas vale criar.
No Google Search Console, o relatório de robots.txt (em Configurações) mostra a versão que o Google leu e quando. É o jeito de confirmar que a correção chegou até ele. Lembre que o Google costuma guardar a cópia do arquivo por até 24 horas antes de ler de novo.
Conferir o robots.txt, o sitemap.xml e as etiquetas de noindex é a primeira coisa do nosso SEO técnico para sites de empresa, porque um bloqueio aqui anula todo o resto. Outros guias técnicos estão na categoria SEO e Google do blog.
Perguntas frequentes
Todo site precisa de robots.txt?
Não é obrigatório. Sem ele, o Google entende que pode visitar tudo. Mas é útil para bloquear áreas sem valor e informar o sitemap.
Robots.txt tira uma página do Google?
Não. Ele impede o robô de entrar, mas a página pode continuar aparecendo sem descrição. Para tirar do Google, use a etiqueta noindex.
Onde fica o robots.txt?
Sempre na raiz do domínio: seusite.com.br/robots.txt. Em outra pasta, o Google não lê.
Quanto tempo o Google leva para ler a mudança?
Segundo a documentação do Google, ele costuma guardar a cópia do robots.txt por até 24 horas antes de buscar de novo.
Posso bloquear robôs de IA no robots.txt?
Pode criar regras para robôs específicos pelo nome deles no User-agent. Antes, pense se você quer ou não ser citado nas respostas das IAs.
