SEO técnico · 24 de abr de 2026
Google pode ampliar lista de regras robots.txt não suportadas
Google avalia usar dados do HTTP Archive para documentar diretivas comuns de robots.txt que não são oficialmente suportadas.
Resumo
- A equipe do Google Search discutiu a possibilidade de expandir a documentação sobre campos não suportados em robots.txt, com base em dados reais coletados em escala.
A iniciativa pode ajudar SEOs e desenvolvedores a entender quais regras são ignoradas pelo Googlebot.
Google pode ampliar lista de regras robots.txt não suportadas
O Google pode ampliar a documentação sobre regras de robots.txt que não são suportadas oficialmente. A discussão surgiu a partir de uma proposta da comunidade, mas evoluiu para uma análise mais ampla baseada em dados reais de uso em arquivos robots.txt encontrados na web.
A ideia é identificar as diretivas não suportadas mais comuns e explicar melhor quais são ignoradas pelo Google. Para equipes técnicas, isso pode reduzir ambiguidades em auditorias de indexação, rastreamento e controle de acesso de bots.