Gerador de Robots.txt

O que faz o arquivo robots.txt

Um arquivo robots.txt informa aos rastreadores quais partes de um site eles devem visitar, ignorar ou tratar com regras especiais antes de começarem a buscar páginas.

Como este gerador ajuda

Esta ferramenta permite que você escolha uma política de rastreamento padrão, adicione caminhos explicitamente permitidos e bloqueados, defina um atraso de rastreamento opcional e anexe diretivas de sitemap ou host sem precisar escrever o arquivo manualmente.

Casos de uso comuns

• Bloqueie o acesso de rastreadores amplos a áreas administrativas, páginas de pesquisa, filtros ou ferramentas internas.
• Permitir que uma seção do site, privada por padrão, exponha apenas alguns caminhos públicos.
• Publique o endereço do mapa do site principal para que os mecanismos de busca possam descobrir URLs recentes mais rapidamente.
• Crie um modelo inicial de robots.txt para listas de verificação de preparação, migrações e lançamento.

Melhores práticas e limitações

O arquivo robots.txt é uma diretiva de rastreamento, não um sistema de controle de acesso, portanto, conteúdo sensível ainda deve ser protegido com autenticação ou outras restrições do lado do servidor.

Diferentes rastreadores suportam diferentes diretivas. Por exemplo, a diretiva `host` não é universal e a diretiva `crawl-delay` pode ser ignorada por alguns bots, portanto, sempre valide suas regras finais em relação aos rastreadores que você considera importantes.