Guia de robots.txt e Sitemap.xml: Configuração Correta e Erros Comuns
Um único erro de linha no robots.txt pode apagar seu site inteiro da busca. Para que servem os dois arquivos, como escrevê-los corretamente, a diferença entre disallow e noindex, e seis erros comuns no sitemap.