Analisador robots.txt
Analisador simples robots.txx
Descrição
Analise os arquivos robots.txt para entender as instruções de rastreamento do site.As informações são atualizadas a cada 24 horas após as diretrizes especificadas.Link RFC: https://www.rfc-editor.org/rfc/rfc9309.html