Robots.txt analizador
Robots simples.txx analizador
Descripción
Analice archivos robots.txt para comprender las instrucciones de rastreo del sitio web.La información se actualiza cada 24 horas después de las pautas especificadas.Enlace RFC: https://www.rfc-editor.org/rfc/rfc9309.html