Analyseur de robots.txt
Analyseur de robots simples.txx
Description
Analyser les fichiers robots.txt pour comprendre les instructions de rampe de site Web.Les informations sont actualisées toutes les 24 heures suivant les directives spécifiées.Lien RFC: https://www.rfc-editor.org/rfc/rfc9309.html