Robots.txt Analyzer
Einfacher Robots.txx Analysator
Beschreibung
Analysieren Sie Robots.txt -Dateien, um die Crawling -Anweisungen der Website zu verstehen.Die Informationen werden alle 24 Stunden nach den angegebenen Richtlinien aktualisiert.RFC-Link: https://www.rfc-editor.org/rfc/rfc9309.html