Robots.txt analyzer
Eenvoudige robots.txx analyzer
Beschrijving
Analyseer robots.txt -bestanden om te begrijpen Website Crawling -instructies.Informatie wordt elke 24 uur vernieuwd na de opgegeven richtlijnen.RFC Link: https://www.rfc-editor.org/rfc/rfc9309.html