Robots.txt analizör
Basit Robots.txx Analizör
Açıklama
Web sitesi tarama talimatlarını anlamak için robots.txt dosyalarını analiz edin.Bilgiler, belirtilen yönergeleri takip eden 24 saatte bir yenilenir.RFC bağlantısı: https://www.rfc-editor.org/rfc/rfc9309.html