Robots.txt Analyzer
Penganalisis robot.txx mudah
Penerangan
Menganalisis fail robots.txt untuk memahami arahan merangkak laman web.Maklumat disegarkan setiap 24 jam berikutan garis panduan yang ditentukan.Pautan RFC: https://www.rfc-editor.org/rfc/rfc9309.html