Analyzer robots.txt
Simple Robots.txx Analyzer
Descrizione
Analizza i file robots.txt per comprendere le istruzioni di scansione del sito Web.Le informazioni vengono aggiornate ogni 24 ore seguendo le linee guida specificate.Link RFC: https://www.rfc-editor.org/rfc/rfc9309.html