Robots.txt विश्लेषक
सरल रोबोट्स ।txx विश्लेषक
विवरण
वेबसाइट क्रॉलिंग निर्देशों को समझने के लिए Robots.txt फ़ाइलों का विश्लेषण करें।निर्दिष्ट दिशानिर्देशों के बाद हर 24 घंटे में जानकारी ताज़ा होती है।RFC लिंक: https://www.rfc-editor.org/rfc/rfc9309.html