Robots.txt Analyzer
Простые роботы. Анализатор
Описание
Проанализируйте файлы robots.txt, чтобы понять инструкции ползания на веб -сайте.Информация обновляется каждые 24 часа после указанных рекомендаций.Ссылка RFC: https://www.rfc-editor.org/rfc/rfc9309.html