Robot.txt Phân tích
Robot đơn giản.txx Phân tích
Sự miêu tả
Phân tích các tệp robot.txt để hiểu hướng dẫn thu thập thông tin trang web.Thông tin được làm mới cứ sau 24 giờ theo các hướng dẫn được chỉ định.Liên kết RFC: https://www.rfc-editor.org/rfc/rfc9309.html