Thủ thuật khác

Hướng dẫn set crawl delay cho search engines trên file robots.txt

Hướng dẫn set crawl delay cho search engines trên file robots.txt

Nếu bạn có 1.000 trang trên trang web của mình, một công cụ tìm kiếm có thể thu thập thông tin toàn bộ trang web của bạn trong vài phút.  Điều này có thể gây ra việc sử dụng tài nguyên hệ thống cao vì tất cả các trang sẽ được tải trong một khoảng thời gian ngắn.