Thủ thuật khác

[crawlbot] Hướng Block Google bots hoặc các bot khác sử dụng .htaccess và robots.txt

Ngày đăng04/05/2021 23

Đôi khi các bot crawl data web của bạn làm website bạn bị quá tải, hướng dẫn sau để khai báo block bot không cho bot crawl

1. Khai báo disable bot trên robots.txt

User-agent: *
Disallow: /

2. Sử dụng .htaccess để block bots

RewriteEngine on
RewriteCond %{HTTP_USER_AGENT} AltaVista [OR]
RewriteCond %{HTTP_USER_AGENT} Googlebot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp
RewriteRule ^.*$ "http\:\/\/itcweb\.net" [R=301,L]

Các bạn có thể tùy biến thêm bot cần block vào .htaccess nhé

Chúc các bạn thành công.

Bình luận

Capchar:

Bài viết khác

Khắc phục lỗi laptop bị treo không tắt được máy sau khi lắp caddy bay
Khắc phục lỗi laptop bị treo không tắt được máy sau khi lắp caddy bay
Ngày đăng04/05/2021 18
Hướng dẫn bật / tắt màn hình tràn cạnh cho Xiaomi Redmi Note 8 Pro
Hướng dẫn bật / tắt màn hình tràn cạnh cho Xiaomi Redmi Note 8 Pro
Ngày đăng13/04/2021 34
[Google] Range IP được Googlebot sử dụng trong khi thu thập dữ liệu
[Google] Range IP được Googlebot sử dụng trong khi thu thập dữ liệu
Ngày đăng01/01/2021 181
[Gsuite] Hướng dẫn tạo DKIM cho mail gsuite
[Gsuite] Hướng dẫn tạo DKIM cho mail gsuite
Ngày đăng04/12/2020 220
[megadomain] Hướng dẫn truy cập quản trị domain megadomain.vnn.vn
[megadomain] Hướng dẫn truy cập quản trị domain megadomain.vnn.vn
Ngày đăng03/12/2020 541
[Gsuite] Cho phép user thay đổi ảnh cá nhân
[Gsuite] Cho phép user thay đổi ảnh cá nhân
Ngày đăng26/11/2020 260
Cách tính chuyển đổi Megabit per second sang Kilobyte per second
Cách tính chuyển đổi Megabit per second sang Kilobyte per second
Ngày đăng03/11/2020 332
Mã trạng thái phản hồi (HTTP response status codes)
Mã trạng thái phản hồi (HTTP response status codes)
Ngày đăng14/08/2020 985
Link gỡ blacklist hotmail
Link gỡ blacklist hotmail
Ngày đăng26/09/2019 872
SBRO - Safe Browsing - Loại bỏ SPAM trên Internet
SBRO - Safe Browsing - Loại bỏ SPAM trên Internet
Ngày đăng19/09/2019 651