Robots.txt là một tập tin văn bản nằm ở thư mục gốc của website, dùng để hướng dẫn các robot của công cụ tìm kiếm (như Googlebot, Bingbot) biết được phần nào của website được phép hoặc không được phép truy cập, thu thập dữ liệu (crawl). Đây là cách để bạn kiểm soát bot truy cập và tối ưu hiệu quả thu thập dữ liệu trên website.
3 bước tạo file robots.txt cho website WordPress
Bước 1: Tạo file robots.txt
-
Mở trình soạn thảo văn bản (Notepad trên Windows, TextEdit trên Mac).
-
Tạo một file mới và đặt tên là
robots.txt. -
Trong file này bạn sẽ viết các quy tắc để hướng dẫn robot.
Ví dụ cơ bản:
Giải thích:
-
User-agent: *— áp dụng cho tất cả bot. -
Disallow— phần không cho bot truy cập. -
Allow— phần cho phép bot truy cập.
Bước 2: Upload file robots.txt lên thư mục gốc của website
-
Sử dụng FTP hoặc trình quản lý file trên hosting (cPanel, Plesk…).
-
Đưa file
robots.txtvào thư mục gốc (root) của website, tức là thư mục chứa thư mụcwp-content,wp-admin,wp-includes. -
Đường dẫn file sẽ là:
https://yourdomain.com/robots.txt
Bước 3: Kiểm tra và tối ưu file robots.txt
-
Vào Google Search Console → Công cụ kiểm tra robots.txt để kiểm tra xem file đã hoạt động đúng chưa.
-
Đảm bảo bạn không chặn các trang cần được lập chỉ mục (như trang chủ, bài viết, trang sản phẩm).
-
Có thể thêm các quy tắc tùy chỉnh để tránh bot crawl các thư mục không cần thiết như:
Lưu ý quan trọng với WordPress:
-
Một số plugin SEO (Yoast SEO, Rank Math) cho phép bạn chỉnh sửa file robots.txt trực tiếp trong dashboard, rất tiện lợi.
-
Tránh chặn thư mục
/wp-content/uploads/nếu bạn muốn hình ảnh được lập chỉ mục. -
Không chặn tệp quan trọng như
sitemap.xmlhoặc các tài nguyên CSS, JS cần thiết để Googlebot render đúng trang.
Nếu cần, mình có thể giúp bạn tạo một file robots.txt chuẩn cho website WordPress của bạn, hoặc hướng dẫn cách chỉnh sửa file này trong plugin SEO!
