Cách tối ưu hóa Robots.txt của bạn cho SEO trong WordPress (Hướng dẫn cho người mới bắt đầu)
Gần đây, một độc giả đã hỏi chúng tôi cách tối ưu hóa tệp robots.txt để cải thiện SEO.
Tệp robots.txt cho các công cụ tìm kiếm biết cách thu thập dữ liệu trang web của bạn, điều này khiến nó trở thành một công cụ SEO cực kỳ mạnh mẽ.
Trong bài viết này, chúng tôi sẽ chỉ cho bạn một số mẹo về cách tạo tệp robots.txt hoàn hảo cho SEO.
Tệp Robots.txt là gì?
Robots.txt là một tệp văn bản mà chủ sở hữu trang web có thể tạo để báo cho bot công cụ tìm kiếm cách thu thập dữ liệu và lập chỉ mục các trang trên trang web của họ.
Nó thường được lưu trữ trong thư mục gốc (còn được gọi là thư mục chính) của trang web của bạn. Định dạng cơ bản cho tệp robots.txt trông như thế này:
User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
User-agent: [user-agent name]
Allow: [URL string to be crawled]
Sitemap: [URL of your XML Sitemap]
Bạn có thể có nhiều dòng hướng dẫn để cho phép hoặc không cho phép các URL cụ thể và thêm nhiều sơ đồ trang web. Nếu bạn không cho phép một URL thì các bot công cụ tìm kiếm sẽ cho rằng chúng được phép thu thập dữ liệu URL đó.
Tệp mẫu robots.txt có thể trông như sau:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Sitemap: https://example.com/sitemap_index.xml
Trong ví dụ về robots.txt ở trên, chúng tôi đã cho phép các công cụ tìm kiếm thu thập dữ liệu và lập chỉ mục các tệp trong thư mục tải lên WordPress của chúng tôi.
Sau đó, chúng tôi đã không cho phép các bot tìm kiếm thu thập thông tin và lập chỉ mục các plugin cũng như thư mục quản trị WordPress.
Cuối cùng, chúng tôi đã cung cấp URL của sơ đồ trang web XML của chúng tôi.
Bạn có cần tệp Robots.txt cho trang web WordPress của mình không?
Nếu bạn không có tệp robots.txt thì công cụ tìm kiếm vẫn sẽ thu thập dữ liệu và lập chỉ mục trang web của bạn. Tuy nhiên, bạn sẽ không thể cho họ biết họ không nên thu thập dữ liệu những trang hoặc thư mục nào.
Điều này sẽ không có nhiều tác động khi bạn mới bắt đầu viết blog và không có nhiều nội dung.
Tuy nhiên, khi trang web của bạn phát triển và bạn thêm nhiều nội dung hơn thì bạn có thể muốn kiểm soát tốt hơn cách trang web của bạn được thu thập dữ liệu và lập chỉ mục.
Đây là lý do tại sao.
Các bot tìm kiếm có hạn ngạch thu thập dữ liệu cho mỗi trang web.
Điều này có nghĩa là họ thu thập dữ liệu một số trang nhất định trong phiên thu thập dữ liệu. Nếu họ không hoàn thành việc thu thập dữ liệu tất cả các trang trên trang web của bạn thì họ sẽ quay lại và tiếp tục thu thập dữ liệu trong phiên tiếp theo.
Điều này có thể làm chậm tốc độ lập chỉ mục trang web của bạn.
Bạn có thể khắc phục điều này bằng cách không cho phép các bot tìm kiếm cố gắng thu thập dữ liệu các trang không cần thiết như trang quản trị WordPress, tệp plugin và thư mục chủ đề.
Bằng cách không cho phép các trang không cần thiết, bạn tiết kiệm được hạn ngạch thu thập dữ liệu của mình. Điều này giúp các công cụ tìm kiếm thu thập dữ liệu nhiều trang hơn trên trang web của bạn và lập chỉ mục chúng nhanh nhất có thể.
Một lý do chính đáng khác để sử dụng tệp robots.txt là khi bạn muốn ngăn công cụ tìm kiếm lập chỉ mục một bài đăng hoặc trang trên trang web của mình.
Đây không phải là cách an toàn nhất để ẩn nội dung khỏi công chúng nhưng nó sẽ giúp bạn ngăn nội dung xuất hiện trong kết quả tìm kiếm.
Tệp Robots.txt lý tưởng trông như thế nào?
Nhiều blog phổ biến sử dụng tệp robots.txt rất đơn giản. Nội dung của chúng có thể thay đổi tùy theo nhu cầu của trang web cụ thể:
User-agent: *
Disallow:
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Tệp robots.txt này cho phép tất cả các bot lập chỉ mục tất cả nội dung và cung cấp cho chúng liên kết tới sơ đồ trang web XML của trang web.
Đối với các trang web WordPress, chúng tôi khuyên bạn nên tuân theo các quy tắc sau trong tệp robots.txt:
User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml
Điều này yêu cầu các bot tìm kiếm lập chỉ mục tất cả các hình ảnh và tệp WordPress. Nó không cho phép các bot tìm kiếm lập chỉ mục khu vực quản trị WordPress, tệp readme và các liên kết liên kết bị che giấu.
Bằng cách thêm sơ đồ trang web vào tệp robots.txt, bạn giúp các bot của Google dễ dàng tìm thấy tất cả các trang trên trang web của bạn.
Bây giờ bạn đã biết tệp robots.txt lý tưởng trông như thế nào, hãy xem cách bạn có thể tạo tệp robots.txt trong WordPress.
Cách tạo tệp Robots.txt trong WordPress
Có hai cách để tạo tệp robots.txt trong WordPress. Bạn có thể chọn phương pháp phù hợp nhất với mình.
Phương pháp 1: Chỉnh sửa tệp Robots.txt bằng cách sử dụng SEO tất cả trong một
All in One SEO, còn được gọi là AIOSEO, là plugin WordPress SEO tốt nhất trên thị trường, được hơn 3 triệu trang web sử dụng.
Nó rất dễ sử dụng và đi kèm với trình tạo tệp robots.txt.
Nếu bạn chưa cài đặt plugin AIOSEO, bạn có thể xem hướng dẫn từng bước của chúng tôi về cách cài đặt plugin WordPress.
Lưu ý: Phiên bản AIOSEO miễn phí cũng có sẵn và có tính năng này.
Sau khi cài đặt và kích hoạt plugin, bạn có thể sử dụng nó để tạo và chỉnh sửa tệp robots.txt trực tiếp từ khu vực quản trị WordPress của mình.
Chỉ cần truy cập All in One SEO » Tools để chỉnh sửa tệp robots.txt của bạn.
Trước tiên, bạn cần bật tùy chọn chỉnh sửa bằng cách nhấp vào nút chuyển đổi ‘Bật Robots.txt tùy chỉnh’ sang màu xanh lam.
Khi bật nút này, bạn có thể tạo tệp robots.txt tùy chỉnh trong WordPress.
All in One SEO sẽ hiển thị tệp robots.txt hiện có của bạn trong phần ‘Xem trước Robots.txt’ ở cuối màn hình của bạn.
Phiên bản này sẽ hiển thị các quy tắc mặc định đã được WordPress thêm vào.
Các quy tắc mặc định này yêu cầu các công cụ tìm kiếm không thu thập dữ liệu các tệp WordPress cốt lõi của bạn, cho phép các bot lập chỉ mục tất cả nội dung và cung cấp cho chúng liên kết tới sơ đồ trang web XML của trang web của bạn.
Giờ đây, bạn có thể thêm các quy tắc tùy chỉnh của riêng mình để cải thiện robots.txt cho SEO.
Để thêm quy tắc, hãy nhập tác nhân người dùng vào trường 'Tác nhân người dùng'. Việc sử dụng * sẽ áp dụng quy tắc cho tất cả tác nhân người dùng.
Sau đó, chọn xem bạn muốn 'Cho phép' hay 'Không cho phép' các công cụ tìm kiếm thu thập dữ liệu.
Tiếp theo, nhập tên tệp hoặc đường dẫn thư mục vào trường ‘Đường dẫn thư mục’.
Quy tắc sẽ tự động được áp dụng cho robots.txt của bạn. Để thêm quy tắc khác, chỉ cần nhấp vào nút ‘Thêm quy tắc’.
Chúng tôi khuyên bạn nên thêm quy tắc cho đến khi tạo được định dạng robots.txt lý tưởng mà chúng tôi đã chia sẻ ở trên.
Quy tắc tùy chỉnh của bạn sẽ trông như thế này.
Sau khi hoàn tất, đừng quên nhấp vào nút ‘Save Changes’ để lưu các thay đổi của bạn.
Phương pháp 2. Chỉnh sửa tệp Robots.txt theo cách thủ công bằng FTP
Đối với phương pháp này, bạn sẽ cần sử dụng ứng dụng khách FTP để chỉnh sửa tệp robots.txt.
Chỉ cần kết nối với các tệp trang web WordPress của bạn bằng ứng dụng khách FTP.
Khi vào trong, bạn sẽ có thể thấy tệp robots.txt trong thư mục gốc của trang web.
Nếu bạn không thấy thì có thể bạn không có tệp robots.txt.
Trong trường hợp đó, bạn có thể tiếp tục và tạo một cái.
Robots.txt là một tệp văn bản thuần túy, có nghĩa là bạn có thể tải tệp xuống máy tính của mình và chỉnh sửa bằng bất kỳ trình soạn thảo văn bản thuần túy nào như Notepad hoặc TextEdit.
Sau khi lưu các thay đổi, bạn có thể tải tệp robots.txt trở lại thư mục gốc của trang web.
Cách kiểm tra tệp Robots.txt của bạn
Sau khi đã tạo tệp robots.txt, bạn nên kiểm tra tệp đó bằng công cụ kiểm tra robots.txt.
Hiện có rất nhiều công cụ kiểm tra robots.txt nhưng chúng tôi khuyên bạn nên sử dụng công cụ bên trong Google Search Console.
Trước tiên, bạn cần liên kết trang web của mình với Google Search Console. Nếu bạn chưa làm điều này, hãy xem hướng dẫn của chúng tôi về cách thêm trang web WordPress của bạn vào Google Search Console.
Sau đó, bạn có thể sử dụng Công cụ kiểm tra robot của Google Search Console.
Chỉ cần chọn thuộc tính của bạn từ danh sách thả xuống.
Công cụ này sẽ tự động tìm nạp tệp robots.txt của trang web của bạn và đánh dấu các lỗi cũng như cảnh báo nếu tìm thấy.
suy nghĩ cuối cùng
Mục tiêu của việc tối ưu hóa tệp robots.txt của bạn là ngăn công cụ tìm kiếm thu thập dữ liệu các trang không được cung cấp công khai. Ví dụ: các trang trong thư mục wp-plugins hoặc các trang trong thư mục quản trị viên WordPress của bạn.
Một lầm tưởng phổ biến giữa các chuyên gia SEO là việc chặn các danh mục, thẻ và trang lưu trữ WordPress sẽ cải thiện tốc độ thu thập dữ liệu và dẫn đến lập chỉ mục nhanh hơn và xếp hạng cao hơn.
Đây không phải là sự thật. Nó cũng trái với nguyên tắc quản trị trang web của Google.
Chúng tôi khuyên bạn nên làm theo định dạng robots.txt ở trên để tạo tệp robots.txt cho trang web của mình.
Chúng tôi hy vọng bài viết này đã giúp bạn tìm hiểu cách tối ưu hóa tệp robots.txt WordPress cho SEO. Bạn cũng có thể muốn xem hướng dẫn SEO WordPress cuối cùng của chúng tôi và các chuyên gia của chúng tôi chọn các công cụ SEO WordPress tốt nhất để phát triển trang web của bạn.
Nếu bạn thích bài viết này, vui lòng đăng ký Kênh YouTube của chúng tôi để xem video hướng dẫn về WordPress. Bạn cũng có thể tìm thấy chúng tôi trên Twitter và Facebook.