Tạo file robots.txt trên blogspot tối ưu cho SEO

Chào mọi người! Bài viết hôm trước mình đã hướng dẫn mọi người cách để thêm sitemap.xml trên Blogspot. Hôm nay mình sẻ tiếp tục hướng dẩn các bạn tạo file robots.txt trên blogspot để cải thiệt chất lượng tìm kiếm trên Google.

Vậy File Robots.txt là gì? Vì sao phải cần đến nó?

Robots.txt là một dạng text, có thể tạo bởi công cụ Notepad và đặc biệt nó không phải là dạng HTML. Nó là một file có thể giúp chúng ta tương tác với bọ của các công cụ tìm kiếm và nó khai báo với các công cụ tìm kiếm cho biết website chúng ta muốn làm gì và không muốn làm gì. Hay nói cách khác nó giúp cho các webmaster linh hoạt hơn trong việc cho hay không cho hiển thị một số link không mong muốn trên kết quả tìm kiếm.

VD : User-agent: * Cho tất các các loại bot truy cập vào website
Disallow: /administrator/ Chặn không cho bot truy cập vào thư mục administrator
Disallow: / Chặn không cho bot truy cập vào toàn bộ website
Disallow: /images/hinh-dep.jpg Chặn không cho bot index file hinh-dep.jpg

P/s: Ở bài viết này mình chỉ viết ngắn gọn để các bạn có thể để hình dung và tránh viết dài dòng để làm mọi người khó hiểu về file Robots.txt.

Trên Blogspot đã hỗ trợ file robots.txt giờ chúng ta chỉ việt bật nó lên và thêm các dòng lệnh vào thôi.
+ Cách thêm robots.txt cho blogspot như sau:
Sau khi đã đăng nhập vào Blogspot mọi người vào phần Cài đặt => Tùy chọn tìm kiếm