Công cụ kiểm tra file robots.txt của Google Webmaster

Các cách chặn Google bot trên các trang nhất định !

Để chặn Google Bot lập chỉ mục một trang mà bạn cho rằng việc index là không có lợi hoặc không mang lại bất kì giá trị nào, bạn có thể làm được bằng nhiều cách, các cách đó có thể là: 1. Thêm thẻ meta noindex vào header của trang, ví dụ: <meta name="robots" … Tiếp tục đọc Các cách chặn Google bot trên các trang nhất định !

Để chặn Google Bot lập chỉ mục một trang mà bạn cho rằng việc index là không có lợi hoặc không mang lại bất kì giá trị nào, bạn có thể làm được bằng nhiều cách, các cách đó có thể là:

1. Thêm thẻ meta noindex vào header của trang, ví dụ:

<meta name="robots" content="noindex, follow">

Các bạn không lập chỉ mục, tuy nhiên nên để follow để robot sẽ đi theo các liên kết trên trang không lập chỉ mục và vẫn lập chỉ mục và xếp hạng cho các trang khác nhé !

2. Cách này liên quan tới PHP, các bạn có thể trả về mã Header là:

X-Robots: Noindex

3. Cách dễ dàng hơn và thuận tiện hơn cho việc chặn cả một thư mục, hoặc nếu CMS nào đó không cho phép bạn can thiệp sâu hơn thì có thể làm file robots.txt, hoặc can thiệp vào nội dung của nó như sau:

User-agent: *
Disallow: /wp-admin/

Hoặc bất cứ thư mục nào bạn muốn, chỉ cần khai báo sau đó vào Google Webmaster > Thu thập dữ liệu > Kiểm tra Robots.txt:

Công cụ kiểm tra file robots.txt của Google Webmaster
Công cụ kiểm tra file robots.txt của Google Webmaster

Chúc các bạn thành công !

TÁC GIẢ:

Tôi là Jam, thâm niên 7 năm thiết kế website và làm SEO. Hãy theo dõi blog của tôi để nhận được nhiều chia sẻ thú vị xung quanh chủ đề công nghệ.
Trang chủ / Thủ thuật SEO / SEO OnPage / Các cách chặn Google bot trên các trang nhất định !

13 bình luận trong “Các cách chặn Google bot trên các trang nhất định !”

  1. Anh ơi với phương pháp này có sử dụng để deindex toàn bộ website được không vậy! Nội dung của em đã được index hết rồi anh ạ! Em đang muốn thử nghiệm phương pháp này để 301 về tên miền mới!

  2. Em chào anh,
    Em gặp 1 trường hợp có 1 website (ví dụ là abc.com) chưa đăng ký SSL (https) nhưng khi kiểm tra index bằng cách gõ site:abc.com thì lại thấy Google index cả các link có đầu https/abc.com/. Nhưng khi click vào link đó thì lại sang một website của người khác. Có nghĩa lúc này có 2 website nhưng cùng nằm trên 1 domain. Em đã thử chặn index bằng file robots.txt nhưng đến nay chưa thấy kết quả gì. Em muốn google chỉ index các link của em không phải là https. Anh giúp em với ạ. Em xin cảm ơn.

  3. Theo Jam thì có nên chặn tag không? Bởi bài viết của mình chỉ có tầm 400 mà index tận 3k8, trong đó có rất nhiều tag. Nghe một số người nói là để như thế sẽ bị loãng, cần chặn tag để chỉ index các thành phần khác, có lợi hơn trong SEO

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *