Làm thế nào để xóa một hoặc nhiều URL bị lỗi (như lỗi 404) hoặc bị trùng lặp ra khỏi Google Search? Có một vài phương pháp đúng đắn mà những người làm SEO hay thực hiện và đạt được sự hiệu quả. Hãy cùng Webb theo dõi nội dung chi tiết dưới đây để biết rõ hơn về vấn đề này.
Lưu ý!
Nếu bạn thực hiện sai phương pháp, điều này không chỉ dẫn đến việc URL các trang không được xóa khỏi chỉ mục của Google Search mà còn có thể có tác động tiêu cực đến SEO.
Cách kiểm tra một URL có được lập chỉ mục (index) hay không
Cách đơn giản nhất mà chúng ta thường làm để kiểm tra một URL nào đó có index hay không là tìm kiếm trên Google theo cú pháp:
site:domain.com/noi-dung-url/Tuy nhiên, cũng còn một cách chính xác hơn nữa đó chính là sử dụng chức năng kiểm tra URL của công cụ Google Search Console, chỉ cần dán URL cần kiểm tra và ô màu cam trong hình và enter, sau đó Google sẽ cho biết tình trạng lập chỉ mục của URL đó là như thế nào.
Cách kiểm tra tình trạng lập chỉ mục của toàn bộ URL website
Tương tự như trên, bạn sử dụng công cụ Google Search Console > Chọn Lập chỉ mục > Chọn Trang tại cột bên trái.
Tại đây, Google sẽ hiển thị cho chúng ta tất cả các URL được lập chỉ mục và chưa được lập chỉ mục.
Nếu bạn muốn lập chỉ mục đối với URL chưa được lập chỉ mục, bạn có thể kiểm tra trước tình trạng URL tại phần Lý do trang không được lập chỉ mục ở phía dưới > Sử dụng chức năng Kiểm tra URL > Sau đó Yêu cầu lập chỉ mục cho URL mà bạn muốn lập chỉ mục.
Các phương pháp đầy đủ để xóa URL ra khỏi Google Search vĩnh viễn
Hãy cùng tham khảo các phương pháp dưới đây để xóa vĩnh viễn một URL đã lập chỉ mục khỏi Google Search:
Cách thứ nhất: Xóa nội dung trên website
Bước 1: Xóa trực tiếp bài viết/nội dung trên website
Tất nhiên, bước đầu tiên để loại bỏ một URL đó chính là bạn cần xóa nội dung đó ra khỏi website với cách đơn giản là: Vào admin website và chọn xóa bài viết/nội dung đó.
Sau khi xóa, nội dung hiển thị khi truy cập URL của bài viết là thông báo lỗi 404 (Không tìm thấy) hoặc 410 (Không tồn tại). Tuy nhiên, URL vẫn có thể còn hiển thị trên Google Search, bạn sẽ cần thực hiện đến bước thứ 2.
Bonus: Cách xóa hình ảnh khỏi Google Search
Để xóa hình ảnh khỏi Google Search, cách dễ nhất là sử dụng robots.txt, bạn chỉ cần không cho phép thu thập thông tin hình ảnh là cách phù hợp để xóa hình ảnh.
Đối với một hình ảnh cụ thể:
User-agent: Googlebot-Image
Disallow: /images/dogs.jpg Đối với tất cả các hình ảnh:
User-agent: Googlebot-Image Disallow: /
Bước 2: Công cụ Xóa URL trong Google Search Console
Công cụ Xóa URL cho phép bạn tạm thời chặn các trang thuộc những website mà bạn sở hữu trong Search Console khỏi kết quả của Google Tìm kiếm rất nhanh chóng.
Tuy URL được xóa sẽ chỉ tạm thời không xuất hiện trong kết quả tìm kiếm của Google trong vòng 6 tháng, nhưng bạn đừng quá lo lắng vì trong khoảng thời gian này, Google có thể cập nhật lại tình trạng chỉ mục cho URL.
Cách thực hiện:
– Chọn website mà bạn sở hữu (xác minh) trong Google Search Console cần xóa URL.
– Chọn chức năng Xóa URL phía bên trái.
– Chọn Các yêu cầu xóa tạm thời.
– Chọn Yêu cầu mới. Tại đây bạn sẽ có 2 lựa chọn:
- Xóa tạm thời URL:
- Chặn URL khỏi kết quả của Google Tìm kiếm trong khoảng 6 tháng.
- Trang này có thể xuất hiện lại trong kết quả trên Tìm kiếm sau thời gian tạm ẩn.
- Trang này sẽ được thu thập lại dữ liệu trước khi có thể xuất hiện lại trong kết quả trên Tìm kiếm.
- Các bước này cũng sẽ xoá khỏi chỉ mục của Google bản sao của trang và đoạn trích về trang đã lưu trong bộ nhớ đệm.
- Bạn nên dùng tính năng này trong bước đầu tiên của quá trình chặn vĩnh viễn một trang khỏi kết quả trên Google Tìm kiếm.
- Hoặc Xoá URL đã lưu trong bộ nhớ đệm:
- Xoá đoạn trích mô tả trang trong kết quả của Tìm kiếm cho đến khi Google thu thập lại dữ liệu trên trang đó (cũng là khi đoạn trích sẽ được tạo từ nội dung mới).
- Trước khi đến lần thu thập dữ liệu tiếp theo, đoạn mô tả trang sẽ có nội dung dạng như sau: “Không có nội dung mô tả trang”.
- Bạn nên dùng tính năng này khi xoá thông tin nhạy cảm trên một trang và muốn cập nhật đoạn trích tương ứng trên Google Search.
- Hãy lưu ý rằng cho đến khi được thu thập lại dữ liệu, trang này vẫn có thể xuất hiện trong kết quả trên Tìm kiếm nếu khớp với thông tin đã xoá. Tuy nhiên, thông tin đã xoá sẽ không xuất hiện trong đoạn trích hoặc phiên bản trong bộ nhớ đệm.
– Chọn Xóa tạm thời URL, ở đây sẽ có tiếp 2 lựa chọn:
- Chỉ xóa URL này:
- Lựa chọn này chỉ chặn URL khớp chính xác trong kết quả trên Tìm kiếm, bao gồm cả phần mở rộng của trang (ví dụ: .html) và các tham số.
- Thẻ liên kết không bao giờ khớp và nên được loại ra khỏi URL của bạn (mypage#anchor).
- Hoặc Xóa tất cả URL có tiền tố này:
- Nhập một tiền tố trùng khớp trong các URL để chặn. Thao tác này chặn tất cả URL bắt đầu bằng tiền tố đã chỉ định, cả phiên bản có và không có www. Ví dụ:
- Tài sản:
example.com, - Đường dẫn bị chặn:
https://example.com/foods/ - URL trùng khớp:
http://example.com/foods/pizzahttps://www.example.com/foods/bread?type=whole_wheathttps://www.example.com/foods/pasta/spaghetti/bologonese.html
- Để chặn toàn bộ website lên Google Seach, hãy dùng URL như sau:
https://example.com/
- Tài sản:
- Nhập một tiền tố trùng khớp trong các URL để chặn. Thao tác này chặn tất cả URL bắt đầu bằng tiền tố đã chỉ định, cả phiên bản có và không có www. Ví dụ:
- Lưu ý: Tất cả các biến thể http và https, có www và không có www đều sẽ khớp. Vì vậy, nếu bạn chỉ định
example.com/mypage- https://example.com/mypage sẽ khớp
- http://example.com/mypage sẽ khớp
- https://www.example.com/mypage sẽ khớp
- http://www.example.com/mypage sẽ khớp
- Các miền con khác (chẳng hạn như m. hoặc amp.) sẽ không khớp. Vì vậy, http://m.example.com/mypage sẽ không khớp.
– Dán URL cần xóa, chọn Tiếp để hoàn tất quy trình.
– Cần tối đa một ngày để Google xử lý yêu và không phải yêu cầu xóa nào cũng được Google chấp nhận. Bạn nên kiểm tra lại trạng thái của yêu cầu.
– Nguồn tham khảo từ Google: Xem tại đây.
Huỷ yêu cầu xóa URL như thế nào?
Cách huỷ yêu cầu tạm xóa trang khỏi kết quả tìm kiếm:
- Mở công cụ Xoá URL trong Google Search Console.
- Tìm URL cần hủy xóa trong bảng Các yêu cầu đã gửi.
- Nhấp vào nút dấu 3 chấm dọc bên cạnh > Huỷ yêu cầu.
Hoặc sử dụng chức năng Kiểm tra URL trong Google Search Console và yêu cầu lập chỉ mục lại với URL đã xóa.
Bonus cách thứ 2: Chặn lập chỉ mục với thẻ meta robots noindex
Thẻ meta robots noindex đơn giản là để ngăn Googlebot lập chỉ mục URL lên Google Search.
Bạn cần đặt thẻ này trong cặp thẻ <head></head> của một URL cụ thể.
Nếu đặt ở trang chủ, nó sẽ chặn Googlebot lập chỉ mục toàn bộ website lên Google Search.
Cú pháp thẻ meta robots noindex:
<meta name="robots" content="noindex">Bonus cách thứ 3: Hạn chế quyền truy cập
Cách này áp dụng cho thành viên nội bộ nhất định, công cụ tìm kiếm sẽ không thể truy cập và sẽ không lập chỉ mục các trang.
Một số cách hạn chế quyền truy cập như:
- Tạo hệ thống đăng nhập riêng
- Đặt bảo mật (cần mật khẩu để truy cập)
- Truy cập từ một số IP nhất định
Một số lỗi phổ biến cần tránh khi muốn xóa URL
Có một số cách làm cần tránh sử dụng khi xóa URL:
Ngăn lập chỉ mục trong robots.txt
Không sử dụng robots.txt để ngăn một trang xuất hiện trong kết quả tìm kiếm.
Sử dụng robots.txt làm cơ chế chặn
Thu thập dữ liệu không giống như lập chỉ mục. Ngay cả khi Google bị chặn thu thập dữ liệu các trang, nếu có bất kỳ liên kết bên trong hoặc bên ngoài nào tới một trang thì họ vẫn có thể lập chỉ mục trang đó.
Google sẽ không biết nội dung trên trang vì họ sẽ không thu thập dữ liệu trang đó, nhưng họ biết một trang tồn tại và thậm chí sẽ vẫn hiển thị trong kết quả tìm kiếm dựa trên các tín hiệu như văn bản liên kết (anchor text) của liên kết đến trang.
Sử dụng meta robots nofollow
Cơ chế thu thập dữ liệu của Googlebot là thu thập dữ liệu theo liên kết từ trang này đến trang khác. Nofollow sử dụng để cố gắng ngăn Google thu thập dữ liệu đến các trang cụ thể, tuy nhiên điều này không hiệu quả vì thu thập dữ liệu không giống như lập chỉ mục. Nếu có các liên kết khác đến trang (từ bên trong hoặc bên ngoài), nó vẫn có thể được lập chỉ mục.
Kết lại
Xóa URL là thao tác thường xuyên đối với tất cả những người làm SEO, do vậy bạn cần phải có kiến thức về nó và nắm rõ được các phương pháp phù hợp để xóa URL ra khỏi Google Search. Chúc bạn có thể vận dụng chính xác và hiệu quả cho công việc của mình.
Nếu có câu hỏi hoặc cần hỗ trợ thêm về vấn đề này, bạn hãy đừng ngần ngại liên hệ đến Webb nhé!
