Noindex là gì? Cách khắc phục noindex hiệu quả 100%

BiziBusiness

25 Tháng 10 2024

24 phút đọc

Nếu website của bạn đang bị tình trạng noindex thì sẽ ảnh hưởng rất lớn đến quá trình SEO. Vậy, noindex là gì? Bài chia sẻ này sẽ hướng dẫn khắc phục tình trạng noindex hiệu quả 100%, cùng tham khảo nhé!

No index là gì ?

Trước khi tìm cách khắc phục tình trạng noindex thì chúng ta sẽ cùng tìm hiểu noindex là gì?

Noindex được hiểu là một giá trị dùng để khai báo với Google Bot. Hầu hết những website bị gắn thẻ noindex thì bot Google sẽ không thể tìm gặp và lập chỉ mục được.

Thế nhưng trong thực tế thì nhiều công cụ tìm kiếm như Google vẫn có thể thu thập dữ liệu và gắn thẻ noindex.

No index là gì ?
No index là gì ?

Mẫu code của thẻ Meta có thuộc tính No-index:

<meta name="robots" content="noindex,nofollow">

Một chiến lược SEO thành công chính là đưa từ khóa lên top Google. Vậy điều kiện là gì? Để thành công thì các SEOer cần phải tập trung xây dựng nội dung một cách tối ưu nhất và những nội dung này phải index trên các công cụ tìm kiếm, cụ thể ở đây là Google.

Một trang web được đánh giá là chất lượng khi có cấu trúc tốt, nội dung tối ưu, được update thường xuyên thì sẽ nhanh chóng index.

Vậy nên có thể nói rằng, việc tăng index cho một website là cực kỳ quan trọng vì những lợi ích về sau mà các SEOer sẽ thu được.

Ngược lại, giảm index sẽ tác động tiêu cực đến website của bạn, hậu quả là có thể tụt TOP, nặng hơn là bị Google đưa vào danh sách đen.

Nguyên nhân dẫn đến tình trạng noindex của website

Trang web của bạn đã được lập chỉ mục tên miền theo www hoặc không www

Domain chứa www là domain phụ về mặt kỹ thuật, vì vậy các SEOer nên phân biệt được rằng domain có www và không www là hai đường dẫn hoàn toàn khác nhau.

Vì vậy, các SEOer hãy kiểm tra kỹ xem đã thêm hai thông số domain có www và không www vào tài khoản Google Webmaster Tool và xác minh quyền sở hữu hay chưa.

Google không tìm thấy website của bạn

Một lý do nữa khiến website của bạn gặp trình trạng noindex là do Google không tìm thấy trang web. Tình trạng này thường sẽ xảy ra với những website mới, Google phải mất một thời gian để update dữ liệu.

Tuy nhiên, nếu sau một thời gian mà Google vẫn không index nội dung website của bạn thì điều cần làm chính là kiểm tra trang đã tạo sitemap hay chưa cũng như bạn đã khai báo trang với Google hay chưa?

Lỗi trong file robots.txt của website sẽ chặn Google lại

Một nguyên nhân nữa dẫn đến việc trang noindex là lỗi file robots.txt, việc của các SEOer là kiểm tra xem trong file này có thêm tính năng noindex cho URL hay không?

Lỗi trong file robots.txt của website sẽ chặn Google lại
Lỗi trong file robots.txt của website sẽ chặn Google lại

Trang web của bạn đã có sitemap.xml chưa?

Hầu hết mỗi website nên có một sitemap.xml riêng vì đây chính là bản đồ giúp bot Google có thể dễ dàng truy cập và lập chỉ mục cho website của bạn.

Mỗi website nên có một sitemap.xml riêng
Mỗi website nên có một sitemap.xml riêng

Tốc độ load trang chậm

Nếu trang web của bạn có tốc độ load trang khá chậm thì xem như bạn đã mất điểm trong mắt Google bởi các bot của Google phải mất thời gian quá nhiều mới lấy được thông tin, các bot này sẽ không kiên mà rời đi, và như vậy là website của rơi vào tình trạng noindex.

Khi nào nên sử dụng Noindex Tag?

Bạn nên sử dụng thẻ noindex khi muốn ngăn Google index một trang nào đó. Do Google không đủ tài nguyên index tất cả các website nên Google sẽ tập trung đánh giá những trang ít quan trọng hơn để gắn thẻ noindex. Nhờ đó, bạn có thể ưu tiên việc tối ưu những trang bạn muốn index trước.

Bạn nên gắn thẻ noindex lên những trang web dưới đây:

  • Trang sản phẩm đã hết hàng và ngừng kinh doanh.
  • Trang không thể truy cập trong kết quả tìm kiếm, chẳng hạn như trang staging hoặc website yêu cầu bắt buộc nhập mật khẩu.
  • Trang có giá trị với công cụ tìm kiếm nhưng không mang lại giá trị gì cho người dùng, chẳng hạn như website chỉ chứa các liên kết tới trang khác.
  • Trang web bị duplicate content – hiện tượng thường gặp trên các trang thương mại điện tử. Ngoài ra, bạn nên dùng thẻ canonical để chỉ định các công cụ tìm kiếm phiên đến bản chính của các website và ngăn chặn những vấn đề liên quan đến duplicate content.

Bạn nên xem xét, triển khai việc áp dụng noindex cho website như một phần của kế hoạch SEO và không nên dùng thẻ noindex lên các trang có giá trị sử dụng như:

  • Trang sản phẩm, dịch vụ quan trọng.
  • Bài viết trên blog (ngoại trừ bài viết cũ).
  • Trang Giới thiệu và Liên hệ.
  • Trang mô tả dịch vụ doanh nghiệp cung cấp.

Tóm lại, bạn không nên dùng thẻ noindex trên những trang mà doanh nghiệp muốn thu hút nhiều organic traffic từ kết quả tìm kiếm.

Khi nào nên sử dụng Noindex Tag?
Khi nào nên sử dụng Noindex Tag?

Cách sử dụng directive “noindex” trong SEO

Bạn có thể đặt thẻ noindex trong code HTML hoặc tiêu đề phản hồi HTTP (HTTP response header) của website. 

Một số plugin CMS như Yoast SEO cho phép bạn tự động thêm thẻ noindex cho các trang mà bạn publish.

Để triển khai thẻ noindex, bạn có thể thực hiện theo hai cách: Chèn thẻ noindex vào code HTML của một trang và thêm thẻ noindex vào tiêu đề HTTP.

Chèn thẻ noindex vào code HTML của một trang

Thẻ noindex có thể được triển khai như một thẻ meta robot trong phần <head> của HTML.

Thẻ meta robot được sử dụng để kiểm soát việc thu thập dữ liệu và index của website. Mặc dù người dùng không nhìn thấy, nhưng các bot lại tìm thấy nó khi thu thập dữ liệu trang web.

Sau đây là cách triển khai code:

<!DOCTYPE html>

<html>

<head>

<meta name="robots" content="noindex">

</head>

<body>

</body>

</html>

Tìm hiểu cấu trúc của một thẻ meta robots

Trong một thẻ meta, có các cặp thuộc tính và giá trị:

<meta attribute=”value”>

Thẻ meta robot có hai thuộc tính, gồm:

  • name: Tên của các bot tìm kiếm.
  • content: Chứa chỉ thị cho bot.

Cả hai thuộc tính trên đều có yêu cầu các giá trị khác nhau dựa vào việc mà bạn muốn bot thực hiện và chúng không phân biệt chữ hoa hay chữ thường.

Thuộc tính name thường sẽ có giá trị là “robots“, cho biết một chỉ thị đang nhắm đến toàn bộ các bot của công cụ tìm kiếm.

Nếu bạn muốn chỉ thị riêng cho một bot cụ thể thì bạn có thể sử dụng tên của bot đó, ví dụ như “googlebot“, dù việc này thường không phổ biến. Nếu bạn muốn gửi chỉ thị khác nhau đến những bot riêng biệt thì bạn cần tạo nhiều thẻ meta cho từng bot.

Bạn hãy nhớ rằng các công cụ tìm kiếm có các trình duyệt khác nhau phục vụ những mục đích khác nhau.

Đối với thuộc tính “content,” bạn đặt chỉ thị trong trường hợp này là “noindex” thì bạn có thể thêm nhiều chỉ thị khác nhau và nhớ tách chúng bằng dấu phẩy.

Ưu điểm và nhược điểm của thẻ meta robots:

  • Ưu điểm: Bạn có thể triển khai và sửa đổi phương thức HTML dễ dàng hơn so với phương thức tiêu đề HTTP mà không cần truy cập máy chủ để thực hiện.
  • Nhược điểm: Bạn sẽ tốn rất nhiều thời gian cho việc triển khai thẻ noindex trong HTML vì nó phải được thực hiện thủ công.

Thêm thẻ noindex vào tiêu đề HTTP

Bạn có thể áp dụng chỉ thị noindex qua thẻ x-robots-tag ở tiêu đề HTTP của website. Tiêu đề HTTP thường được dùng để giao tiếp giữa server và client (trình duyệt hoặc bot công cụ tìm kiếm).

Cấu hình trên web server của bạn có thể đã thêm chỉ thị noindex trong thẻ x-robots-tag. Cách thực hiện khác nhau tùy vào loại máy chủ bạn đang sử dụng như Apache, Nginx,…

Bạn hãy hình dung cách phản hồi HTTP với thẻ x-robots-tag trong ví dụ dưới đây:

HTTP/1.1 200 OK

(…)

x-robots-tag: noindex

(…)

Nếu bạn sử dụng máy chủ Apache và muốn ngăn việc index tất cả các file có đuôi “.pdf,” thì bạn nên thêm đoạn mã sau vào tệp .htaccess:

<Files ~ "\.pdf$">

Header set x-robots-tag "noindex"

</Files>

Nếu bạn sử dụng máy chủ Nginx thì bạn có thể thực hiện như sau trong file .conf:

location ~* \.pdf$ {

add_header x-robots-tag "noindex";

}

Ưu điểm khi sử dụng tiêu đề HTTP

  • Có thể áp dụng cho các document không phải là trang HTML, chẳng hạn như file PDF, video hoặc hình ảnh. Ngoài ra, bạn có thể nhắm mục tiêu vào một phần cụ thể của trang.
  • X-robots-tag hỗ trợ sử dụng biểu thức chính quy (RegEx) cho phép bạn có thể hướng mục tiêu vào trang cần noindex dựa theo các yếu tố chung. Ví dụ, bạn có thể nhắm mục tiêu các trang với URL chứa các tham số hoặc ký tự cụ thể.

Nhược điểm khi sử dụng tiêu đề HTTP

  • Bạn phải truy cập vào máy chủ của mình để triển khai một thẻ x-robots.
  • Quy trình triển khai phức tạp hơn so với thêm thẻ meta robots vào code HTML của trang web.

Cách kiểm tra việc triển khai Noindex Tag

Để kiểm tra thẻ noindex hoặc các chỉ thị meta robots khác đã được triển khai, bạn có thể dựa vào cách chúng được thêm vào trang.

Vì vậy, nếu thẻ noindex được thêm vào HTML của một trang thì bạn có thể kiểm tra source code của trang đó. Còn đối với tiêu đề HTTP, bạn có thể chọn vào Inspect trên Chrome. Các công cụ này sẽ hiển thị cho bạn các chỉ thị nào đã được nhận dạng trên một trang cụ thể.

Ngoài ra, bạn cũng có thể kiểm tra bằng cách nhập URL vào công cụ URL Inspection của Google Search Console hoặc sử dụng tiện ích Link Redirect Trace.

Phân biệt Noindex và nofollow

Nofollownoindex là hai loại chỉ thị phổ biến trong thẻ meta robots được Google hỗ trợ cho người dùng. Tuy nhiên, thẻ follow thường bị Google đánh giá là không quan trọng vì nó được áp dụng mặc định khi không có chỉ thị nào.

  • Người dùng sử dụng thẻ nofollow để ngăn các công cụ tìm kiếm theo dõi liên kết trên một trang. Mục đích là giúp trang web đó không chuyển tín hiệu xếp hạng cho các trang khác mà nó liên kết tới.
  • Bạn có thể sử dụng noindex đơn lẻ hoặc kết hợp với các chỉ thị khác. Ví dụ: Nếu bạn muốn công cụ tìm kiếm index trang và không theo dõi các liên kết trên trang thì bạn có thể áp dụng cả hai thẻ noindex và nofollow.
  • Nếu bạn đã dùng thẻ noindex nhưng trang vẫn hiển thị trong kết quả tìm kiếm thì có thể Google vẫn chưa thu thập dữ liệu trang sau khi thêm chỉ thị. Bạn nên sử dụng công cụ URL Inspection trong Google Search Console để yêu cầu Google thu thập dữ liệu trang lại lần nữa.

So sánh noindex tag, file robots.txt và canonical tag

Thẻ noindex, file robots.txt và thẻ canonical có mối liên hệ chặt chẽ với nhau. Chúng thường được dùng để kiểm soát việc thu thập dữ liệu và index trang web. Tuy vậy, ba thẻ meta này vẫn có những điểm khác biệt khi áp dụng tùy theo tình huống.

Như đã đề cập trước đó, thẻ noindex quản lý việc có nên index một trang cụ thể trên website hay không và tác động ở cấp độ trang. Chúng ta sẽ so sánh điểm này với cách file robots.txt và thẻ canonical hoạt động.

Đối với file robots.txt
  • File robots.txt được dùng để kiểm soát cách bot công cụ tìm kiếm và thu thập dữ liệu các phần của website ở cấp độ thư mục.
  • Trong file robots.txt, bạn đặt các chỉ thị cho bot để quyết định cho phép hoặc cấm hành vi của chúng. Nếu bot tuân thủ chỉ thị thì nó sẽ bỏ qua trang bị cấm và không index trang đó. Người dùng thường sử dụng chỉ thị trong file robots.txt để tiết kiệm crawl budget của website.
  • Khi sử dụng thẻ noindex và file robots.txt, bạn phải lưu ý rằng để chỉ thị noindex có hiệu lực thì bot phải truy cập và thu thập được dữ liệu từ trang, nghĩa là trang không bị chặn bởi robots.txt.
  • Nếu bot không thể truy cập trang, nó sẽ không thấy thẻ noindex và không tuân theo chỉ thị. Sau đó, trang có thể bị thu thập dữ liệu và hiển thị trong kết quả tìm kiếm.
  • Để ngăn Google index một trang, hãy cho bot vào trang web qua robots.txt và sử dụng thẻ meta noindex. Lúc đó, Google bot sẽ tuân thủ chỉ thị noindex.
Đối với thẻ canonical
  • Thẻ canonical là thành phần HTML được sử dụng để khai báo phiên bản chính của các trang trùng lặp mà bạn muốn công cụ tìm kiếm index. Thẻ này được đặt trên các trang phụ và chỉ định URL gốc, kết quả là các trang phụ không được đưa vào danh sách index.
  • Mặc dù thẻ canonical có thể giới hạn việc index của các trang không phải phiên bản chính, nhưng không phải lúc nào Google cũng tuân theo chúng.
  • Ví dụ: Nếu một trang nhận được nhiều liên kết, Google có thể xem trang đó quan trọng hơn URL gốc và xem nó là phiên bản chính.
  • Ngoài ra, bot chỉ nhận diện thẻ canonical trong quá trình thu thập dữ liệu. Không giống như file robots.txt, thẻ canonical không thể ngăn việc thu thập dữ liệu của một trang.
  • Sự khác biệt chính giữa thẻ canonical và thẻ noindex là các trang với thẻ canonical sẽ gộp tín hiệu xếp hạng với một URL chính duy nhất. Trong khi đó, các trang gắn thẻ noindex không chuyển tín hiệu xếp hạng, điều này ảnh hưởng đến việc liên kết nội bộ (internal links) – chúng sẽ không truyền tín hiệu xếp hạng tới các URL khác mà chúng liên kết đến.

Hướng dẫn khắc phục tình trạng no index hiệu quả

Sau đây là hướng dẫn khắc phục tình trạng noindex một cách hiệu quả nhất, các SEOer có thể tiến hành thực hiện theo các cách sau:

Hoặc bạn có thể tham khảo bài viết :”cách giúp google index nhanh” và hiệu quả và áp dụng ngay nhé !

Hướng dẫn khắc phục tình trạng no index hiệu quả
Hướng dẫn khắc phục tình trạng no index hiệu quả

Kiểm tra File Robot.txt

Robot.txt được hiểu đơn giản là tệp tin văn bản thông thường chứa đựng các tiêu chuẩn web không chỉ quy định cách thức hoạt động của các robot web thu thập dữ liệu trong website mà nó truy vấn mà còn index và cung cấp nội dung cho người dùng.

REP cũng bao gồm các lệnh như Meta Robots, Page-Sub directory, Site-Wide Instructions, giúp cho các tool của Google xử lý các liên kết DoFollow và Nofollow.

Bên cạnh đó, tệp tin Robot.txt còn giúp cho các SEOer có thể giành thế chủ động hơn khi để bot Google index nội dung trên website của mình.

File robots.txt chuẩn cho website wordpress.

*User-agent: **

Disallow: /wp-admin/

Allow: /wp-admin/admin-ajax.php

Disallow: /component/*

*Sitemap: https://dia-chi-web-cua-ban.com/sitemap_index.xml*

Kiểm tra Source code

Cách để khắc phục tình trạng noindex có thể kể đến chính là kiểm tra source code. Để thực hiện, các SEOer tiến hành F12 để view code xem có gắn thẻ noindex hay không, nếu có gắn trước đó thì hãy xoá đi.

Kiểm tra plugin Yoast SEO hoặc Rank math

Các SEOer login vào phần quản trị web, tìm đến URL đang bị noindex để chỉnh sửa, sau đó tiến đến phần plugin Rank Math hay Yoast SEO kiểm tra xem có tick vào ô noindex hay không, nếu có thì bỏ tick nhé!

Đăng tải nội dung chất lượng

Việc xây dựng nội dung cho trang web không chỉ giúp tối ưu hơn mà còn giúp việc index nội dung diễn ra nhanh chóng hơn.

Vì vậy, nếu một trang web có quá nhiều nội dung bị trùng lặp thì sẽ dễ gây ra sự nhầm lẫn cho các công cụ tìm kiếm, các bot Google sẽ bỏ lập chỉ mục.

Thế nên, việc các SEOer cần làm là đăng tải những nội dung chất lượng có tỉ lệ unique cao, phù hợp với chủ đề xây dựng cho website của. Nên chỉnh sửa những bài viết kém chất lượng sang những bài chất lượng bằng các công cụ hỗ trợ nhé!

Tăng tốc độ tải trang

Cải thiện tốc độ tải trang không chỉ giúp cho trải nghiệm của người dùng tốt hơn mà còn tăng quá trình index trang diễn ra nhanh chóng.

Thực tế cho thấy, nếu trang web của bạn có tốc độ load chậm thì bot Google sẽ không kiên nhẫn chờ đợi để vào, nó sẽ đi tìm các trang khác để index.

Hạn chế link ngoài

Hạn chế link ngoài cũng là một cách khắc phục tình trạng website noindex. Việc mà các SEOer cần làm chính là xây dựng hệ thống các link nội bộ (internal link). Các link này sẽ giúp thúc đẩy thứ hạng của website nhanh chóng lên top Google.

Khai báo url bị tình trạng no index trong google search console

Tại giao diện của Google Search Console, bạn tiến hành dán đường dẫn URL noindex và nhấn tìm kiếm, sau đó kiểm tra URL đang hoạt động nhằm mục đích cho bot Google đi phân tích ngay URL tại thời điểm đó => Yêu cầu lập chỉ mục.

Tóm lại, qua những chia sẻ trên của công ty SEO BiziBusiness giúp cho các SEOer có góc nhìn toàn diện và đa chiều hơn về vấn đề website gặp phải tình trạng noindex cũng như hướng dẫn cách khắc phục tình trạng noindex một cách hiệu quả. Nếu trường hợp các SEOer gặp phải giống như trên thì có thể vận dụng ngay vào nhé! Chúc các bạn thành công.

Cải thiện thứ hạng website và thu hút khách hàng tiềm năng với các bài viết về SEO trên Blog của chúng tôi!

BÀI VIẾT LIÊN QUAN

SEO Quake là gì? Các cách sử dụng SEOQuake cho người mới bắt đầu

SEO Quake là gì? Các cách sử dụng SEOQuake cho người mới bắt đầu

Th10 28, 2024

SEO Quake là gì? SEO Quake sở hữu những tính năng vượt trội nào? BiziBusiness sẽ hướng dẫn sử dụng SEOQuake đơn giản và hiệu quả trong bài viết này.

Tại sao Relationship Marketing lại quan trọng? Mang lại lợi ích gì cho doanh nghiệp

Tại sao Relationship Marketing lại quan trọng? Mang lại lợi ích gì cho doanh nghiệp

Th10 28, 2024

Bản chất của marketing quan hệ trong doanh nghiệp là gì? Cùng BiziBusiness tìm hiểu tại sao marketing quan hệ lại quan trọng trong bài viết này nhé!

Các công cụ digital marketing phổ biến nhất năm 2023

Các công cụ digital marketing phổ biến nhất năm 2023

Th10 28, 2024

Khám phá các công cụ digital marketing phổ biến nhất năm 2023 và tìm hiểu cách chúng có thể nâng cao chiến dịch quảng cáo của bạn ngay tại đây!

Allintitle là gì?Tìm hiểu cách thức sử dụng Allintitle hiệu quả

Allintitle là gì?Tìm hiểu cách thức sử dụng Allintitle hiệu quả

Th10 28, 2024

Thuật ngữ Allintitle là gì? Allintitle có vai trò như thế nào trong quá trình SEO? Cùng BiziBusiness tìm hiểu câu lệnh cơ bản ai cũng cần biết trong bài viết này!

Cách tối ưu hóa website hiệu quả nhất năm 2023

Cách tối ưu hóa website hiệu quả nhất năm 2023

Th10 28, 2024

Làm thế nào để áp dụng hiệu quả cách tối ưu hóa website? Vai trò của tối ưu hóa website trong SEO là gì? Cùng BiziBusiness tìm hiểu ngay!

AIDA là gì? Bật mí cách viết nội dung bằng mô hình AIDA hiệu quả

AIDA là gì? Bật mí cách viết nội dung bằng mô hình AIDA hiệu quả

Th10 28, 2024

Mô hình AIDA là gì? Làm thế nào để ứng dụng mô hình AIDA vào content hiệu quả? Cùng BiziBusiness đi tìm lời giải đáp mọi thắc mắc của bạn qua bài viết này

Đăng Ký Nhận Tin

Giải phóng khả năng sáng tạo và luôn cập nhật các mẹo tiếp thị

Lời khuyên và thủ thuật từ chuyên gia

Tài nguyên và hướng dẫn được tuyển chọn

Chương trình ưu đãi

Bằng cách gửi biểu mẫu, bạn đồng ý với Điều khoản & Chính sách bảo mật của BiziBusiness.