Tác động của việc bỏ qua Thẻ Meta Robots Index trên Website

Thẻ Meta Robots và Chức năng của nó

Thẻ meta trong HTML chứa thông tin về trang web mà máy rút dữ liệu như Googlebot có thể đọc. Có nhiều loại thẻ meta như thẻ mô tả meta nhưng Thẻ Meta Robots khác biệt ở chỗ nó có thể điều khiển các máy rút dữ liệu của công cụ tìm kiếm.

Thông tin được truyền tải bởi thẻ meta robots được gọi là một chỉ thị, có nghĩa là máy rút dữ liệu robot phải tuân theo các hướng dẫn trong thẻ meta robots.

Một trong những thẻ meta phổ biến nhất là thẻ meta noindex, nofollow. Thẻ meta này cho biết cho các máy rút dữ liệu của công cụ tìm kiếm không được lập chỉ mục nội dung trên trang web và không theo dõi bất kỳ liên kết nào.

Một thẻ meta khác phổ biến là thẻ meta index, follow, cho phép máy tìm kiếm lập chỉ mục nội dung và theo dõi tất cả các liên kết trên trang web.

Mặc dù thẻ meta index, follow phổ biến, nhưng có nhiều sự hiểu lầm về nó. Có một số trang web uy tín cho rằng Google sử dụng thẻ meta robots index, follow.

Nhưng thực tế không phải như vậy, như John Mueller đã làm rõ trong câu trả lời của mình.

Tác động của việc bỏ qua Thẻ Meta Robots Index

Người dùng trên Reddit đã đặt câu hỏi sau: 'Tôi hơi bối rối với một trang web mà tôi đang làm việc. Vậy, đây là những gì mà các đoạn trích meta trên hầu hết các trang web mà tôi làm việc trông giống như:

John Mueller đã trả lời: 'Thẻ 'index' robots meta không có chức năng (ít nhất là đối với Google) – nó hoàn toàn bị bỏ qua. Cũng như 'follow'. Google có https://developers.google.com/search/docs/crawling-indexing/special-tags & https://developers.google.com/search/docs/crawling-indexing/robots-meta-tag để tài liệu hóa các thẻ meta có chức năng. Bạn có thể sử dụng bất cứ thứ gì khác, nó sẽ bị bỏ qua.

Lý do đơn giản tại sao Google bỏ qua thẻ meta robots index và follow là vì việc lập chỉ mục và theo dõi là mặc định. Lập chỉ mục và theo dõi liên kết là nhiệm vụ của máy rút dữ liệu của công cụ tìm kiếm, họ không cần phải được chỉ dẫn để lập chỉ mục nội dung và theo dõi liên kết vì đó là mục đích của họ.

Tài liệu của Google về các thẻ robots khuyến cáo: 'Các giá trị mặc định là index, follow và không cần phải được chỉ định.'

Nếu thẻ meta robots bạn muốn sử dụng không được liệt kê ở đó thì Googlebot sẽ bỏ qua nó.

Thực tế, khi đối với Googlebot, là không có tác dụng và hoàn toàn bị bỏ qua bởi Googlebot.

Bing xử lý thẻ index, follow tương tự nhưng với một chút khác biệt, như mô tả trong tài liệu chính thức của Bing cho các thẻ meta.

Điều này là điều mà tài liệu của Bing nói về chỉ thị lập chỉ mục: 'Mặc định, chúng tôi giả định 'index', nhưng nếu cần thiết, bạn có thể sử dụng để tường minh rằng chúng tôi có thể lập chỉ mục trang.'

Và đây là điều mà nói về chỉ thị theo dõi: 'Mặc định, chúng tôi giả định 'follow', nhưng bạn có thể tường minh 'follow' nếu muốn.'

Thực Tế về Thẻ Meta Robots Index, Follow

Một điều quan trọng cần nhớ là khi đối với Googlebot, là một lãng phí không gian HTML và hoàn toàn bị bỏ qua bởi Googlebot.

Một số trang web khuyến nghị rằng nếu trang không được lập chỉ mục, việc sử dụng chỉ thị 'follow' buộc công cụ tìm kiếm phải theo dõi các liên kết. Nhưng điều đó không đúng nếu có chỉ thị 'noindex' vì Google không thể theo dõi một liên kết trên một trang mà nó không được lập chỉ mục.

Trong suốt hơn 20 năm làm việc trong lĩnh vực SEO, tôi luôn coi đó là một chính sách tốt để cung cấp cho bot những gì họ mong đợi và cố gắng không cung cấp cho họ bất kỳ điều gì là không mong đợi. Vì vậy nếu một mô tả meta không cần thiết thì ý đồ của tôi sẽ là loại bỏ nó vì mục tiêu của việc tối ưu hóa là làm cho việc lập chỉ mục và hiểu nội dung dễ dàng nhất có thể cho các công cụ tìm kiếm, điều đó có nghĩa là loại bỏ bất kỳ điều gì có thể làm việc ngược lại mục tiêu đó.

Trong trường hợp này, rất có thể là nó sẽ không có tác động tích cực hoặc tiêu cực.

Tuy nhiên, có một cách khác mà chỉ thị 'follow' và 'index' làm cho người ta nhầm lẫn.

Một số nhà xuất bản sử dụng thẻ meta robots này: . Một số trang web khuyến cáo rằng nếu trang không được lập chỉ mục, việc sử dụng chỉ thị 'follow' buộc công cụ tìm kiếm phải theo dõi các liên kết.

Nhưng điều đó không đúng nếu có chỉ thị 'noindex' vì Google không thể theo dõi một liên kết trên một trang mà nó không được lập chỉ mục.