Crawling và Indexing là những URL đã Index là những URL phân trang?

Crawling và Indexing là những URL đã Index là những URL phân trang?

Đã có rất nhiều cuộc tranh cãi nổ ra từ nhiều năm nay về việc làm thế nào để kiểm soát tình trạng phân trang Website sao cho hiệu quả. Nhưng những cuộc cãi vã này đã không cho ra kết quả gì, khi mà Google đã “hớt tay trên”, làm cho diễn biến cuộc tranh luận này càng không thể đi đến hồi kết. Cụ thể, Google đã thông báo là họ đã dừng việc hỗ trợ tính năng rel=next/prev để có thể thống nhất việc Index đối với những tình trạng phân trang trong Website (Và đây là vấn đề nhức nhối suốt nhiều năm ròng mà không mấy ai để tâm).

Điều này đã gây ra không ít bối rối cho các SEOer, đặc biệt là SEOer nước ngoài (Vì mình thấy ở VN có khá ít người để tâm). Do đó, nó đã dấy lên những câu hỏi như:

  • Liệu những trang được phân có được Index hay không?
  • Có cần phải dùng thẻ “noindex,follow” không?
  • Nó có bị Keyword Cannibalization với trang 1 hay không?

Việc này đã gây ra tình trạng nhiều trang mới được xuất hiện trong cùng 1 Website và SEOer luôn khốn đốn làm thế nào để cho việc này tối ưu nhất.

Nhưng liệu điều này có quan trọng không? Liệu việc chọn sai phương pháp có ảnh hưởng nặng nề tới SEO hay không? Hay là nếu như hầu hết những trang được Index đều là những trang đã được phân trang thì sao? Đây đều là những câu hỏi hay, và tôi mong case study này của Glenn Gabe sẽ giúp bạn hiểu được phần nào với kinh nghiệm chinh chiến với nhiều khách hàng gồm 67% trường hợp là những trang phân trang được Index trên tổng thể Website. Vậy thì đây có phải là một vấn đề lớn đối với các SEOer? Liệu Google có dành quá nhiều thời gian để Index những trang phân trang? Hãy cùng tìm hiểu ngay nhé!

Lập trường của Google về việc xử lý các dữ liệu phân trang trong nhiều năm qua:

Trở về năm 2012, Maile Ohye đã công bố 1 đoạn video cực kỳ chất lượng về việc phân trang trong SEO. Trong video này, Maile đã giải thích rất nhiều cách để thiết lập việc phân trang dựa trên loại hình nội dung, bao gồm các bài Articles được chia thành nhiều trang riêng biệt và phân trang danh mục (điển hình là cho Website E-Commerce). Ngoài ra, Maile còn đề cập tới việc ứng dụng thẻ rel next/prev để củng cố cho việc Indexing của những trang phân trang. Bản blueprint mà Maile vẽ ra trong video này đã trở thành kim chỉ nam cho những SEOer, ngay cả Glenn cũng học hỏi theo trước khi tiến hành Audit.

Đây là ảnh chụp màn hình từ video của Maile, nó lỹ giải rõ hơn về thẻ rel next/prev cho việc phân trang. Nên chú ý, tính năng rel next/prev KHÔNG ĐƯỢC GOOGLE HỖ TRỢ nữa về việc hợp nhất các thuộc tính của việc lập chỉ mục thông qua việc phân trang, nói nôm na là không hỗ trợ lập chỉ mục cho những bài viết hoặc trang trong cùng 1 danh mục.

Maile Ohye giải thích về vấn đề phân trang
Maile Ohye giải thích về vấn đề phân trang

Google đã trảm rel next/prev mà không ai hề hay biết

Như đã đề cập ở trên, Google thông báo là sẽ không hỗ trợ tính năng rel next/prev nữa trong việc hợp nhất các trang phân trang để lập chỉ mục. Ngoài ra, họ còn đổ thêm dầu vào lửa khi giải thích hiện tượng này đã xảy ra trong nhiều năm liền. Cần lưu ý rằng, bạn vẫn có thể sử dụng rel next/prev, nhưng chẳng có giúp ích gì tới quá trình SEO của bạn cả.

Như bạn có thể thấy đấy, dân SEO Whitehat luôn đi theo hướng dẫn của Google, nhưng ngay cả Muller cũng nói rằng rel next/prev không được sử dụng cho việc Indexing và Ranking. Ngoài ra, ông ấy còn thừa nhận tài liệu trước đó về rel next/prev không còn đúng và chuẩn bị xóa ngay.

Google thừa nhận đã không còn hỗ trợ rel next/prev
Google thừa nhận đã không còn hỗ trợ rel next/prev

Nhưng có một điều đán nói ở đây, hàng tá những Website khách hàng của Glenn Gabe vẫn không bị tụt thứ hạng sau khi Google thông báo về vấn đề không hỗ trợ thẻ rel next/prev nữa. Hãy nhìn qua tweet của Muller và Glenn, Muller nói rằng “một số Website sử dụng phân trang phù hợp đều cho ra kết quả tốt”. Nào, giờ hãy cùng Glenn giải thích rõ hơn ý đồ của Muller.

John Muller trả lời về vấn đề phân trang

Kể từ khi thông báo được công bố, Muller nhận rất nhiều câu hỏi về việc phân trang như nào cho hợp lý, và John cũng đã đưa ra lời giải thích xác đan ở trong video của chương trình Search Central Hangout.

John giải thích rằng Google có rất nhiều kinh nghiệm giải quyết về vấn đề phân trang (miễn là nó có thể xác định phân trang một cách dễ dàng). Nếu nó có nhiều kinh nghiệm như vậy, nó không nhất thiết phải tạo một cú “bão” lớn như thế lên cộng đồng SEO. Tất cả Google cần làm chỉ là hành động.

Dù sao thì, John cũng đã giải thích rằng việc chia 1 bài viết ra thành nhiều trang với lại 1 trang danh mục có phân trang là hoàn toàn khác nhau và sẽ được xử lý theo 2 cách hoàn toàn khác nhau, nếu cần thiết.

Đây cụ thể là những gì John nói về việc phân trang (Phút 13:16 trong video)

John Muller nói về việc phân trang

Ngoài ra, Google cũng đã đưa ra các phương pháp tối ưu cho việc SEO trên nền tảng TMĐT, trong đó có đề cập tới vấn đề phân trang trong Website. Cụ thể, Google đã cho biết, mỗi trang phân trang trong Website TMĐT phải có thẻ canonical trỏ về chính trang đó.

Google đưa ra các phương pháp tối ưu cho việc SEO trên nền tảng TMĐT
Google đưa ra các phương pháp tối ưu cho việc SEO trên nền tảng TMĐT

Ví dụ https://shopee.vn/ao-thun-nam/?page=1 phải có thẻ canonical trỏ về đúng trang https://shopee.vn/ao-thun-nam/?page=1 thay vì là https://shopee.vn/ao-thun-nam/.

Điều đó có nghĩa là, tất cả các trang phân trang đều được Index.

Chú ý: 2 điểm quan trọng mà các SEOer cần chú ý khi phân trang

Việc gì cũng vậy, cũng “có this có that”, thì phân trang trong SEO cũng vậy.

Đầu tiên, về kích thước Website rất quan trọng trong việc quyết định đến độ hiệu quả của Crawling Website. Như John đã giải thích, nếu Website nào không có hàng trăm ngàn Page, thì bạn không cần phải quá lo lắng về độ hiệu quả Crawling, hay còn được gọi là Crawl Budget. Nhưng trong trường hợp Website thương mại điện tử, có hàng ngàn Page, thì bạn cần biết rằng chỉ nên để Google quét những trang thực sự cần thiết, đồng nghĩa là bạn phải tối ưu hết mực, đặc biệt là tình trạng phân trang.

Chúng ta hãy cùng đi sâu hơn vào vấn đề phân trang qua Case Study dưới đây:

Một điều mà Glenn Gabe muốn chỉ ra đầu tiên chính là việc “phân trang quá mức”. Ví dụ, bạn nên tránh tình trạng phân hàng ngàn trang trong 1 set (như là 1 danh mục chứa hàng ngàn trang phân trang). Glenn nghĩ rằng, mọi chuyện vẫn sẽ ổn nếu có nhiều “set””phân trang, nhưng cần phải có số lượng hợp lý trong mỗi set (tùy vào Content và Page của mỗi Website).

Ví dụ, đây là Website với gần 3700 trang phân trang trong 1 danh mục…

Ví dụ về Website với gần 3700 trang phân trang trong 1 danh mục

Case Study: Thông tin cơ bản, Thiết lập phân trang & Mức độ lập chỉ mục

Website mà Glenn đề cập trên đây đã có lịch sử Index lên đến 200.000 trang (bao gồm những trang đã Index và những trang đã bị loại trừ). Về Website này, Glenn không thể cung cấp thông tin sâu hơn về lĩnh vực kinh doanh của khách hàng, nhưng ta có thể thấy được mức độ trù phú về danh mục, sản phẩm và review về các dòng sản phẩm. Ngoài ra, Website này còn có nội dung chuyên sâu, tập trung vào thị trường ngách của họ.

Đứng trên khía cạnh của việc phân trang, nó đóng vai trò khá quan trọng trong toàn bộ Website. Vì khi mà các sản phẩm hoặc đánh giá không được liên kết chéo tốt với nhau (tùy vào tổ chức doanh nghiệp), thì việc phân trang lại trở nên cực kỳ quan trọng (cho cả Googlebot và người dùng). Đó là lý do vì sao mà Glenn muốn tất cả các trang phân trang đều được Index để Google có thể theo đường dẫn đó để liên kết đến từng trang sản phẩm, review cụ thể.

Đây là công ty là Glenn đã hỗ trợ về vấn đề phân trang từ năm 2012. Website này đã sử dụng phương pháp mà Maile Ohye đã mô tả trong video bên trên. Cụ thể, mỗi trang phân trang sẽ có 1 thẻ Canonical riêng, bao gồm tính năng rel next/prev (giờ đã bị trảm) và có thẻ điều hướng phân trang ở cuối mỗi trang. Nên nhớ rằng, đây chính là đề xuất của Google trong 1 thời gian dài mà bạn có thể học cách Set-up ở đây: https://www.gsqi.com/marketing-blog/how-to-set-up-pagination-rel-next-prev/ .

Thiết lập phân trang
Thiết lập phân trang

Về mức độ Index: Batman phiên bản thần thánh

Tùy vào số lượng trang phân trang trên Website này, nó chiếm đến 67% trên tất cả các URL được Index.

Vãi lồng chim én lượn bay (à cái này tui viết chứ Glenn hổng có viết).

Số lượng trang phân trang được Index
Số lượng trang phân trang được Index
Số URL được Index
Số URL được Index

Không phải trang phân trang nào cũng cần thiết để Ranking, nhưng mà chúng ta đều muốn Google Craw hết những trang phân trang, thậm chí là Index chúng. Và đừng quên rằng, thẻ rel next/prev đã từng đảm nhiệm vai trò dẫn dắt Googlebot đến những trang được phân cực kỳ tốt (nhưng giờ thì không còn nữa). Có thể nói, sắp tới đây sẽ không còn tình trạng Indexing và Ranking các trang phân trang nữa.

Crawl Budget và Crawl Stats

Crawl Budget là số lượng trang mà Search Engine Bot (thông thường là Googlebot) quét trên toàn bộ Website trong một khoảng thời gian nhất định.

Crawl Stats là bản báo cáo số liệu về lịch sử quét (Crawl) trên toàn bộ Website.

Với trường hợp nhiều trang phân trang được Index, Crawl Stats lúc này sẽ trông như thế nào? Liệu Googlebot có “khuấy đảo” những trang phân trang và quên mất đi những trang quan trọng, những trang mới hơn chẳng hạn?

Đầu tiên, Crawl Budget là vấn đề chỉ những Website có kích thước lớn nên để tâm. Cụ thể, Google khẳng định rằng những Website mà có hơn 1.000.000 URL hoặc hơn 10.000 URL riêng biệt và thường xuyên cập nhật nội dung mới cần lo tới Crawl Budget. Như Website này có 18.600 URL đã được Index trong số tổng cộng hơn 200.000 URL đã được Index trước đây (gồm các URL đã bị loại trừ). Cho nên là, đây không phải là Site lớn, cũng chả phải Site nhỏ.

Ngoài ra, cần phải lưu ý rằng, không phải URL nào cũng được Googlebot quét với cùng một tần số (tùy thuộc vào mức độ quan trọng của trang). Hơn nữa, John Muller cũng đã giải thích về vấn đề này không ít lần trong nhiều năm qua. Cho nên là, Website của bạn có nhiều trang phân trang thì cũng chẳng có nghĩa là Google phải quét hết tất cả mà bỏ quên những nội dung mới hơn trên Website.

Đây là cách John giải thích vào phút 12:42 trong video:

Hiệu suất theo thời gian. Xu hướng của nó như thế nào?

Đây là lúc đi vào phần thực hành. Liệu có quá nhiều trang phân trang được Index như thế có ảnh hưởng tới thứ hạng và hiệu suất hoạt động của toàn bộ Website không?

1 từ thôi, KHÔNG.

Hiệu suất của Website này không những vẫn duy trì ổn định trong nhiều năm qua (tất nhiên là đã trải qua hàng tá cuộc Update từ Google) mà còn dần lớn mạnh hơn (đặc biệt là từ 2012, thời điểm mà Glenn bắt đầu nhận dự án này).

Hiệu suất của Website tăng ổn định từ năm 2012
Hiệu suất của Website tăng ổn định từ năm 2012

Còn đây là xu hướng hiển thị tìm kiếm trong 2 năm qua:

Xu hướng tìm kiếm Website trong 2 năm vừa rồi
Xu hướng tìm kiếm Website trong 2 năm vừa rồi

Còn đây là xu hướng hiển thị tìm kiếm từ năm 2012:

Xu hướng hiển thị tìm kiếm từ năm 2012
Xu hướng hiển thị tìm kiếm từ năm 2012

Các trang phân trang được xếp hạng thế nào trong SERP (những trang sau trang 1)? Liệu những trang đó có xuất hiệu trên SERP để tối ưu hóa việc kéo Traffic về Website hay không?

Không, không hẳn là thế. Có thể nói, nó chiếm một tỷ lệ rất nhỏ trong việc kéo Traffic từ Google Search. Ví dụ, trong 3 tháng mới đây, Website này có tổng cộng 1.620.000 lượt Clicks, trong đó, Traffic từ các trang phân trang chỉ chiếm 5% trong số đó.

Việc phân trang chỉ chiếm 3% trong tổng lượt Clicks từ Google Search trong 3 thang gần đây:

Tỷ lệ phân trang chỉ chiếm 3%

Glenn nghĩ rằng, điều quan trọng cần lưu tâm hơn cả ở Website này chính là việc các trang phân trang không được liên kết đủ tới các trang khác trong Website (tùy vào mô hình kinh doanh của doanh nghiệp và cách Set-up toàn bộ trang của từng Website). Cho nên là, các trang phân trang cần đảm bảo rằng Googlebot có thể được điều hướng tới các trang khác. Và đó là lý do vì sao ta phải đảm bảo các trang phân trang phải được Index, có thể là dùng thẻ Canonical cho từng trang phân trang, chẳng hạn thế.

Những Tips và đề xuất cuối cùng về những Website có nhiều trang phân trang:

Như bạn thấy đó, một Website có tới 67% là những trang phân trang được Index và nó vẫn sống tốt trên SERPs. Glenn không khuyên là các Website khác nên làm theo cách này, nhưng như John đã giải thích rất nhiều lần, Google rất thông minh và dư sức giải quyết những vấn đề phân trang này. Để kết thúc bài viết này một cách trọn vẹn, Glenn đã đúc kết ra những Tips mà mọi người cần lưu tâm về vấn đề phân trang:

Thiết lập phân trang: Hãy thiết lập một cách khôn ngoan. Bởi lẽ, có rất nhiều cách để xác định phân trang, và nó tùy thuộc vào loại hình nội dung mà Website đang triển khai và cấu trúc Internal Linking. Các bạn có thể tham khảo bài viết của Glenn về cách thiết lập phân trang (https://www.gsqi.com/marketing-blog/how-to-set-up-pagination-rel-next-prev/ ) để hiểu rõ hơn nhé!

Index và Không Index: Cần phải hiểu rằng, nếu bạn NoIndex những trang phân trang, Googlebot sẽ dần dần bỏ qua nó. Cho nên là, nếu bạn muốn Google được điều hướng đến những URL khác (chứa trong các trang phân trang), bạn cần phải Index các URL đó. Cũng như Case Study bên trên, nó vận hành rất tốt đấy thôi.

Gắn thẻ Canonical cho từng trang phân trang: Nếu bạn đang trỏ thẻ Canonical cho từng trang phân trang đến trang đầu (tức trang 1), thì bạn cần phải hiểu rằng, thẻ Canonical chỉ là gợi ý cho Google mà thôi. Thực chất, Google vẫn chọn Index những trang mà nó cho là hợp lý. Cho nên là Glenn cũng chả quan trọng hóa vấn đề Canonical này.

Crawl Stats và Log Files: Như Glenn đã đề cập ở trên, không phải mỗi URL đều được Google quét với tần suất như nhau. Google có thể quét những URL thông qua nhu cầu tìm kiếm, điều đó có nghĩa là những trang phân trang sẽ không được quét thường xuyên bằng trang chủ, danh mục, Landing Page hoặc bài viết. Cho nên là, đừng để tâm quá nhiều về việc Google Index quá nhiều trang phân trang, nó có thể không là vấn đề gì quá to tát đâu.

Theo dõi hiệu suất: Bạn phải đảm bảo răng việc các trang phân trang có ảnh hưởng gì đến SEO hay không. Một lần nữa, Google có thể xử lý rất tốt về vấn đề này. Điều mà Glenn lo lắng chính là 1 danh mục có quá nhiều trang phân trang thay vì lo lắng về vấn đề Google Index các trang phân trang. Như Glenn đã nói ở trên, bạn phải đảm bảo rằng việc phân trang phải hữu ích cho cả Google và người dùng.

Đề xuất của Google: Cuối cùng, hãy làm theo chỉ dẫn của John Muller, đọc các tài liệu và cố gắng thực hành để có một cái nhìn tổng quan hơn.

Nói tóm lại – Đúng vậy, Website của bạn sẽ vẫn hoàn toàn ổn nếu nhiều trang phân trang được Index. Và Glenn mong rằng Case Study này sẽ hữu ích đối với những ai đang xử lý về vấn đề phân trang này.

Bài viết được lược dịch từ “What happens to crawling and Google search rankings when 67% of a site’s indexed urls are pagination? [SEO Case Study]” của Glenn Gabe

Peace!

Print Friendly, PDF & Email

How useful was this post?

Click on a star to rate it!

Average rating 5 / 5. Vote count: 7

No votes so far! Be the first to rate this post.

Trả lời

Email của bạn sẽ không được hiển thị công khai. Các trường bắt buộc được đánh dấu *