Khắc phục lỗi website không được Google index

1. Tổng quan

Website của bạn (stacklab.vn) chưa được Google index vì có nhiều nguyên nhân liên quan đến cấu hình WordPress, sitemap, header HTTP và cách bạn submit vào Google Search Console (GSC). Quá trình xử lý gồm: kiểm tra robots.txt, xác minh quyền sở hữu domain, cấu hình sitemap, xử lý lỗi X-Robots-Tag: none, kiểm tra firewall và submit sitemap đúng cách trong GSC.

Dưới đây là hướng dẫn chi tiết theo từng bước, bao quát tất cả tình huống bạn đã gặp.

2. Kiểm tra robots.txt

2.1 File robots.txt của bạn.

Truy cập: https://stacklab.vn/robots.txt

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://stacklab.vn/wp-sitemap.xml

• File này hợp lệ, không chặn Googlebot.
• Vẫn cần đảm bảo rằng URL https://stacklab.vn/wp-sitemap.xml truy cập được.

2.2. Kiểm tra trong cài đặt WordPress

• Vào Bảng điều khiển (Dashboard) → Cài đặt (Settings) → Đọc (Reading).
• Tìm mục “Discourage search engines from indexing this site” / “Ngăn công cụ tìm kiếm lập chỉ mục trang web này”.
  • Nếu được tick chọn → Website đang yêu cầu Google không index (dùng thẻ noindex).
  • Nếu bỏ chọn → Google được phép thu thập.

2.3. Kiểm tra thẻ meta trong source code

• Mở website → bấm Ctrl+U để xem mã nguồn.
• Tìm <meta name="robots" content="noindex,nofollow">
  • Nếu thấy thẻ noindex → Google sẽ không index.
  • Nếu là index, follow hoặc không có thẻ robots → Google có thể index bình thường.

2.4. Kiểm tra bằng Google Search Console

• Nếu bạn đã kết nối site với Google Search Console, hãy truy cập https://search.google.com/search-console/welcome, nhập domain của bạn, ví dụ stacklab.vn và bấm tiếp tục.

Nếu bạn có liên kết Domain với Google Search Console bạn sẽ nhận được giao diện dưới.

Gửi sitemap https://stacklab.vn/wp-sitemap.xml.

Sau khi gửi sitemap và request indexing, thường trong 1–7 ngày Google sẽ index (nhanh/chậm tùy mức độ uy tín và crawl budget).

3. Xác minh quyền sở hữu domain

Nếu chưa liên kết Domain với Google Search Console, bạn sẽ được chuyển đến thông báo này. Hãy sao chép bản ghi TXT và cấu hình trong DNS cho StackLAB.VN.

Đây là bước xác minh quyền sở hữu domain trong Google Search Console bằng bản ghi DNS (TXT record).

Cách thêm bản ghi TXT để xác minh:

• Đăng nhập trang quản lý tên miền (Matbao.vn trong trường hợp của mình).
• Vào phần Quản trị tên miền → Bản ghi DNS (như hình bạn chụp).
• Bấm Tạo bản ghi.
• Điền như sau:
  • Host: để trống hoặc nhập @ (tức là áp dụng cho root domain stacklab.vn).
  • Loại (Type): chọn TXT.
  • Giá trị (Value): dán nguyên chuỗi Google cung cấp, ví dụ:

Kết quả

QuaGoogle Search Console, nó sẽ báo đã tự động xác minh quyền sở hữu. Như vậy là xác minh xong rồi, giờ chỉ cần gửi sitemap + yêu cầu Google index là ổn.

4. Cấu hình sitemap trong WordPress

WordPress mặc định (phiên bản 5.5 trở lên) tạo sitemap tại https://stacklab.vn/wp-sitemap.xml

Sitemap index (wp-sitemap.xml) chứa link đến các sitemap con như:

• wp-sitemap-posts-post-1.xml (danh sách bài viết)
• wp-sitemap-posts-page-1.xml (danh sách page)
• wp-sitemap-taxonomies-category-1.xml (danh mục)
• wp-sitemap-users-1.xml (tác giả)

Bạn chỉ cần submit sitemap index (wp-sitemap.xml). Google sẽ tự crawl các sitemap con.

Ví dụ sơ đồ logic:

wp-sitemap.xml
 ├── wp-sitemap-posts-post-1.xml
 ├── wp-sitemap-posts-page-1.xml
 ├── wp-sitemap-taxonomies-category-1.xml
 └── wp-sitemap-users-1.xml

5. Vấn đề với header X-Robots-Tag: none

Khi kiểm tra bằng lệnh:

curl -A "Googlebot" https://stacklab.vn/ -I

Nếu bạn nhận được:

X-Robots-Tag: none

Ví dụ

shell> curl -A "Googlebot" https://stacklab.vn/ -I
HTTP/1.1 200 OK
Server: nginx
Date: Wed, 03 Sep 2025 10:10:53 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Vary: Accept-Encoding
Vary: X-Forwarded-Proto
Last-Modified: Wed, 03 Sep 2025 09:49:12 GMT
Cache-Control: max-age=0
Expires: Wed, 03 Sep 2025 10:10:53 GMT
X-Frame-Options: SAMEORIGIN
X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Cache-Control: no-transform
Referrer-Policy: no-referrer
X-Robots-Tag: none
Content-Security-Policy: upgrade-insecure-requests

Điều này đồng nghĩa với việc toàn bộ site bị chặn index. Đây chính là lý do Google không index được website và sitemap.

Nguyên nhân có thể:

• Cấu hình trong Nginx/Apache thêm header này.
• Plugin WordPress thêm header này.
• Cài đặt WordPress trong phần Settings → Reading, nếu tick “Discourage search engines from indexing this site”.

Đây là bước quan trọng nhất. Hãy gỡ X-Robots-Tag: none trong config Nginx và reload lại, header này không còn xuất hiện nữa.

Kết quả sau khi gỡ X-Robots-Tag: none

shell> curl -A "Googlebot" https://stacklab.vn/ -I
HTTP/1.1 200 OK
Server: nginx
Date: Wed, 03 Sep 2025 10:12:12 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Vary: Accept-Encoding
Vary: X-Forwarded-Proto
Last-Modified: Wed, 03 Sep 2025 09:49:12 GMT
Cache-Control: max-age=0
Expires: Wed, 03 Sep 2025 10:12:12 GMT
X-Frame-Options: SAMEORIGIN
X-XSS-Protection: 1; mode=block
X-Content-Type-Options: nosniff
Cache-Control: no-transform
Referrer-Policy: no-referrer
Content-Security-Policy: upgrade-insecure-requests

6. Lời khuyên

• Sau khi gỡ bỏ X-Robots-Tag: none, hãy xóa cache (nếu có plugin cache hoặc CDN).
• Kiểm tra lại trong Google Search Console → Dùng “Kiểm tra URL” cho https://stacklab.vn/ → bấm Yêu cầu lập chỉ mục.
• Chỉ submit sitemap index, không cần nộp sitemap con.
• Kiểm tra file robots.txt luôn có dòng: Sitemap: https://stacklab.vn/wp-sitemap.xml
• Chờ 1–7 ngày để Google crawl lại, kết quả sẽ hiển thị dần trong GSC → Coverage.

7. Kết luận

Nguyên nhân chính khiến website stacklab.vn không được Google index là do header HTTP X-Robots-Tag: none đã chặn toàn bộ site, chứ không phải firewall hay robots.txt. Sau khi sửa Nginx để gỡ bỏ header này, website đã sẵn sàng để được Google index. Việc cần làm tiếp theo là submit lại sitemap index (wp-sitemap.xml) trong GSC với đúng loại property, đồng thời dùng công cụ “Kiểm tra URL” để yêu cầu lập chỉ mục cho trang chủ.

Nếu thực hiện đúng các bước trên, Google sẽ sớm index lại website của bạn và sitemap sẽ hoạt động bình thường.