Skip to content
返回发布与可发现性

可索引性检查

验证搜索引擎真能爬和索引你的新页 — robots.txt、meta robots、canonical、sitemap 包含全对齐。

为什么

可索引性是排名前门：Google 不能索引你页则永不排，无论内容多好。最常见发布 SEO 失败是页技术上活、首页链到、但被误配 robots.txt、指他 URL 的 canonical、或 staging 残留 meta robots noindex 实效 noindexed。这些对用户不可见（页正常渲染）且对基本监控不可见（页返 200），故持续数月直到有人注意流量不长。可索引性检查验全链：robots.txt 允路径、页无 noindex 标、canonical 自引、URL 在 sitemap、Google URL Inspection 工具确认"可索引"。每页 5 分钟检查防不可索引页的 2 月罚。

何时使用

部署后、发布 24 小时内。用 Google Search Console URL Inspection 工具在 5-10 关键新 URL 确认可索引状态。

如何做

1. 查 robots.txt：确保不 Disallow 新路径（如 /launch、/launch/*）；常见错是宽 Disallow 如 /*.astro 误配 /launch
2. 查 meta robots：在 5 新页看源确认无 <meta name="robots" content="noindex"> 标；有则删或改"index,follow"
3. 查 canonical：每新页 <link rel="canonical"> 须指自己 URL（自引）非首页或他页；canonical 到他 URL 告 Google"别索引我，索引那个"
4. 查 sitemap 包含：每新 URL 须出现在 sitemap-pages.xml；浏览器取 sitemap 并 Ctrl+F 找新路径
5. 提交 sitemap 到 Google Search Console（Crawl > Sitemaps > Add sitemap-pages.xml）和 Bing Webmaster Tools
6. 用 Search Console URL Inspection：粘 5-10 关键新 URL、点"Request Indexing"；工具告你 URL 是否可索引，不可则为何（robots.txt 阻、canonical、noindex 等）
7. 查服务器响应：curl -I https://ez4code.com/launch 须返 200（非 301、404、500）；301 到他 URL 意 canonical 链断
8. 查渲染：用 Google Rich Results Test 或 Search Console Live Inspection 确认 Google 能渲染页（JS 重页有时对爬虫渲染空）
9. 监 2 周：每周查 Search Console"Coverage"报告；新页应 2-4 周内从"Discovered"到"Indexed"

示例

# 可索引性检查 — ez4code v2.0 /launch

## 1. robots.txt
User-agent: *
Disallow: /astro/
Disallow: /api/
# /launch 未被 Disallow ✓

## 2. Meta robots（看源 /launch）
# 无 <meta name="robots" content="noindex"> 找到 ✓

## 3. Canonical
<link rel="canonical" href="https://ez4code.com/launch">
# 自引 ✓

## 4. sitemap 包含
# sitemap-pages.xml 含：
<url><loc>https://ez4code.com/launch</loc></url>
<url><loc>https://ez4code.com/launch/pre-launch-checklist</loc></url>
# 全 30 新 /launch/* URL 在 ✓

## 5. sitemap 提交
Google Search Console：sitemap-pages.xml → 已提交 ✓
Bing Webmaster Tools：sitemap-pages.xml → 已提交 ✓

## 6. URL Inspection（Search Console）
/launch                    → "URL on Google" ✓
/launch/pre-launch-checklist → "可索引" ✓
/launch/ph-preparation     → "可索引" ✓
/launch/seo-launch-audit   → "可索引" ✓
/launch/geo-targeting      → "可索引" ✓

## 7. 服务器响应
curl -I https://ez4code.com/launch → HTTP/2 200 ✓

## 8. 渲染（Rich Results Test）
/launch 完全渲染（所有内容对 Googlebot 可见）✓

## 9. 2 周监控
第 1 周：18/30 页 Indexed、12 Discovered
第 2 周：28/30 页 Indexed、2 Discovered
=> 可索引性确认

常见问题

  • ⚠宽 robots.txt Disallow 误阻新路径 — "Disallow: /*.astro"为构建资产但也配 /launch 若路径含"astro"；发布前用 Google 测试器测 robots.txt。
  • ⚠canonical 指首页 — CMS 默认或复制粘贴错设每页 canonical 为"/"，告 Google 仅索引首页并去索引其他一切；此是杀站错。
  • ⚠JS 渲染藏内容于 Googlebot — 仅客户端水合渲染内容的 React island 对爬虫显空；用 SSR（Astro 默认）或预渲染使内容在 HTML。
  • ⚠sitemap 未更新 — sitemap 仍列旧 URL 而非新 /launch 页；Google 爬 sitemap 但永不发现新页，延迟索引数周。

最佳实践

  • ✓发布前用 Google robots.txt 测试器（Search Console > Crawl > robots.txt Tester）— 它精确示哪些路径允/阻，30 秒抓误过阻。
  • ✓经框架（Astro 布局中 <link rel=canonical>）设 canonical 标非每页手设 — 单一 canonical 逻辑源防每页复制粘贴错。
  • ✓预渲染所有内容页（Astro .astro 页默认）使 HTML 含全内容非 JS 水合桩 — Googlebot 可即索引预渲染 HTML 但等数周才索引 JS 渲染内容。
  • ✓每次部署重生并重提 sitemap 非仅发布时 — 旧 sitemap 意新页（v2.1 加）永不发现；在构建自动化 sitemap 生成。