判断一个站有没有被收录,习惯是敲 site:域名。看到 0 条就急,看到几百条就以为稳了。这个数字只能参考。
搜索引擎处理页面分三步:抓取、索引、展现。site: 只是搜索结果里的估算,会受词、地区和时间影响;后台索引量是另一套统计。两个数对不上很正常,拿它当唯一指标容易带偏方向。

先分清:没抓,还是抓了没收
百度搜索资源平台的“抓取诊断”能模拟蜘蛛访问 URL,返回状态码和失败原因。Google 对应的是 Search Console 的“网址检查”,能看单个 URL 是否被抓取、能否编入索引。
返回 403、404、503,问题在服务器、权限或链接本身;返回 200 但索引量长期不涨,问题更可能在内容质量、重复页面或索引策略。先分清这两类,再决定改哪里。
整站看索引量趋势和抓取异常;突然下跌先查 5xx、改版或批量删除。
三个硬门槛,先排除

第一是 robots.txt。Disallow: / 会屏蔽全站,误把栏目目录写进禁止列表也常见。改完用抓取诊断跑一次。
第二是 noindex。页面里的 <meta name="robots" content="noindex"> 或服务器返回的 X-Robots-Tag: noindex,都会让页面被抓取也不进索引。测试环境上线最容易带出这类设置。
第三是 canonical。全站都指向首页,或指向失效 URL,等于告诉搜索引擎这些页面不用单独收录。改版、换域名后要重点核对。
基础条件也要过一遍:SSL 有效、DNS 稳定、国内能打开、没有登录墙。这些不解决,提交没意义。
提交是递材料,不是下命令
百度的入口在搜索资源平台(ziyuan.baidu.com),验证站点后进入“普通收录”,有三种方式:API 推送、sitemap、手动提交。API 适合实时推送,sitemap 适合全量兜底,手动提交适合少量紧急页面。配额规则不同,额度以站点后台为准。
提交成功只代表平台收到了 URL,不代表会抓取,更不代表会收录。新站先把核心页面提交一遍就够,不必每天全量推。
Google 这边,Search Console 提交 sitemap 能帮助发现 URL,网址检查可请求编入索引。官方文档明确说:请求抓取不保证收录,重复请求也不会更快。
内容和结构决定愿不愿意收
孤岛页面。新文章没有内链指向,只能等蜘蛛碰巧爬到。发布后至少从栏目页、相关文章、首页各给一个入口。
重复 URL。带参数、www 与非 www 都能访问,又没做 301 或 canonical,同一篇内容会被拆成几个地址。
改版断链。旧链接直接 404,不设 301,之前积累的抓取关系会断掉。批量改 URL 前先整理映射表。
内容本身。标题与正文对不上、首屏全是广告、正文靠采集拼接,都会降低抓取价值。持续更新、主题集中的站点,抓取频次通常更稳。
一个可以照着走的排查顺序

- 用 site:域名 初筛,只作参考。
- 登录站长平台,看索引量趋势、抓取频次、抓取异常。
- 选 3 到 5 个典型页面跑抓取诊断,记录状态码。
- 查看源代码,确认 robots meta、canonical、标题和正文正常。
- 检查 robots.txt 是否误屏蔽,sitemap 能否访问、URL 是否都返回 200。
- 新内容发布后提交一次,观察两到四周。
以上都正常、只是新站,剩下的主要是时间。频繁改标题、改结构、反复提交,会让抓取判断反复重置。
几个常见误区
- site: 数字下降不等于降权,多数是估算波动,要和后台索引量对照。
- 提交越多收录越多。低质 URL 会占配额,效果往往相反。
- 收录不等于排名。进了索引,能不能排前面是另一套逻辑。
- 只盯首页。首页收录不代表内页收录,内页没入口是很常见的卡点。
写在最后
这篇讲了五个环节:分清抓取和索引、排除 robots/noindex/canonical 三类门槛、看提交方式、查内链与重复 URL、核对内容质量。能控制的部分有限,把可抓、可索引、有入口、内容值得收做到,剩下的交给时间。
以上是个人实践整理,不构成任何专业咨询建议。