本文目录
站点上线一个月，收录只有首页。这时候最常听到的建议是"多发文章""多做外链"。但如果问题出在抓取层，发再多内容也不会被收录。
第一类：抓不到
表现是日志里爬虫很少访问新页面。原因可能是：新页面没有入口（内链没做）、层级太深、站点地图未提交、robots 屏蔽、服务器对爬虫响应慢。
处理顺序：先补内链入口，确保每个新页面从栏目页两次点击可达；再提交站点地图；最后检查服务器响应。这三步做完，通常一到两周能看到抓取增加。
第二类：抓了不收
表现是爬虫来过，但索引量不涨。常见原因有三个：内容与站内已有页面高度重复、页面信息量太少（只有几句话或一张图）、页面需要登录或依赖 JS 渲染才能看到内容。
处理方式：合并重复页面并做 301、补充实质内容、确保正文在 HTML 源码中可直接读取。第三点尤其重要，很多站点用前端框架渲染，爬虫拿到的只是一个空壳。
第三类：收了不展示
表现是 site 查询能看到页面，但搜索标题或关键词找不到。这通常不是收录问题，而是相关性或质量评分不足：标题与搜索意图不匹配、内容深度不够、站点整体权重低。
处理方式：重写标题与首段，让页面明确回答一个具体问题；补充数据、案例与操作步骤；从相关的高权重页面加内链。
判断自己属于哪一类
用三个动作快速判断：查日志看爬虫是否来访、用 site 查是否被索引、用页面标题的完整长尾词搜索看是否出现。三个结果组合起来，基本能定位类型。
提升收录的稳定做法
- 保持稳定的更新频率，比一次性发五十篇更有效；
- 每篇内容至少有一个明确的问题与答案；
- 栏目页要有导语与推荐，不要只放列表；
- 控制标签页与筛选页数量，避免稀释抓取预算；
- 定期清理死链与空白页。
收录是结果，不是目标。把页面做成"值得被索引"的样子，收录会自然发生。
收录和索引不是一回事
很多人把这两个概念混着用，排查时就会走错方向。
收录是指爬虫来过、抓走了页面。索引是指页面进入了可检索的数据库，能被搜到。一个页面可能被抓了一百次但一直不索引，也可能索引了但排名在五十页之后。
怎么区分？在百度搜索框输入 site:你的域名，出来的是索引量。在搜索资源平台看"抓取频次"和"索引量"两个曲线，抓取有量但索引不动，说明是质量问题；抓取量本身就是零，说明是发现和可达性问题。
一个快速验证方法
怀疑某个页面不被收录，可以做个对照实验。
找一篇已经收录的文章，把它的正文复制到一个新 URL 上，只改标题。三天后看新 URL 是否收录。如果收录了，说明站点本身没问题，问题在原页面的内容或结构；如果不收录，说明站点整体有质量或抓取问题。
这个实验能在一周内把问题范围缩小一半。比漫无目的地改标题、堆关键词有效得多。
