文章发布后没有被收录呢?教你怎么用网站收录的一键提交来提高抓取效率
中小站长经常会遇到新页面抓取速度慢、被收录困难的问题。本文介绍了怎样利用网站收录、一键提交等主动推送的技术来缩短百度蜘蛛发现新内容的时间间隔,并且优化站点抓取逻辑,从而帮助网站流量迅速增长。
作为在SEO第一线摸爬滚打多年的一线实战人员,我对中小站长那种“满腔热血但是换来的是沉默”的无力感非常能体会。为了写出一篇深度教程,你查阅了大量的资料,并且熬夜到凌晨两点才把文章发出去,满怀希望地期待着百度蜘蛛(Baiduspider))能够第一时间发现你的劳动成果。但是几天或者一个星期之后,在使用site:命令进行检索的时候,结果页面仍然会显示出“没有找到相关的内容”。新的页面抓取延迟或者长时间不被搜索引擎收录的问题,不但使站长们十分担忧,而且直接造成了网站权重停滞不前以及访问量下降的情况。
很多站长在遇到收录的问题的时候,都会掉入一个“盲目等待”的误区中。他们觉得如果内容质量高的话,搜索引擎就会主动前来抓取。但是目前的互联网环境使得搜索引擎每天需要处理大量的URL,对于权重低、更新快慢不定的小型网站来说,如果没有被主动引导的话,蜘蛛抓取优先级往往会排到后面去。其实,SEO的本质不只在于内容的竞争上,而是在于“信息传递效率”上的竞争。怎样使搜索引擎能够在最短时间内找到你所发布的更新内容,进而缩短从“发现”到“抓取”再到“收录”的整个过程的时间差,这就是解决收录问题的核心所在。
主动进攻:网站收录一键提交技术的价值
在所有的SEO优化方法当中,我认为站长们应该更加重视的一种技术手段就是网站收录一键提交。传统的SEO工作流程为“发布内容→→ 等待抓取 →检查收录是被动的过程。而使用网站收录一键提交的技术后,整个过程就变成了“发布内容”。→自动触发推送→实时通知抓取”。利用API接口或者主动推送的方式,在文章发布的时候,系统就会向搜索引擎的抓取中心发出一个“信号”,告诉蜘蛛:这里有一篇新的文章,请你马上过来查看。
该种技术的优点就是大大减少了搜索引擎的“发现成本”。对于新闻资讯类、技术教程类等等具有时效性特点的网站而言,这样的主动推送所蕴含的价值就更加重大了。另外,好的提交平台一般都有“智能清洗”的功能。除了简单的把URL发出去之外,还可以在提交之前对站内死链、重复页面或者因为参数错误造成的无效链接进行自动过滤。用这样精确的推送策略的话,站长就可以保证每次抓取请求都能到达真正有价值的优质网页上,不会造成搜索引擎对抓取配额的浪费,并且也不会损害到站点的抓取信誉度。
实战案例:由收录滞后转为流量暴涨
为了让大家有更直观的感受,我给大家举个我自己见过的真实例子。去年我在为一家垂直领域科技博客做服务的时候发现,该网站收录的问题十分严重:因为使用了动态生成的URL结构,所以百度蜘蛛抓取起来比较困难,新页面从发布到被收录平均要花费3~5个工作日。因此许多热点新闻在被收录的时候,它的热度已经接近尾声了。
对于这样的情况,我们并没有盲目地去堆砌关键词,而是首先引入了网站收录一键提交的工作流。利用技术手段把站长的CMS后台和推送接口进行连接,实现“发布即推送”。另外,我们和Sitemap一起进行自动更新,保证了网站结构的明了。效果非常明显,在实行此方案之后的两周之内,该站点的平均收录周期由原来的3~5天直接缩短到几个小时以内。随着收录频率的稳定提高,蜘蛛对这个网站的抓取频率也跟着增加了,从而带动了整个网站权重的上升,最后使该网站自然搜索流量在不到两个月的时间里就增长了150%,达到了惊人的水平。
技术手段和内容价值两方面共同推动
但是作为一个专业SEO从业者的我必须要客观地告诉大家:网站收录一键提交可以解决“发现”的问题,但是它不能代替“质量”在SEO中的核心地位。如果网页的内容同质化很严重、标题党现象突出或者加载速度非常慢的话,即使蜘蛛第一时间内抓取到了该页面的内容,但是由于其“内容质量低下”的原因,在索引库中也会被拒之门外。
所以最科学的SEO策略应该为“优质的内容+高效的推送+技术监控”三者结合。我们应当用好高效的方法去克服技术上抓取困难的问题,并且把时间留给能够触及到用户的深层次的内容。只有你的内容具有无法替代的价值,并且能够有效的进行主动推送,才有可能在越来越激烈的搜索引擎竞争中建立起自己独有的流量护城河。SEO是长期作战的过程,要学会利用各种辅助工具来帮助自己,在漫长的比赛中取得更好的成绩。