当前位置:首页 > 互联网新闻 > 正文
文章详情页
201702-13

网页不收录的原因之一:都是邀请制惹的祸

 

平台攻城狮近日接到了百度内部用户的反馈,说lvshi.baidu.com站点的收录情况比较差,希望协助追查原因。

攻城狮追查的过程如下:

首先通过site语法检索,发现收录量确实比较少,只有11条,而且还发现一部分是死链数据。
然后根据用户反馈的部分url,检测发现这批链接在2016年12月26日当天已经就已经抓取回来了,首次抓取上是没有问题;

007131484813533

http://lvshi.baidu.com/help/about/story

http://lvshi.baidu.com/help/about/contact

http://lvshi.baidu.com/help/user/guide

http://lvshi.baidu.com/help/user/question

http://lvshi.baidu.com/help/user/feedback

http://lvshi.baidu.com/help/cooperation/provider

http://lvshi.baidu.com/goods?categoryid=1

http://lvshi.baidu.com/goods/33

紧接着发现这批网页都被百度爬虫判定为空短页面,从网页库中获取当时的抓取页面,检查发现这些页面抓取回来的内容是一样的,都是提示让输入邀请码。

043611484813533

被百度爬虫判断为空短页面,肯定是不能被百度搜索收录的。

有站长可能会问,那等网站全部开放后,是不是就可以收录了呢?对于百度爬虫来说,当对一个网站抓取后发现大面积都是低值的空短页面时,爬虫会认为这个站点的整体价值比较低,那么在后面的抓取流量分布上会降低,导致针对该站点的页面更新会比较慢,进而收录也会比较慢。这里学院君再次强调一下,不要让爬虫给站点画上不优质的标签哦,后果很严重!

那么该如何避免呢?方法其实比较简单,网站在邀请测试阶段使用robots封禁就可以。
本文来自百度官方说法,原文链接:http://zhanzhang.baidu.com/college/articleinfo?id=956

本文地址:http://www.028zhiya.com/1276.html
版权所有 © 转载时必须以链接形式注明作者和原始出处!


盛图SEO优化公司企业文化

成都网络推广找盛图SEO  首页 |网站seo推广案例|seo技术教程|seo专业术语|互联网新闻|专业网站优化 |团队实力 |关于盛图 |联系方式

search keyword: 成都网站优化 成都网络营销 成都优化公司 成都网络推广 成都SEO

Tel.028-69185520    Email:1848742319@qq.com    Cel.18108028677    

(C)2017   www.028zhiya.com.   成都seo优化公司-盛图seo 版权所有 严禁抄袭复制   网站地图   |   百度地图   信息产业部备案   蜀ICP备08007586号-4   本站获得W3C-xhtml标准认证   本站获得W3C-css标准认证