词条信息

admin
admin
超级管理员
词条创建者 发短消息   

相关词条

热门词条

更多>>
做自媒体,每个月究竟能赚多少钱?
做自媒体可以赚钱,这是众所周知的,从几百到几千,最后到几万[详细]
华住个人信息泄露案告破
9月19日消息 根据华住集团官网的消息,9月17日,华住集[详细]
教你辨别原装和杂牌苹果充电器
  为什么同样是充电器原厂和山寨的价格会差这么多,难道就真[详细]
苹果iOS12支持的设备
iOS12已于今日凌晨正式发布了。据悉,本次iOS12的升级是[详细]
支付宝接入银联,支付行业将有这些大变化
支付宝接入银联传闻终于落地。9月14日,每日经济新闻(微信号:[详细]
解决网 >>所属分类 >> 网络营销    SEO   

搜索引擎蜘蛛抓取配额是什么?

标签: 搜索引擎

顶[0] 发表评论(0) 编辑词条

一月份时,Google新的SEO代言人Gary Illyes在Google官方博客上发了一篇帖子:What Crawl Budget Means for Googlebot,讨论了搜索引擎蜘蛛抓取份额相关问题。对大中型网站来说,这是个颇为重要的SEO问题,有时候会成为网站自然流量的瓶颈。

www.solves.com.cn 电脑百科

今天的帖子总结一下Gary Illyes帖子里的以及后续跟进的很多博客、论坛帖子的主要内容,以及我自己的一些案例和理解。

www.solves.com.cn 电脑百科

强调一下,以下这些概念对百度同样适用。

www.solves.com.cn 电脑百科

目录

[显示全部]

什么是搜索引擎蜘蛛抓取份额?编辑本段回目录

www.solves.com.cn 电脑百科

顾名思义,抓取份额是搜索引擎蜘蛛花在一个网站上的抓取页面的总的时间上限。对于特定网站,搜索引擎蜘蛛花在这个网站上的总时间是相对固定的,不会无限制地抓取网站所有页面。 www.solves.com.cn 电脑百科

抓取份额的英文Google用的是crawl budget,直译是爬行预算,我觉得不太能说明是什么意思,所以用抓取份额表达这个概念。 www.solves.com.cn 电脑百科

抓取份额是由什么决定的呢?这牵扯到抓取需求和抓取速度限制。 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

抓取需求编辑本段回目录

www.solves.com.cn 电脑百科

抓取需求,crawl demand,指的是搜索引擎“想”抓取特定网站多少页面。

www.solves.com.cn 电脑百科

决定抓取需求的主要有两个因素。一是页面权重,网站上有多少页面达到了基本页面权重,搜索引擎就想抓取多少页面。二是索引库里页面是否太久没更新了。说到底还是页面权重,权重高的页面就不会太久不更新。

www.solves.com.cn 电脑百科

页面权重和网站权重又是息息相关的,提高网站权重,就能使搜索引擎愿意多抓取页面。

www.solves.com.cn 电脑百科

抓取速度限制编辑本段回目录

www.solves.com.cn 电脑百科

搜索引擎蜘蛛不会为了抓取更多页面,把人家网站服务器拖垮,所以对某个网站都会设定一个抓取速度的上限,crawl rate limit,也就是服务器能承受的上限,在这个速度限制内,蜘蛛抓取不会拖慢服务器、影响用户访问。

www.solves.com.cn 电脑百科

服务器反应速度够快,这个速度限制就上调一点,抓取加快,服务器反应速度下降,速度限制跟着下降,抓取减慢,甚至停止抓取。 www.solves.com.cn 电脑百科

所以,抓取速度限制是搜索引擎“能”抓取的页面数。

www.solves.com.cn 电脑百科

抓取份额是由什么决定的?编辑本段回目录

www.solves.com.cn 电脑百科

抓取份额是考虑抓取需求和抓取速度限制两者之后的结果,也就是搜索引擎“想”抓,同时又“能”抓的页面数。

www.solves.com.cn 电脑百科

网站权重高,页面内容质量高,页面够多,服务器速度够快,抓取份额就大。

www.solves.com.cn 电脑百科

小网站没必要担心抓取份额编辑本段回目录

www.solves.com.cn 电脑百科

小网站页面数少,即使网站权重再低,服务器再慢,每天搜索引擎蜘蛛抓取的再少,通常至少也能抓个几百页,十几天怎么也全站抓取一遍了,所以几千个页面的网站根本不用担心抓取份额的事。数万个页面的网站一般也不是什么大事。每天几百个访问要是能拖慢服务器,SEO就不是主要需要考虑的事了。

www.solves.com.cn 电脑百科

大中型网站可能需要考虑抓取份额编辑本段回目录

www.solves.com.cn 电脑百科

几十万页以上的大中型网站,可能要考虑抓取份额够不够的问题。 www.solves.com.cn 电脑百科

抓取份额不够,比如网站有 1 千万页面,搜索引擎每天只能抓几万个页面,那么把网站抓一遍可能需要几个月,甚至一年,也可能意味着一些重要页面没办法被抓取,所以也就没排名,或者重要页面不能及时被更新。 www.solves.com.cn 电脑百科

要想网站页面被及时、充分抓取,首先要保证服务器够快,页面够小。如果网站有海量高质量数据,抓取份额将受限于抓取速度,提高页面速度直接提高抓取速度限制,因而提高抓取份额。 www.solves.com.cn 电脑百科

百度站长平台和Google Search Console都有抓取数据。如下图某网站百度抓取频次:

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

QQ截图20170704140155.jpg

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

上图是SEO每天一贴这种级别的小网站,页面抓取频次和抓取时间(取决于服务器速度和页面大小)没有什么大关系,说明没有用完抓取份额,不用担心。 www.solves.com.cn 电脑百科

有的时候,抓取频次和抓取时间是有某种对应关系的,如下图另一个大些的网站:

www.solves.com.cn 电脑百科

QQ截图20170704140210.jpg

www.solves.com.cn 电脑百科

可以看到,抓取时间改善(减小页面尺寸、提高服务器速度、优化数据库),明显导致抓取频次上升,使更多页面被抓取收录,遍历一遍网站更快速。 www.solves.com.cn 电脑百科

Google Search Console里更大点站的例子:

www.solves.com.cn 电脑百科

QQ截图20170704140226.jpg
www.solves.com.cn 电脑百科

最上面的是抓取页面数,中间的是抓取数据量,除非服务器出错,这两个应该是对应的。最下面的是页面抓取时间。可以看到,页面下载速度够快,每天抓取上百万页是没有问题的。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

当然,像前面说的,能抓上百万页是一方面,搜索引擎想不想抓是另一方面。 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

大型网站另一个经常需要考虑抓取份额的原因是,不要把有限的抓取份额浪费在无意义的页面抓取上,导致应该被抓取的重要页面却没有机会被抓取。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

浪费抓取份额的典型页面有:编辑本段回目录

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

大量过滤筛选页面。这一点,几年前关于无效URL爬行索引的帖子里有详细讨论。

www.solves.com.cn 电脑百科

站内复制内容 www.solves.com.cn 电脑百科

低质、垃圾内容

www.solves.com.cn 电脑百科

日历之类的无限个页面

www.solves.com.cn 电脑百科

上面这些页面被大量抓取,可能用完抓取份额,该抓的页面却没抓。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

怎样节省抓取份额?编辑本段回目录

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

当然首先是降低页面文件大小,提高服务器速度,优化数据库,降低抓取时间。 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

然后,尽量避免上面列出的浪费抓取份额的东西。有的是内容质量问题,有的是网站结构问题,如果是结构问题,最简单的办法是robots文件禁止抓取,但多少会浪费些页面权重,因为权重只进不出。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

某些情况下使用链接nofollow属性可以节省抓取份额。小网站,由于抓取份额用不完,加nofollow是没有意义的。大网站,nofollow是可以在一定程度上控制权重流动和分配的,精心设计的nofollow会使无意义页面权重降低,提升重要页面权重。搜索引擎抓取时会使用一个URL抓取列表,里面待抓URL是按页面权重排序的,重要页面权重提升,会先被抓取,无意义页面权重可能低到搜索引擎不想抓取。 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

最后几个说明:编辑本段回目录

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

链接加nofollow不会浪费抓取份额。但在Google是会浪费权重的。 www.solves.com.cn 电脑百科

noindex标签不能节省抓取份额。搜索引擎要知道页面上有noindex标签,就得先抓取这个页面,所以并不节省抓取份额。

www.solves.com.cn 电脑百科

canonical标签有时候能节省一点抓取份额。和noindex标签一样,搜索引擎要知道页面上有canonical标签,就得先抓取这个页面,所以并不直接节省抓取份额。但有canonical标签的页面被抓取频率经常会降低,所以会节省一点抓取份额。

www.solves.com.cn 电脑百科

抓取速度和抓取份额不是排名因素。但没被抓取的页面也谈不上排名。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

 

 

本文地址:解决网 http://www.solves.com.cn/doc-view-3347.html

TAGS:SOLVES , 电脑技术 , 电脑知识 , 网站建设, 电脑技术, 网络营销 , 网站托管 , 硬件技术 , 网络技术 , 软件技术, 维修网点

附件列表


按字母顺序浏览:A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

→我们致力于为广大网民解决所遇到的各种电脑技术问题
 如果您认为本词条还有待完善,请 编辑词条

上一篇YouMi尤美旅行风景清纯写真
下一篇搜索引擎的关键词

0
1. 本站部分内容来自互联网,如有任何版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
2. 本站内容仅供参考,如果您需要解决具体问题,建议您咨询相关领域专业人士。
3. 如果您没有找到需要的电脑技术问题词条,您可以到百科问答提问或创建词条,等待高手解答。

关于本词条的提问

查看全部/我要提问>>