词条信息

admin
admin
超级管理员
词条创建者 发短消息   

相关词条

热门词条

更多>>
2018 年最常见的 Python 面试题
【导读】Python 新手在谋求一份 Python 编程工[详细]
学习编程语言常用的10个工具
每个行业都有自己的工具,软件开发也没有什么不同。一个优秀的程序[详细]
Python软件的下载、安装和使用问题汇总
这是个Python开发环境相关问题的汇总,希望能让所有学习[详细]
人民日报三问区块链
近段时间,有关比特币的新闻非常吸睛,区块链也跟着火了一把。资本[详细]
2018年IT行业最赚钱的5个职位
前言  前几天看到一则新闻,说是某著名科技公司的程序员在相亲节[详细]
解决网 >>所属分类 >> 网络营销    搜索引擎   

如何禁止搜索引擎抓取网站内容?

标签: 搜索引擎 抓取 收录

顶[0] 发表评论(0) 编辑词条

大家做seo都是在千方百计的让搜索引擎抓取和收录,但是其实很多情况下我们还需要禁止搜索引擎抓取和收录

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

比如,公司内部测试的网站,或者内部网,或者后台登录的页面,肯定不希望被外面的人搜索到,所以要禁止搜索引擎抓取。 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

那禁止搜索引擎抓取后会有什么效果呢?

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

给大家发一张禁止搜索引擎抓取网站的搜索结果截图:

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

www.solves.com.cn 电脑百科

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

大家可以看到,描述没有被抓取到,而是有一句提示:由于该网站的robots.txt文件存在限制指令(限制搜索引擎抓取),系统无法提供该页面的内容描述 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

所以禁止搜索引擎收录其实是通过robots.txt文件来控制的

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

百度官方对robots.txt的解释是这样的:

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

9月11日,百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时,才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

如您的网站未设置robots协议,百度搜索对网站视频URL的收录将包含视频播放页URL,及页面中的视频文件、视频周边文本等信息,搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外,综艺影视类长视频,搜索引擎仅收录页面URL。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

通过上面的话我们能得到2条结论: www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

1、robots.txt 不要也行 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

2、网站有内容不想让搜索引擎收录,在robots.txt里声明

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

声明代码如下:

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

User-Agent: * www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

Disallow: /

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

这个robots.txt对seo优化其实也很重要,因为搜索引擎第一个访问的文件就是robots.txt

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

比如你网站新搭建了一个栏目,想快速被搜索引擎发现,那就直接把栏目链接添加到robots.txt里就可以了,下次搜索引擎爬取你的网站,肯定会发现 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

所以,网站地图文件一般会加在robots.txt文件里 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

再比如你的网站做了伪静态,那原来的动态链接就最好在robots.txt禁止收录,防止重复页面过多被搜索引擎收录,对网站排名不利。

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

其实robots.txt文件主要有2种功能: www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

1、限制抓取 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

2、声明网站地图

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

如是你不会写,可以用站长工具的robots.txt生成:

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

www.solves.com.cn 电脑百科

www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

直接填入你要禁止抓取的目录和网站地图,点击生成就可以了。 www.solves.com.cn 电脑百科


www.solves.com.cn 电脑百科

www.solves.com.cn 电脑百科

 

 

本文地址:解决网 http://www.solves.com.cn/doc-view-5488.html

TAGS:SOLVES , 电脑技术 , 电脑知识 , 网站建设, 电脑技术, 网络营销 , 网站托管 , 硬件技术 , 网络技术 , 软件技术, 维修网点

附件列表


按字母顺序浏览:A B C D E F G H I J K L M N O P Q R S T U V W X Y Z

→我们致力于为广大网民解决所遇到的各种电脑技术问题
 如果您认为本词条还有待完善,请 编辑词条

上一篇中小企业做品牌推广的方法有哪些
下一篇余额宝收益率已跌破3%

0
1. 本站部分内容来自互联网,如有任何版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
2. 本站内容仅供参考,如果您需要解决具体问题,建议您咨询相关领域专业人士。
3. 如果您没有找到需要的电脑技术问题词条,您可以到百科问答提问或创建词条,等待高手解答。

关于本词条的提问

查看全部/我要提问>>