让我们用实力和梦想与合作伙伴在一起,用技术的力量创造价值

网站制作robots有哪些具体用途?

日期:2019-05-05 专题:深圳网站制作 , 深圳网站开发

很多朋友对Robots.txt文件都知道是用来屏蔽“不想被抓取页面”。但具体有哪些页面是不想被抓取呢?深圳网站制作公司举些具体的例子来说明。


1、多版本URL情况下,非主显URL的其他版本。比如网站链接伪静态后就不希望搜索引擎抓取动态版本了,这时就可以使用robots.txt进行屏蔽


2、如果网站内有大量的交叉组合查询所生成的页面,肯定有大量页面是没有内容的,对于没有内容的页面可以单独设置一个URL特征,然后使用robots.txt进行屏蔽,以防搜索引擎认为网站制造垃圾页面


3、如果网站改版或因为某种原因突然删除了大量页面,网站突然出现大量死链,对网站在搜索引擎上的表现是很不利的。虽然现在可以直接向搜索引擎提交死链,但是还不如直接屏蔽百度对死链的抓取,这样理论上搜索引擎就不会突然发现网站多了太多死链,或者两者同时进行,当然自己最好把站内的死链清理干净。


4、如果网站有类似UGC功能,且为了提高用户提供内容积极性,并没有禁止用户在内容中夹杂链接,此时为了不让这些链接浪费网站权重,或牵连网站,就可以把这些链接做成站内跳转链接,然后使用robots.txt进行屏蔽。


5、常规的不希望被搜索引擎索引的内容,如隐私数据、用户信息等都可以使用robots.txt进行屏蔽。


合理地使用ROBOTS.txt,不仅可以保护网站隐私数据,还可以只给搜索引擎展现网站高质量的一面,同时也可以使搜索引擎多多抓取其他允许抓取的页面。另外,网站制作人员不要被robots.txt文件本身的原始作用限制,多思考。比如为提升网站在的搜索引擎眼中的质量,不让搜索引擎抓取无搜索价值页面也是一种方法。

文章出自:微信小程序开发,原文地址:https://www.uw9.net/news/1877.html,转载请保留文章出处即可!

本站文章大多数属于原创文章,欢迎大家转载!少数我们转载文章的文章,如未获您授权请点下方联系我们,我们会尽快下线处理!

相关内容

公司地址

深圳

深圳市罗湖区和平路3001号
鸿隆世纪广场B座13G

电话:0755-8268 5986

手机:159 8667 8737

广州

广州市南沙区进港大道22号
奥园中环广场1803

电话:020-3268 5268

手机:189 2655 6646

珠海

珠海市香洲区明珠南路翠珠四街
蓝海金融中心1002

电话:0756-8505 856

手机:132 7788 3257

联系我们

咨询微信小程序开发    
 
电话: 15986678737(微信)
邮箱: market@iswweb.com

扫码添加微信
159-8667-8737
24小时电话