robots.txt里要不要新增屏蔽js和css文件

987seo/2019-12-17/ 分类:seo案例分析/阅读:
Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。 今天一个客 ...
  Robots协议用来告知搜索引擎哪些页面能被抓取,哪些页面不能被抓取;可以屏蔽一些网站中比较大的文件,如:图片,音乐,视频等,节省服务器带宽;可以屏蔽站点的一些死链接。方便搜索引擎抓取网站内容;设置网站地图连接,方便引导蜘蛛爬取页面。今天一个客户在分析网站日志的时候,发现蜘蛛抓取了很多js和css等样式文件,于是就问网站robots文件中到底要不要屏蔽JS和css?遇到这种情况,因为这些似乎对蜘蛛没有用处,是否应该屏蔽蜘蛛抓取这些类型的文件?

robots.txt里要不要新增屏蔽js和css文件

今天我们就来分析下,这些是否有必要屏蔽js和css文件哈
 
 
一、robots全部屏蔽掉不太建议,因为随着网页的发展,资源种类越来越多,蜘蛛需要分析;
 
二、根据之前看到的百度对网页主体内容模板的专利的简单介绍可以得出下面几个观点:
 
1、百度能够根据前台页面的链接布局、框架,判断出一个站点的主要页面类型,及各页面适合用户浏览的主体内容;
 
2、因此如果js、css等如果对蜘蛛判断站点的主体内容没有什么影响,比如遮罩、跟踪用户行为返回区域内容变化,那么屏蔽完全可以,但是从实际的例子来说可能对站点其他主体内容页面的抓取频次没有多大帮助,因为主体内容与js、css本来就互不相关的两类东西;

3、如果js、css等如果对蜘蛛判断站点的主体内容有影响,如包含较多网址、图片地址、有效资源地址、文字资源等建议不屏蔽,蜘蛛爬取js/css文件的同时可以爬取里面的内容,并且尽量简单处理,不要采用ajax或多重逻辑判断的代码;
 
 
 
所以我的建议是没必要
 
理由:
 
1. 没有证据证明蜘蛛爬行JS和css之后,会减少爬行网页的机会;
2. 如果得通过屏蔽js和css来让其他网页得到抓取的话,那网站也够差的;
3. 搜索引擎分得清什么是js、css和什么是网页。

好了,关于robots.txt里要不要新增屏蔽js和css文件就分享到这里哦,大家如果有其他见解,也可以在评论中与大家一同分享哦!
 

阅读:
扩展阅读:
精彩评论:
说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!
腾讯云服务器优惠

热搜关键词

Hot search
 robots  seo  降权  白帽  301  内链优化  搜索  死链  地图  无法
腾讯云服务器-全球

热门文章

HOT NEWS
  • 周榜
  • 月榜
阿里云服务器优惠券
987seo网络工作室 - 关注SEOer,站长和创业者的网站
微信二维码扫一扫
关注微信公众号
987studio.com 联系QQ:256707691 邮箱:256707691@qq.com Copyright © 2018-2019 987seo网络工作室 版权所有
987SEO工作室专注seo教程分享,seo技术,网站关键词排名优化,dedecms织梦模板建站教程,技术分享等知识资讯,关键词上百度首页的方法及网站建设相关软件资源下载!一个关注SEOer、站长和创业者的网站
二维码
意见反馈 二维码