robots.txt有什么作用,应该放在网站哪个地方

987seo/2019-09-24/ 分类:seo站内优化/阅读:
新手在学习seo的时候,相信robots.txt是比较早接触到的,因为他很重要,也很常见,那么robots.txt具体有些什么作用呢,在网站优化中,我们要将 robots.txt 文件放在网站的哪个位置才能起到对应的作用呢? 今天987seo技术博客小编就给大家分享下哦! Robots.t ...
新手在学习seo的时候,相信robots.txt是比较早接触到的,因为他很重要,也很常见,那么robots.txt具体有些什么作用呢,在网站优化中,我们要将robots.txt文件放在网站的哪个位置才能起到对应的作用呢?

Robots.txt有什么作用,应该放在网站哪个地方

今天987seo技术博客小编就给大家分享下哦!

Robots.txt文件的作用:
 
1、屏蔽网站内的死链接。
 
2、屏蔽搜索引擎蜘蛛抓取站点内重复内容和页面。
 
3、阻止搜索引擎索引网站隐私性的内容。
 
因此建立robots.txt文件是很有必要的,网站中重复的内容、页面或者404信息过多,搜索引擎蜘蛛就会认为该网站价值较低,从而降低对该网站的“印象分”,这就是我们经常听到的“降低权重”,这样网站的排名就不好了。
 
robots.txt文件需要注意的最大问题是:必须放置在一个站点的根目录下,而且文件名必须全部小写。
 
放在子目录的 Robots.txt 文件搜索引擎不能爬取到,所以不会起任何作用。
 
 
 
比如:
 
 
 
http://www.987studio.com/robots.txt  有效
 
 
 
http://wwww.987studio.com/bbs/robots.txt  无效
 
 
 
TAG:robots
阅读:
扩展阅读:
精彩评论:
说点什么吧
  • 全部评论(0
    还没有评论,快来抢沙发吧!
腾讯云服务器优惠
腾讯云服务器-全球

热门文章

HOT NEWS
  • 周榜
  • 月榜
阿里云服务器优惠券
987seo网络工作室 - 关注SEOer,站长和创业者的网站
微信二维码扫一扫
关注微信公众号
987studio.com 联系QQ:256707691 邮箱:256707691@qq.com Copyright © 2018-2019 987seo网络工作室 版权所有
987SEO工作室专注seo教程分享,seo技术,网站关键词排名优化,dedecms织梦模板建站教程,技术分享等知识资讯,关键词上百度首页的方法及网站建设相关软件资源下载!一个关注SEOer、站长和创业者的网站
二维码
意见反馈 二维码