robots.txt协议文件写法

2019-05-18 21:03  364 次 评论 0 条

许多站点系统在站点完成后,在站点的根目录中默认有robots.txt协议文件。在seo优化竟争日益加剧的今日,本来开设之初无提升要素的robots.txt协议文档也被放大应用,把握其书写,防患于未然。

一:robots.txt协议文件有什么用?

引擎搜索浏览网站页面的当时,最开始浏览的文档也是robots.txt。她说出引擎搜索蛛蛛,什么网页页面能够被爬取,什么严禁爬取。表面来看,这个功能作用有限。从seo优化的视角看来,能够根据屏弊网页,超过密集综合排序的功效,这,都是提升工作员更为注重的地区。

以某seo站点为例,其robots.txt协议文件如图所示:

robots.txt协议文件展示

robots.txt协议文件展示

二:网站设置robots.txt协议的几个原因。

1:设置访问权限以保护网站安全。

2:严禁引擎搜索抓取失效网页,密集权值到关键网页。

三:怎么用标准写法书写协议?

有几个概念需掌握。

User-agent表示定义哪个搜索引擎,如User-agent:Baiduspider,定义百度蜘蛛。

Disallow表示禁止访问。

Allow表示运行访问。

以上三个命令可以组合多种书写方式,哪些搜索引擎可以访问哪些页面或者可以禁止哪些页面。

四:robots.txt协议文件放在那里?

此文件需放置在网站的根目录,且对字母大小有限制,文件名必须为小写字母。所有的命令第一个字母需大写,其余的小写。且命令之后要有一个英文字符空格。

五:哪些时候需要使用该协议。

1:没用网页,许多网址常有在线留言,用户协议等网页,这种网页取决于于seo优化而言,功效很小,这时必须应用Disallow指令严禁这种网页被引擎搜索爬取。

2:静态网页,企业类型站名屏弊静态网页,有益于网站安全。且好几个网站地址浏览相同网页,会导致综合排序细化。因此,通常,动态页面被屏蔽,静态或伪静态页面被保留。

3.网站后台页面,也可以被归类为无用页面,被禁止包含所有好处而没有任何伤害。

本文地址:https://www.xmaoseo.com/seomingci/1521.html
关注我们:请关注一下我们的微信公众号:扫描二维码SEO优化技术教程网_网站SEO与网络营销教程培训学习的公众号,公众号:TopHtml
版权声明:本文为原创文章,版权归 小猫SEO优化 所有,欢迎分享本文,转载请保留出处!

发表评论


表情