robots文件怎么写 robots.txt写法以及作用

作者:厦门SEO 发布时间:19-04-06 08:28:02 浏览次数:50次

在做SEO优化中,robots文件的规范写法是非常重要的,因为蜘蛛在抓取我们网站的时候,第一个访问的地方就是robots文件。所以,可见这个文件的重要性,接下来厦门SEO小编为大家详细介绍下 robots.txt写法以及作用

robotstxt

robots.txt作用:

robots文件在SEO优化中是个细节操作,做不好,会导致蜘蛛抓取混乱,可想而知其中的重要度。百度官方说法:Robots是站点与spider沟通的重要渠道,站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

而一个网站为什么要写robots.txt,主要有四点:

1、保护网站安全

2、节省流量

3、禁止搜索引擎收录部分页面

4、引导蜘蛛爬网站地图

robots.txt写法:

1、定义搜索引擎

这是robots文件第一条需要明确表明的,用User-agent:来定义搜索引擎,其中*表示所有蜘蛛,Baiduspider表示百度蜘蛛,Googlebot表示谷歌蜘蛛。

具体写什么看站长需要什么蜘蛛抓取,不过一般都是写*,让所有搜索引擎蜘蛛都能抓取。毕竟多个搜索引擎收录带来的流量何乐不为呢?

2、禁止与允许访问

Disallow: /表示禁止访问,Allow: /表示允许访问。

关于这点,务必要注意,/前面有一个英文状态下的空格(必须是英文状态下的空格)。千万不能漏掉。

具体该禁止抓取什么,允许抓取什么,也是看站长对于网站灵活变动,每个人对优化的理解不一样,所以这块看自己的决定。

特例解析:

1、禁止搜索引擎访问网站中的某个文件夹,以a文件为例,写法分别如下:Disallow: /a/

这句表示,禁止搜索引擎蜘蛛抓取文件夹a所有的内容。

2、禁止搜索引擎访问文件夹中的某一类文件,以a文件夹中的js文件为例,写法如下:

Disallow: /a/*.js

3、只允许某个搜索引擎访问,以Baiduspider为例,写法如下:

User-agent: Baiduspider

Disallow:

4、禁止访问网站中的动态页面

User-agent: *

Disallow: /*?*

5、只允许搜索引擎访问某类文件,以htm为例,写法如下:

User-agent: *

Allow: .htm$

Disallow: /

6、禁止某个搜索引擎抓取网站上的所有图片,以Baiduspider为例,写法如下:

User-agent: F

Disallow: .jpg$

Disallow: .jpeg$

Disallow: .gif$

Disallow: .png$

Disallow: .bmp$

baidurobots

特别注意事项:

1.在robots文件中,把网站地图的XML或者txt格式写在最后,目的是为了告诉搜索引擎,让蜘蛛来抓取网站地图,提高网站的收录率。

2.robots.txt文件存放在网站根目录下,并且文件名所有字母都必须小写;

3.在写robots.txt文件时语法一定要用对,User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写,后面的字母小写,而且在:后面必须带一个英文字符下的空格

4.网站上线之前切记写robots.txt文件禁止蜘蛛访问网站,等网站全部修改完成后,一定要在记得解封,具体写法:

User-agent: *

Disallow: /

5.robots文件生效时间有一定的周期,特别是修改完robots文件后,要到百度搜索资源平台的robots选项,对最新修改的robots文件进行更新,告诉搜索引擎,网站的robots文件更新过了。

关于robots.txt写法以及作用就为大家分享到这里,希望对大家有帮助。


标签:robots
声明:本文源自厦门华兹SEO原创,如需转载,请注明出处!
标题:robots文件怎么写 robots.txt写法以及作用
本文网址:http://www.huazseo.com/articles/197.html
weinxin
我的微信
关注我了解更多内容

发表评论

目前评论:0