注册 登录

SEO必须懂的robots写法与作用

SEO网站优化 seven 509次浏览 0个评论 扫描二维码

SEO必须懂的robots写法与作用 | 东莞SEO博客

作为一名seoer,如果你只听过robots,而不知道其写法和作用,那你就不是一名合格的seoer。来这里,这里有SEO必须懂的robots写法与作用,清晰明了,小白也能看懂哦。

首先,大家先来了解一下robots协议具体有哪些作用:

1、在我们网站上,当发现有空白无内容页面的时候怎么办呢?如果不尽快处理,肯定会惹到蜘蛛的,到时候,呵呵…… 而robots协议正好可以胜任,它会提醒蜘蛛:前方施工,请绕行。

2、网站运行久了,难免会出现死链接页面,足够多的死链对网站降权可是很给力的。这个时候我们可以利用robots让这些死链对蜘蛛施隐身术——屏蔽。

3、当然了,网站或多或少都会有隐私页面的,例如后台登录等等,这个时候我们就可以用到robots进行屏蔽。

4、对蜘蛛来说,它们是很讨厌巷子深,什么七弯八拐的,谁叫现在的套路那么多呢?O(∩_∩)O哈哈~如果你的网站有这种比较长的路径,那么robots就可以帮到你了,把这些路径写到robots进行屏蔽。

 

说了那么久蜘蛛,也让大家了解一些常见的蜘蛛程序:

1 、百度蜘蛛:Baiduspider ,百度公司的,常说的百度排名没了它可不行。

2、 谷歌机器人:Googlebot ,这是谷歌的蜘蛛,叫法跟国内的有点不一样。目前国内基本不做谷歌排名,除非是做外贸的。

3、360蜘蛛:360Spider ,属于360公司的,近年在市场的份额上升的较快,跟百度、soso三分天下。

4、SOSO蜘蛛:Sosospider,这是搜搜的蜘蛛,爬行得非常勤快,如果你的网站经常看到它的足迹,那是再正常不过了。

 

我们这篇文章是讲SEO必须懂的robots写法与作用,好像还没讲写法呢。不急,现在就来给大家讲讲robots常见写法:

1、User-agent:定义搜索引擎

示例:User-agent: *(定义所有搜索引擎)

User-agent: Baiduspider (定义百度,只允许百度蜘蛛爬取)

2、Disallow:禁止

示例:Disallow: /(禁止蜘蛛爬取网站的所有目录 “/” 表示根目录下)

Disallow: /admin (禁止蜘蛛爬取admin目录)

Disallow: /abc.html (禁止蜘蛛爬去abc.html页面)

3、Allow:允许

示例:Allow: /admin/test/(允许蜘蛛爬取admin下的test目录)

Allow: /admin/abc.html(允许蜘蛛爬去admin目录中的abc.html页面)

通配符:

1、$:匹配URL结尾的字符。

2、*:匹配0个或多个任意字符。

 

robots的一些注意事项:

1、冒号后面有空格

2、第一个字母大写

3、robots是协议不是命令

 

最后用表格总结一下robots.txt文件的一些基本语法。

语法作用 写法
允许所有搜索引擎访问网站的所有部分或者建立一个空白的文本文档,命名为robots.txt User-agent: *Disallow:

或者

User-agent: *

Allow: /

禁止所有搜索引擎访问网站的所有部分 User-agent: *Disallow: /
禁止百度索引你的网站 User-agent: BaiduspiderDisallow: /
禁止Google索引你的网站 User-agent: GooglebotDisallow: /
禁止除Google外的一切搜索引擎索引你的网站 User-agent: GooglebotDisallow:

User-agent: *

Disallow: /

禁止除百度外的一切搜索引擎索引你的网站 User-agent: BaiduspiderDisallow:

User-agent: *

Disallow: /

禁止蜘蛛访问某个目录(例如禁止admin\css\images被索引) User-agent: *Disallow: /css/

Disallow: /admin/

Disallow: /images/

允许访问某个目录中的某些特定网址 User-agent: *Allow: /css/my

Allow: /admin/html

Allow: /images/index

Disallow: /css/

Disallow: /admin/

Disallow: /images/

使用“*”,限制访问某个后缀的域名例如索引访问admin目录下所有ASP的文件 User-agent: *Disallow: /admin/*.htm
使用“$”仅允许访问某目录下某个后缀的文件 User-agent: *Allow: .asp$

Disallow: /

禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,例如index.asp?id=1) User-agent: *Disallow: /*?*

 

看完这篇《SEO必须懂的robots写法与作用》,对大家是否有所帮助?有的话欢迎转载收藏。

大家可以参考以下网站的robots写法:

1、SEO技术:www.seven1988.com

2、金属探测器:www.anhushen.com

标签: ,


青岚SEO博客版权所有丨转载请注明出处丨转载原文地址:http://www.seven1988.com/?p=159
喜欢 (1)
[]
分享 (0)

您必须 登录 才能发表评论!