淘宝是怎么样利用robots屏蔽百度的

淘宝是怎么样利用robots屏蔽百度的
最近淘宝实施大淘宝战略，利用robot.txt对百度的蜘蛛进行屏幕，那么我们来看看什么叫Robot，互联网中的页面在被搜索引擎检索的时候是通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。
每个网站的站长都可以在网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。robots.txt文件应该放在网站根目录下。
当一个搜索机器人（有的叫搜索蜘蛛）访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，那么搜索机器人就沿着链接抓取。

当我打开http://www.taobao.com/robots.txt时候，浏览器出现

User-agent: Baiduspider
Disallow: /

User-agent: baiduspider
Disallow: /上述代码将禁止百度的搜索引擎索引数据。

每种搜索引擎都有自己的搜索爬行，百度的爬虫叫做baiduspider，google的爬行叫做Googlebot，那么下一步大家跟我一起来看看规范的robots.txt文件的格式：
"robots.txt"文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：
":"。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下：User-agent:该项的值用于描述搜索引擎robot的名字，在"robots.txt"文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在"robots.txt"文件中，"User-agent:*"这样的记录只能有一条。

Disallow:

该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被robot访问到。例如"Disallow:/help"对/help.html 和/help/index.html都不允许搜索引擎访问，而"Disallow:/help/"则允许robot访问/help.html，而不能访问/help/index.html。任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。
robots.txt文件用法举例：
例1. 禁止所有搜索引擎访问网站的任何部分 下载该robots.txt文件 User-agent: * Disallow: /
例2. 允许所有的robot访问 (或者也可以建一个空文件 "/robots.txt" file) User-agent: *Disallow:
例3. 禁止某个搜索引擎的访问 User-agent: BadBotDisallow: /
例4. 允许某个搜索引擎的访问 User-agent: baiduspiderDisallow: User-agent: *Disallow: /
例5.一个简单例子　　在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。　　需要注意的是对每一个目录必须分开声明，而不要写成 "Disallow: /cgi-bin/ /tmp/"。　　User-agent:后的*具有特殊的含义，代表"any robot"，所以在该文件中不能有"Disallow: /tmp/*" or "Disallow:*.gif"这样的记录出现. User-agent: *Disallow: /cgi-bin/Disallow: /tmp/Disallow: /~joe/

Robots.txt带来的好处：
1. 几乎所有的搜索引擎Spider都遵循robots.txt给出的爬行规则，协议规定搜索引擎Spider进入某个网站的入口即是该网站的robots.txt，当然，前提是该网站存在此文件。对于没有配置robots.txt的网站，Spider将会被重定向至404 错误页面，相关研究表明，如果网站采用了自定义的404错误页面，那么Spider将会把其视作robots.txt——虽然其并非一个纯粹的文本文件——这将给Spider索引网站带来很大的困扰，影响搜索引擎对网站页面的收录。

2. robots.txt可以制止不必要的搜索引擎占用服务器的宝贵带宽，如email retrievers，这类搜索引擎对大多数网站是没有意义的；再如image strippers，对于大多数非图形类网站来说其也没有太大意义，但却耗用大量带宽。

3. robots.txt可以制止搜索引擎对非公开页面的爬行与索引，如网站的后台程序、管理程序，事实上，对于某些在运行中产生临时页面的网站来说，如果未配置robots.txt，搜索引擎甚至会索引那些临时文件。

4. 对于内容丰富、存在很多页面的网站来说，配置robots.txt的意义更为重大，因为很多时候其会遭遇到搜索引擎Spider给予网站的巨大压力：洪水般的Spider访问，如果不加控制，甚至会影响网站的正常访问。

5. 同样地，如果网站内存在重复内容，使用robots.txt限制部分页面不被搜索引擎索引和收录，可以避免网站受到搜索引擎关于 duplicate content的惩罚，保证网站的排名不受影响。

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于Robots META标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。例如：＜META NAME=”googlebot” CONTENT=”index,follow,noarchive”＞表示抓取该站点中页面并沿着页面中链接抓取，但是不在GOOLGE上保留该页面的网页快照。

在淘宝使用ROBOTS屏蔽了百度的蜘蛛之后，百度会不会另外命名一种蜘蛛去爬行淘宝的内容呢？我们不得而知，等百度的C2C上线，我们拭目以待。