最简单的robots.txt只有两条规则：

    1.User-agent：指定对哪些爬虫生效

    2.Disallow：指定要屏蔽的网址

    整个文件分为x节，一节由y个User-agent行和z个Disallow行组成。一节就表示对User-agent行指定的y个爬虫屏蔽z个网址。这里x>=0，y>0，z>0。x=0时即表示空文件，空文件等同于没有robots.txt。

    下面详细介绍这两条规则：

    User-agent

    爬虫抓取时会声明自己的身份，这就是User-agent，没错，就是http协议里的User-agent。robots.txt利用User-agent来区分各个引擎的爬虫。

    举例说明：google网页搜索爬虫的User-agent为Googlebot，下面这行就指定google的爬虫。

    User-agent：Googlebot

    如果想指定所有的爬虫怎么办？不可能穷举啊，可以用下面这一行：

    User-agent: *

    可能有的同学要问了，我怎么知道爬虫的User-agent是什么？这里提供了一个简单的列表：爬虫列表当然，你还可以查相关搜索引擎的资料得到官方的数据，比如说google爬虫列表，百度爬虫列表Disallow

    Disallow 行列出的是要拦截的网页，以正斜线 （/） 开头，可以列出特定的网址或模式。

    要屏蔽整个网站，使用正斜线即可：

    Disallow: /

    要屏蔽某一目录以及其中的所有内容，在目录名后添加正斜线：

    Disallow: /无用目录名/

    要屏蔽某个具体的网页，就指出这个网页。

    Disallow: /网页。html

    Disallow还可以使用前缀和通配符。

    要屏蔽目录a1-a100，可以使用上面的方式写100行，或者Disallow：/a

    但是需要注意，这样会把任何以a开头的目录和文件也屏蔽，慎用。如果需要屏蔽a1-a100，但是不屏蔽a50，怎么办？同学们可以思考一下，这个问题我们留到下一节。

    要阻止特定类型的文件（如 .gif），请使用以下内容：

    Disallow: /*.gif$

    *匹配任意个字符，$匹配url结束，具体就不解释了吧，不了解的同学去自学一下通配符。

    提示一下，Disallow的内容区分大小写。例如，Disallow:/junkfile.asp 会屏蔽 junkfile.asp，却会允许Junk_file.asp。

    最最后，通配符不是所有搜索引擎都支持，使用要小心。没办法，谁让robots.txt没有一个大家都承认的标准呢。

    实例 ###

    百度网页搜索

    User-agent: Baiduspider

    Disallow: /baidu

    Disallow: /s?

    User-agent: Googlebot

    Disallow: /baidu

    Disallow: /s?

    Disallow: /shifen/

    Disallow: /homepage/

    Disallow: /cpro

    User-agent: MSNBot

    Disallow: /baidu

    Disallow: /s?

    Disallow: /shifen/

    Disallow: /homepage/

    Disallow: /cpro

    …

    现在读懂这个应该毫无压力了吧，顺便说一句百度的robots.txt比较啰嗦，有兴趣的同学可以简化一下。

    高阶玩法

    首先声明：高级玩法不是所有引擎的爬虫都支持，一般来说，作为搜索引擎技术领导者的谷歌支持的最好。

    例子：google robots.txt

    allow

    还记得上面的问题吗？如果需要屏蔽a1-a100，但是不屏蔽a50，怎么办？

    方案1：

    Disallow：/a1/

    Disallow：/a2/

    …

    Disallow：/a49/

    Disallow：/a51/

    …

    Disallow：/a100/

    方案2：

    Disallow：/a

    Allow:/a50/

    ok，allow大家会用了吧。

    顺便说一句，如果想屏蔽a50下面的文件private.html，咋整？

    Disallow：/a

    Allow:/a50/

    Disallow：/a50/private.html

    聪明的你一定能发现其中的规律，对吧？谁管的越细就听谁的。

    sitemap

    前 面说过爬虫会通过网页内部的链接发现新的网页。但是如果没有连接指向的网页怎么办？或者用户输入条件生成的动态网页怎么办？能否让网站管理员通知搜索引擎 他们网站上有哪些可供抓取的网页？这就是sitemap，最简单的 Sitepmap 形式就是 XML 文件，在其中列出网站中的网址以及关于每个网址的其他数据（上次更新的时间、更改的频率以及相对于网站上其他网址的重要程度等等），利用这些信息搜索引擎 可以更加智能地抓取网站内容。

    sitemap是另一个话题，足够开一篇新的文章聊的，这里就不展开了，有兴趣的同学可以参考sitemap新的问题来了，爬虫怎么知道这个网站有没有提供sitemap文件，或者说网站管理员生成了sitemap，（可能是多个文件），爬虫怎么知道放在哪里呢？