Python robotparser 网络蜘蛛robots.txt搜索访问控制

robotparser是一个专门用来解析网站的robots.txt文本文件的Python模块。

robotparser支持Python2.1.3之后版本，建议大家安装Python2.7.5版本。

robotparser为robots.txt文件实现了一个解释器，可以用来读取robots文本的格式和内容，用函数方法检查给定的User-Agent是否可以访问相应的网站资源。如果要编写一个网络蜘蛛，这个模块可以限制一些蜘蛛抓取无用的或者重复的信息，避免蜘蛛掉入动态asp/php网页程序的死循环中。

简单的来说，robots.txt文件是每个网站都应该有的，指引蜘蛛抓取和禁止抓取的一个文本格式的文件，一些合法的蜘蛛或者叫爬虫，都是遵守这个规则的，可以控制他们的访问。

下面举一个安云网robots.txt文件的例子：

地址是：http://www.AnYun.ORG/robots.txt

User-agent: *

Disallow: /search
Disallow: /404.html
Disallow: /tags.php
Disallow: /tags/

以上代码会阻止，搜索引擎和其它一些蜘蛛程序抓取网站的某些目录和文件，另外百度有官方文档对于 robots.txt 文件有更为详细的介绍，
以及如何禁止搜索引擎收录的方法。

我可以用robotparser模块的RobotFileParser.can_fetch()方法测试爬虫是否可以下载一个页面，下面代码演示：

>>> import robotparser #导入robots.txt解析模块
>>> import urlparser #导入url解析模块
>>>
>>> AGENT_NAME = ‘IPLAYPYTHON’
>>> URL_BASE = ‘http://www.AnYun.ORG/’
>>> parser = robotparser.RobotFileParser()
>>> parser.set_url(urlparse.urljoin(URL_BASE, ‘robots.txt’))
>>> parser.read()
>>>
>>> PATHS = [
>>>                   ‘/’,
>>>                   ‘/admin/ ‘,
>>>                   ‘/tags/,
>>>                 ]
>>> for path in PATHS:
>>>     print '%6s : %s' % (parser.can_fetch(AGENT_NAME), path)
>>>url = urlparse.urljoin(URL_BASE, path)
>>>print '%6s : %s' % (parser.can_fetch(AGENT_NAME), url)
>>>print
>>>

URL参数可以是一个相对于网站根目录的相对路径，也可以是一个完整的URL绝对地址。