Python爬虫：Scrapy研读之Request/Reponse

1，引言
在前一篇Scrapy：python3下的第一次运行测试 中，我们以官网的tutorial为例，成功的运行了Scrapy。

实际使用中，需要对Scrapy的各部分有更深入的了解，才能根据应用场景来灵活的添加自定义代码。
本篇就来研读一下Scrapy有关Request/Response的部分。

2，研读过程

2.1 结合官方文档例子，先简单整理出一段代码：

1. import scrapy
   
2. from myproject.items import MyItem
   
3. class MySpider(scrapy.Spider):
   
4.     name = 'myspider'
   
5.     start_urls = (
   
6.         'http://example.com/page1',
   
7.         'http://example.com/page2',
   
8.         )
   
9. 
   
10.     def parse(self, response):
    
11.         # collect `item_urls`
    
12.         for item_url in item_urls:
    
13.             yield scrapy.Request(item_url, self.parse_item)
    
14. 
    
15.     def parse_item(self, response):
    
16.         item = MyItem()
    
17.         # populate `item` fields
    
18.         # and extract item_details_url
    
19.         yield scrapy.Request(item_details_url, self.parse_details, meta={'item': item})
    
20. 
    
21.     def parse_details(self, response):
    
22.         item = response.meta['item']
    
23.         # populate more `item` fields
    
24.         return item

复制代码

说明：
从Spider继承了一个爬虫类，唯一名称 name="myspider"， 爬虫默认入口地址 start_urls = () ，元组或列表都可以。

2.2 查看Scrapy有关Spider的源码，可以看到

1. # 代码片段
   
2. class Spider(object_ref):
   
3.     """Base class for scrapy spiders. All spiders must inherit from this
   
4.     class.
   
5.     """
   
6. 
   
7.     name = None
   
8. 
   
9.     def __init__(self, name=None, **kwargs):
   
10.         if name is not None:
    
11.             self.name = name
    
12.         elif not getattr(self, 'name', None):
    
13.             raise ValueError("%s must have a name" % type(self).__name__)
    
14.         self.__dict__.update(kwargs)
    
15.         if not hasattr(self, 'start_urls'):
    
16.             self.start_urls = []

复制代码

说明：
在Spider初始化时，检查name是否为None，start_urls 是否存在。代码很简单

2.3 继续向下看：

1. # 第一个方法
   
2.     def parse(self, response):
   
3.         # collect `item_urls`
   
4.         # 可以理解为：网站的所有导航菜单的超链接集合
   
5.         for item_url in item_urls:
   
6.             yield scrapy.Request(item_url, self.parse_item)

复制代码

说明：
a） parse为默认入口，也就是从父类Spider类中继承过来的（或者说是一个必须要实现的接口），但是需要实现。
b） 在这个方法体中，根据 start_requests （默认为GET请求）返回的 Response，得到了一个 名字为‘item_urls’ 的url集合。然后遍历并请求这些集合。

2.5 再看 Request 源码：

1. # 部分代码
   
2. class Request(object_ref):
   
3. 
   
4.     def __init__(self, url, callback=None, method='GET', headers=None, body=None,
   
5.                  cookies=None, meta=None, encoding='utf-8', priority=0,
   
6.                  dont_filter=False, errback=None):
   
7. 
   
8.         self._encoding = encoding  # this one has to be set first
   
9.         self.method = str(method).upper()
   
10.         self._set_url(url)
    
11.         self._set_body(body)
    
12.         assert isinstance(priority, int), "Request priority not an integer: %r" % priority
    
13.         self.priority = priority
    
14. 
    
15.         assert callback or not errback, "Cannot use errback without a callback"
    
16.         self.callback = callback
    
17.         self.errback = errback
    
18. 
    
19.         self.cookies = cookies or {}
    
20.         self.headers = Headers(headers or {}, encoding=encoding)
    
21.         self.dont_filter = dont_filter
    
22. 
    
23.         self._meta = dict(meta) if meta else None
    
24. 
    
25.     @property
    
26.     def meta(self):
    
27.         if self._meta is None:
    
28.             self._meta = {}
    
29.         return self._meta

复制代码

其中，比较常用的参数：
url: 就是需要请求，并进行下一步处理的url
callback: 指定该请求返回的Response，由那个函数来处理。
method: 一般不需要指定，使用默认GET方法请求即可
headers: 请求时，包含的头文件。一般不需要。内容一般如下：使用 urllib 自己写过爬虫的肯定知道
        Host: media.readthedocs.org
        User-Agent: Mozilla/5.0 (Windows NT 6.2; WOW64; rv:33.0) Gecko/20100101 Firefox/33.0
        Accept: text/css,*/*;q=0.1
        Accept-Language: zh-cn,zh;q=0.8,en-us;q=0.5,en;q=0.3
        Accept-Encoding: gzip, deflate
        Referer: http://scrapy-chs.readthedocs.org/zh_CN/0.24/
        Cookie: _ga=GA1.2.1612165614.1415584110;
        Connection: keep-alive
        If-Modified-Since: Mon, 25 Aug 2014 21:59:35 GMT
        Cache-Control: max-age=0
meta: 比较常用，在不同的请求之间传递数据使用的。字典dict型
        request_with_cookies = Request(url="http://www.example.com",
                                       cookies={'currency': 'USD', 'country': 'UY'},
                                       meta={'dont_merge_cookies': True})
encoding: 使用默认的 'utf-8' 就行。
dont_filter: indicates that this request should not be filtered by the scheduler.
             This is used when you want to perform an identical request multiple times,
             to ignore the duplicates filter. Use it with care, or you will get into crawling loops.
             Default to False.
errback: 指定错误处理函数

2.6 接下来就是 Response 的源码：

1. # 部分代码
   
2. class Response(object_ref):
   
3. 
   
4.     def __init__(self, url, status=200, headers=None, body='', flags=None, request=None):
   
5.         self.headers = Headers(headers or {})
   
6.         self.status = int(status)
   
7.         self._set_body(body)
   
8.         self._set_url(url)
   
9.         self.request = request
   
10.         self.flags = [] if flags is None else list(flags)
    
11. 
    
12.     @property
    
13.     def meta(self):
    
14.         try:
    
15.             return self.request.meta
    
16.         except AttributeError:
    
17.             raise AttributeError("Response.meta not available, this response " \
    
18.                 "is not tied to any request")

复制代码

参数跟上面的类似。

2.7 在继续向下看：

1. # 第二个方法
   
2.     def parse_item(self, response):
   
3.         item = MyItem()
   
4.         # populate `item` fields
   
5.         # 相当于导航栏下面的列表页，此时可能还存在分页情况
   
6.         # and extract item_details_url
   
7.         yield scrapy.Request(item_details_url, self.parse_details, meta={'item': item})

复制代码

说明：
a） 接收到第一个方法得到并遍历的所有url的请求响应Response。并在当前页面中查找了所有的详细实体的初略信息，以及单品详细的url地址。此时需要继续向下请求，请求详细的实体的页面。
b） 在这个方法中使用到了 item，也可以不使用。直接将信息（比如实体根据导航标签的大体分类），通过Request的meta属性，传递给下一个callback处理函数。

2.8 继续向下看：

1. # 第三个方法
   
2.     def parse_details(self, response):
   
3.         item = response.meta['item']
   
4.         # populate more `item` fields
   
5.         return item

复制代码

说明：此时，请求已经得到了实体的具体页面，也就是实体详细页。（比如，根据商品的列表进入了详情）。
这时需要接收一下，从上一个方法中传递过来的信息。

1. def parse_details(self, response):
   
2.     item = response.meta['item']
   
3. # 也可以使用如下方式，设置一个默认值
   
4.     item = response.meta.get('item', None)
   
5. # 当 'item' key 不存在 meta字典中时，返回None

复制代码

说明：
最后将最终得到的 item 返回，这样就能在  ITEM_PIPELINES 中得到数据，并进行下一步的处理了

3. 下一步
现在网页上使用javascript实在太普遍
a） 研究一下怎样在Scrapy中加入加载javascript页面的代码
b） 加载和处理javascript页面，会不会造成阻塞

4，文档修改历史
2016-06-17：V1.0，首次发布