Downloader Middleware

scrapy

有三个处理：request,response,异常

scrapy startproject httpbintest
scrapy genspider httpbin httpbin.org

编写您自己的下载器中间件

process_request(request, spider)

当每个request通过下载中间件时，该方法被调用。

process_request() 必须返回其中之一: 返回 None 、返回一个 Response 对象、返回一个 Request 对象或raise IgnoreRequest 。

如果其返回 None ，Scrapy将继续处理该request，执行其他的中间件的相应方法，直到合适的下载器处理函数(download handler)被调用， 该request被执行(其response被下载)。

如果其返回 Response 对象，Scrapy将不会调用 任何 其他的 process_request() 或 process_exception() 方法，或相应地下载函数； 其将返回该response。 已安装的中间件的 process_response() 方法则会在每个response返回时被调用。

如果其返回 Request 对象，Scrapy则停止调用 process_request方法并重新调度返回的request。当新返回的request被执行后， 相应地中间件链将会根据下载的response被调用。

如果其raise一个 IgnoreRequest 异常，则安装的下载中间件的 process_exception() 方法会被调用。如果没有任何一个方法处理该异常， 则request的errback(Request.errback)方法会被调用。如果没有代码处理抛出的异常， 则该异常被忽略且不记录(不同于其他异常那样)。

request (Request 对象) – 处理的request
spider (Spider 对象) – 该request对应的spider

例子：添加代理
spyder

import scrapy
class HttpbinSpider(scrapy.Spider):
    name = 'httpbin'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/']
    def parse(self, response):
        print(response.status)

middlewares.py

class ProxyMiddleware(object):
    logger = logging.getLogger(__name__)
    def process_request(self,request,spider):
        self.logger.debug('Using proxy')
        #request.meta['proxy'] = 'http://proxy.neusoft.com:8080'
        return None

settings.py 开启我们定义的中间件

DOWNLOADER_MIDDLEWARES = {
    'httpbintest.middlewares.ProxyMiddleware': 543,
}

process_response(request, response, spider)

process_request() 必须返回以下之一: 返回一个 Response 对象、 返回一个 Request 对象或raise一个 IgnoreRequest 异常。

如果其返回一个 Response (可以与传入的response相同，也可以是全新的对象)， 该response会被在链中的其他中间件的 process_response() 方法处理。

如果其返回一个 Request 对象，则中间件链停止， 返回的request会被重新调度下载。处理类似于 process_request() 返回request所做的那样。

如果其抛出一个 IgnoreRequest 异常，则调用request的errback(Request.errback)。 如果没有代码处理抛出的异常，则该异常被忽略且不记录(不同于其他异常那样)。
request (Request 对象) – response所对应的request
response (Response 对象) – 被处理的response
spider (Spider 对象) – response所对应的spider

例子：在上述自定义的middleware类中加入以下方法，运行就可以看到结果

def process_response(self,request, response, spider):
    response.status = 201
    return response

process_exception(request, exception, spider)

当下载处理器(download handler)或 process_request() (下载中间件)抛出异常(包括 IgnoreRequest 异常)时， Scrapy调用 process_exception() 。

process_exception() 应该返回以下之一: 返回 None 、 一个 Response 对象、或者一个 Request 对象。

如果其返回 None ，Scrapy将会继续处理该异常，接着调用已安装的其他中间件的 process_exception() 方法，直到所有中间件都被调用完毕，则调用默认的异常处理。

如果其返回一个 Response 对象，则已安装的中间件链的 process_response() 方法被调用。Scrapy将不会调用任何其他中间件的 process_exception() 方法。

如果其返回一个 Request 对象， 则返回的request将会被重新调用下载。这将停止中间件的 process_exception() 方法执行，就如返回一个response的那样。

request (是 Request 对象) – 产生异常的request
exception (Exception 对象) – 抛出的异常
spider (Spider 对象) – request对应的spider
例子：
scrapy genspider google www.google.com
在自己定义的middleware中定义该方法：

    def process_exception(self,request, exception, spider):
        self.logger.debug('Get Exception')
        #request.meta['proxy'] = 'http://proxy.neusoft.com:8080'
        return request

如果代理可用，那么我们就可以访问Google了解。

scrapy有很多自己的middleware,如下：
{"scrapy.downloadermiddlewares.robotstxt.RobotsTxtMiddleware": 100, "scrapy.down
loadermiddlewares.httpauth.HttpAuthMiddleware": 300, "scrapy.downloadermiddlewar
es.downloadtimeout.DownloadTimeoutMiddleware": 350, "scrapy.downloadermiddleware
s.defaultheaders.DefaultHeadersMiddleware": 400, "scrapy.downloadermiddlewares.u
seragent.UserAgentMiddleware": 500, "scrapy.downloadermiddlewares.retry.RetryMid
dleware": 550, "scrapy.downloadermiddlewares.ajaxcrawl.AjaxCrawlMiddleware": 560
, "scrapy.downloadermiddlewares.redirect.MetaRefreshMiddleware": 580, "scrapy.do
wnloadermiddlewares.httpcompression.HttpCompressionMiddleware": 590, "scrapy.dow
nloadermiddlewares.redirect.RedirectMiddleware": 600, "scrapy.downloadermiddlewa
res.cookies.CookiesMiddleware": 700, "scrapy.downloadermiddlewares.httpproxy.Htt
pProxyMiddleware": 750, "scrapy.downloadermiddlewares.stats.DownloaderStats": 85
0, "scrapy.downloadermiddlewares.httpcache.HttpCacheMiddleware": 900}
后面的数代表优先级，越低的，就越先执行。