Scrapy之Spider类

Scrapy

Spiders

Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。

爬取流程如下：

1. 以初始的URL初始化Request，并设置回调函数。 当该request下载完毕并返回时，将生成response，并作为参数传给该回调函数。

   spider中初始的request是通过调用 start_requests() 来获取的。 start_requests() 读取 start_urls 中的URL， 并以 parse 为回调函数生成 Request 。

2. 在回调函数内分析返回的(网页)内容，返回 Item 对象或者 Request 或者一个包括二者的可迭代容器。 返回的Request对象之后会经过Scrapy处理，下载相应的内容，并调用设置的callback函数(函数可相同)。

3. 在回调函数内，您可以使用 选择器(Selectors) (您也可以使用BeautifulSoup, lxml 或者您想用的任何解析器) 来分析网页内容，并根据分析的数据生成item。

4. 最后，由spider返回的item将被存到数据库(由某些 Item Pipeline 处理)或使用 Feed exports 存入到文件中。

1. Spider类

class scrapy.spider.Spider   # 每个其他的spider必须继承自该类

为了创建一个Spider，您必须继承 scrapy.Spider 类， 且定义以下三个属性：name， start_requests()方法， parse()方法。

• name： 用于区别Spider。 该名字必须是唯一的。一个常见的做法是以该网站来命名spider
• start_requests()

官方解释

中文

该方法必须返回一个可迭代对象(iterable)。该对象包含了spider用于爬取的第一个Request。

当spider启动爬取并且未制定URL时，该方法被调用。 该方法的默认实现是使用 start_urls 的url生成Request。

如果您想要修改最初爬取某个网站的Request对象，您可以重写(override)该方法。 例如，如果您需要在启动时以POST登录某个网站，你可以这么写:

def start_requests(self):
    return [scrapy.FormRequest("http://www.example.com/login",
                               formdata={'user': 'john', 'pass': 'secret'},callback=self.logged_in)]
def logged_in(self, response):
    # here you would extract links to follow and return Requests for
    # each of them, with another callback
    pass

• parse(response)

参数：response (Response) – 用于分析的response

当response没有指定回调函数时，该方法是Scrapy处理下载的response的默认方法。

该方法负责解析返回的数据(response data)，提取数据(生成item)以及生成需要进一步处理的URL的 Request 对象。

import scrapy
class QuotesSpider(scrapy.Spider):
    name = "quotes"
    def start_requests(self):
        url = 'http://quotes.toscrape.com/page/1/'
        yield scrapy.Request(url=url, callback=self.parse)
    def parse(self, response):
        # 对Response对象的操作

• allowed_domains

  可选。包含了spider允许爬取的域名(domain)列表(list)。 当 OffsiteMiddleware 启用时， 域名不在列表中的URL不会被跟进。

• start_urls

  URL列表。当没有制定特定的URL时，spider将从该列表中开始进行爬取。

• make_requests_from_url(url)

  该方法接受一个URL并返回用于爬取的 Request 对象。 该方法在初始化request时被 start_requests() 调用，也被用于转化url为request。

• log(message[, level, component])

  ​

• closed(reason)

  当spider关闭时，该函数被调用。