Scrapy 之 Item

Scrapy

声明 item

在item.py文件中设置你要爬取的item

class Product(scrapy.Item):
    name = scrapy.Field()

working with items

1 .创建item

product = Product(name='Desktop PC', price=1000)

2. 获取item

product['name']
product.get('name')
'name' in project

3. 设置item的值

product['name'] = 'song'

4. 获取所有item

product.keys()   # 获取所有的item（不包含值）
product.items()    # 获取所有的item(包含item对应的值)

5. 复制items

product2 = Product(product) 
roduct2 = Product.copy()

6. 根据item创建dict

dict(product)

7. 根据dict创建item

Product(dict_name)

扩展Item

您可以通过继承原始的Item来扩展item(添加更多的字段或者修改某些字段的元数据)。

class DiscountedProduct(Product):

您也可以通过使用原字段的元数据,添加新的值或修改原来的值来扩展字段的元数据:

class SpecificProduct(Product):
    name = scrapy.Field(Product.fields['name'], serializer=my_serializer)

Item对象？

class scrapy.item.Item([arg])
# 返回一个根据给定的参数可选初始化的item

注意： Item复制了标准的dict API

• fields： Item对象唯一额外的属性

  一个包含了item所有声明的字段的字典，而不仅仅是获取到的字段。该字典的key是字段(field)的名字，值是 Item声明 中使用到的 Field 对象。

Field对象

class scrapy.item.Field([arg])

Field 仅仅是内置的 dict 类的一个别名，并没有提供额外的方法或者属性。换句话说， Field对象完完全全就是Python字典(dict)