动态Cookies池

scrapy

1、网站要登录
2、爬取过程过如果频率过高会导致封号
3、维护多个账号的Cookies实现大规模爬取

Cookies池的要求

1、 自动登录更新
2、 定时验证筛选
3、 提供外部接口

Cookies池架构

账号队列
|
生成器
|
Cookies队列 -->API
|
定时检测器

实现