爬虫综述

python爬虫

库

1. Requests
2. selenium
3. Aiohttp ： 异步爬虫
4. lxml
5. Beautifulsoup
6. pyQuery
7. Tesserocr ： 验证码识别库
8. mysql
9. MongoDB
10. Redis
11. Flask
12. Tornado

APP爬虫

1. Charles ： 抓包工具
2. MitmProxy： 抓包工具

框架

1. PySpider
2. Scrapy

js渲染

1. splash
2. pychrome
3. headless chrome