饿了么爬虫

pyspider

• 店铺爬虫shopspider.py
• 菜单爬虫menuspider.py
• 配置文件config.json

店铺爬虫shopspider.py

将抓取到的数据以json格式保存到默认的resultdb，每一个链接为一个保存单位，一个链接有30个店铺。如不想保存到resultdb，可以自己在model.py中设计数据库结构后，用python db_create.py创建数据表，并参考shopspider_db.py

店铺菜单爬虫menuspider.py

可以从resultdb中获取店铺列表后进行抓取，也可以从自己设计的数据库中获取店铺列表（shopspider_db.py）

配置文件config.json

修改为自己的数据库

使用

1. 启动pyspider使用配置文件：

pyspider -c config.json

1. 先启动shopspider.py抓取店铺
2. 再启动menuspider.py抓取菜单