爬知乎用户信息

scrapy

settings.py:
ROBOTSTXT_OBEY = False
这个是一个在服务器中的配置文件，它用于告诉爬虫哪些可爬，哪些不可爬，一般设为False

加头部信息，浏览器会检查头信息。
settings.py

DEFAULT_REQUEST_HEADERS = {
   'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
   'Accept-Language': 'en',
   'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36',
    'authorization': 'oauth c3cef7c66a1843f8b3a9e6a1e3160e20'
}