python爬虫中遇到的问题

python爬虫

1. 502: Bad Gateway

原因： 可能是那个网站阻止了这类的访问，只要在请求中加上伪装成浏览器的header就可以了。

user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'
headers = {
    'User-Agent': user_agent
}