headers： 最简单的策略

python爬虫

最重要的属性： user-agent

伪造

fake_headers = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Encoding': 'gzip, deflate',
    'Accept-Language': 'zh-CN,zh;q=0.8,en-US;q=0.5,en;q=0.3',
    'User-Agent': 'Mozilla/5.0 (X11; Linux x86_64; rv:38.0) Gecko/20100101 Firefox/38.0 Iceweasel/38.2.1'
}

accept

告诉服务器能够发送哪些媒体类型

accept-encoding

告诉服务器能够发送哪些编码方式

accept-language

告诉服务器能够发送哪些语言

connection

允许客户端和服务器指定与请求 / 响应连接有关的选项

host

给出了接收请求的服务器的主机名和端口号

user-agent

将发起请求的应用程序名称告知服务器

Referer

提供了包含当前请求 URI 的文档的 URL