python爬虫——构建请求头部信息（反爬第一步）

最新推荐文章于 2024-05-27 14:48:32 发布

原创

最新推荐文章于 2024-05-27 14:48:32 发布 · 3.4k 阅读

19 ·

CC 4.0 BY-SA版权

本文介绍了Python爬虫中如何构建请求头部信息，重点在于伪装用户代理（UA），以避免被网站识别为爬虫。通过设置UA，可以让服务端误认为请求来自普通浏览器，从而成功获取信息。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

构建请求头部信息（这是反爬第一步）

1.如果是url访问则是告诉网站我是爬虫，此时网站不会给你信息

import urllib.request
import urllib.parse

url = 'http://www.baidu.com/'

response = urllib.request.urlopen(url)
print(response.read().decode())

在这里插入图片描述
fiddler抓包的信息：

2.用浏览器访问网站

在这里插入图片描述

3.UA（uaer agent用户代理）

参考：http://www.aeink.com/383.html
所谓 UA（User Agent / 用户代理），最初是指浏览器告知网站管理员，本浏览器支持的类型和框架，让网站管理员以支持的模式结构向浏览器发送页面，呈现给用户浏览。演变到今天，网站管理员为了给用户带呈现最佳的页面效果，为了使不同浏览器展现同样的网站页面，通过浏览器获取用户的系统信息，包括硬件平台、系统软件、应用软件和用户个人偏好，然后通过服务器解析后以适合用户的页面类型发送到浏览器。
我百度了一些 UA 信息供网站管理员参考使用，目前 UA 分析监测可补全的系统：Windows 7、Windows 10、Mac OS X Lion、Ubuntu 14.04；浏览器：所有品牌和系列。

// 分析平台：Windows 7 64 位；其中，Internet Explorer 10 浏览器和 Internet Explorer 11 浏览器以及微软 Edge 浏览器为 Windows 10 64 位。

Chrome｜谷歌浏览器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36

Firefox｜火狐浏览器
Mozilla/5.0 (Windows NT 6.1; WOW64; rv:46.0) Gecko/20100101 Firefox/46.0

Opera｜欧朋浏览器
Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.87 Safari/537.36 OPR/37.0.2178.32

Safari｜苹果浏览器
Mozilla/5.0 (Windows NT 6.1