超级会员免费看
本文介绍了在Scrapy中如何设置随机User-Agent以应对网站反爬策略。通过查看默认User-Agent并在settings.py中设定固定或随机的User-Agent，可以有效避免被目标网站识别为爬虫。
在开发爬虫过程中，经常会发现反爬措施非常重要，其中设置随机 User-Agent 就是一项重要的反爬措施，Scrapy 中设置随机 UA 的方式有很多种，有的复杂有的简单，本文就对这些方法进行学习。最近使用 Scrapy 爬一个网站，遇到了网站反爬的情况，于是开始搜索一些反爬措施，了解到设置随机 UA 来伪装请求头是一种常用的方式，这能够做到一定程度上避免网站直接识别出你是一个爬虫从而封掉你。设置随机 UA 的方法有挺多种，有的需要好多行代码，有的却只需要一行代码就搞定了。
user agent是指用户代理，简称 UA。
作用：使服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。网站常常通过判断 UA 来给不同的操作系统、不同的浏览器发送不同的页面，因此可能造成某些页面无法在某个浏览器中正常显示，但也可以通过改变UA绕过检测。
如果只想设置一个固定的UA，那么可以直接在settings.py文件定义就可以了。在这一步之前，我们先来查看一下，scrapy缺省工程里使用的UA是什么，那么又怎么样来查看这个UA的值呢？
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
