python常见的反爬虫策略资源-CSDN下载

23 浏览量 2021-01-19 23:34:03 上传评论 1 收藏 158KB PDF 举报

资源推荐

资源详情

资源评论

python 常见的反爬虫策略常见的反爬虫策略

1、判断请求头来进行反爬、判断请求头来进行反爬

这是很早期的网站进行的反爬方式

User-Agent 用户代理

referer 请求来自哪里

cookie 也可以用来做访问凭证

解决办法：请求头里面添加对应的参数（复制浏览器里面的数据）

2、根据用户行为来进行反爬、根据用户行为来进行反爬

请求频率过高，服务器设置规定时间之内的请求阈值

解决办法：降低请求频率或者使用代理（IP代理）

网页中设置一些陷阱（正常用户访问不到但是爬虫可以访问到）

解决办法：分析网页，避开这些特殊陷阱

请求间隔太短，返回相同的数据

解决办法：增加请求间隔

3、、js加密加密

反爬方式中较为难处理的一类。

js加密的原理：服务器响应给浏览器的js文件，可以动态的生成一些加密参数，浏览器会根据js的计算得到这些参数，在请求中带入进来，如果请求中没

有这些参数，那么服务器就任务请求无效。

4、字体加密、字体加密

字体反爬，是一种常见的反爬技术，网站采用了自定义的字体文件，在浏览器上正常显示，但是爬虫抓取下来的数据要么就是乱码，要么就是变成其他字

符。采用自定义字体文件是CSS3的新特性，熟悉前端的同学可能知道，就是font-face属性。

5、登录验证码、登录验证码

使用Python爬取网页内容时往往会遇到使用验证码登陆才能访问其网站，不同网站的使用的验证码也不同，在最开始使用简单验证码，识别数字，但是

随着反爬的不断发展，慢慢设计出了更多复杂的验证码，比如：内容验证码、滑动验证码、图片拼接验证码等等。

网上有很多打码平台，通过注册账号，调用平台接口，进行验证码的验证。

6、、md5相关知识相关知识

MD5，消息摘要算法，一种被广泛使用的密码散列函数，可以产生出一个128位（16字节）的散列值（hash value），用于确保信息传输完整一致。MD5

是最常见的摘要算法，速度很快，生成结果是固定的128 bit字节，通常用一个32位的16进制字符串表示。MD5的特点：

1.不可逆：不能从密文推导出明文。

2.不管明文长度为多少，密文的长度都固定。

3.密文之间不会重复。

import hashlib

print(hashlib.md5('python'.encode()).hexdigest())

字符串python加密后的结果：

本内容试读结束，登录后可阅读更多

下载后可阅读完整内容，剩余2页未读，立即下载

内容反馈

weixin_38654315

粉丝: 5

最新资源

资源上传下载、课程学习等过程中有任何疑问或建议，欢迎提出宝贵意见哦~我们会及时处理！点击此处反馈

feedback-tip