python爬虫-代理ip理解

目录

1、为什么使用代理IP

2、代理IP

3、IP池

4、代理分类：

5、python中使用代理IP

6、如何找可以使用的代理IP

7、拿到IP后，测试IP的有效性

8、扩展理解正向代理和反向代理

1、为什么使用代理IP

就是为了防止ip被封禁，提高爬虫的效率和稳定； 

反反爬使用代理ip是非常必要的一种反反爬的方式，但是即使使用了代理ip，对方服务器任然会有很多的方式来检测我们是否是一个爬虫，比如：一段时间内，检测IP访问的频率，访问太多频繁会屏蔽；检查Cookie，User-Agent，Referer等header参数，若没有则屏蔽；服务方购买所有代理提供商，加入到反爬虫数据库里，若检测是代理则屏蔽等。所以更好的方式在使用代理ip的时候使用随机的方式进行选择使用，不要每次都用一个代理ip！

2、代理IP

代理IP是通过中间代理服务器来转发网络数据包。通过使用代理IP，可以保护爬虫程序的安全。代理IP通常是由第三方提供的服务，使用时需要向代理服务器发送访问请求，并将返回的数据包进行解析。

访问请求 ---> 到达代理服务器 ---->传递到目标网站 

3、IP池

IP池是指一组IP地址的集合，通常由多个代理IP构成。IP池中的每个IP地址都可以用来模拟访问请求。IP池可以通过自建或购买第三方服务的方式获取，使用时需要将IP池的地址配置到爬虫程序中。

4、代理分类：

(1) 透明代理