python进阶-05-利用Selenium来实现动态爬虫

python进阶-05-利用Selenium来实现动态爬虫

一.说明

这是python进阶部分05，我们上一篇文章学习了Scrapy来爬取网站，但是很多网站需要登录才能爬取有用的信息，或者网站的静态部分是一个空壳，内容是js动态加载的,或者人机验证，请求拦截转发等，那么这种情况Scrapy来爬取就很费劲，有人说我们可以分析登录接口，js加载内容实现爬取我们需要的内容，哼哼你想多了，请求内容经过服务器转发给你加过包的！所以还是不行，那就没有办法来抓取我们想要的数据了么？

有，就是Selenium动态爬取网页信息，Selenium会启动和控制浏览器直接实现自动登录，Selenium直接运行在浏览器中从而可以直接爬取js加载完的信息。

那么Selenium这么强大有没有什么缺陷？也是有的，效率不高！

但省事啊，就跟Python一样！人生苦短，我用Python，好，继续开始我们的日拱一卒，让我们彻底掌握这一技术!。

二.安装

要使用Selenium，就得先安装，但是Selenium安装不仅仅需要安装Selenium python库，还要在python虚拟环境中安装对应的浏览器驱动！所以安装Selenium分别为 安装Selenium Python库 下载和安装浏览器及对应浏览器的驱动 。

1. 下载Selenium库

   pip