爬虫系列：在 Python 中用 Selenium 执行 Javascript

爬虫专业户

已于 2022-04-08 16:08:55 修改

阅读量3.6k

点赞数

CC 4.0 BY-SA版权

文章标签： python 爬虫 selenium javascript

于 2022-04-08 15:54:45 首次发布

本文链接：https://blog.csdn.net/oHuangBing/article/details/124043504

本文介绍了如何使用Selenium与PhantomJS进行网页数据抓取，特别是针对JavaScript生成的动态内容。Selenium可以配合无头浏览器PhantomJS执行JavaScript并获取数据。文章详细阐述了安装Selenium和PhantomJS的过程，以及如何通过WebDriver等待元素加载，提高爬虫效率。通过示例代码展示了如何处理Ajax加载的内容，强调了隐式等待与显式等待的区别，并讲解了元素定位和选择器的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Selenium 是一个强大的网络数据采集工具，其最初是为网站自动化测试而开发的。近几年，它还被广泛用于获取精确的网站快照，因为它们可以直接运行在浏览器上。Selenium 可以让浏览器自动加载页面，获取需要的数据，甚至页面截屏，或者判断网站上某些动作是否发生。

Selenium 自己不带浏览器，它需要与第三方浏览器结合在一起使用。例如，如果你在 Firefox 上运行 Selenium，可以直接看到一个 Firefox 窗口被打开，进入网站，然后执行你在代码中设置的动作。虽然这样可以看得更清楚，但是我更喜欢让程序在后台运行，所以我用一个叫 PhantonJS 的工具代替真实的浏览器。

PhantomJS 是一个“无头”（headles）浏览器。它会把网站加载到内存并执行页面上的 JavaScript，但是它不会向用户展示网页的图形界面。把 Selenium 和 PhantomJS 结合在一起，就可以运行一个非常强大的网络爬虫了，可以处理 cookie、JavaScript、header、以及任何你需要做的事情。

你可以从 PyPI 网站下载 Selenium 库，也可以用第三方管理器（像 pip）用命令行安装。

PhantomJS 也可以从它的官方网站下载。因为