利用selenium获取网页数据

秦慕逸

已于 2024-02-10 17:49:19 修改

阅读量229

点赞数

CC 4.0 BY-SA版权

分类专栏：网络爬虫文章标签： python

于 2023-03-31 16:26:02 首次发布

本文链接：https://blog.csdn.net/qq_72332648/article/details/129882642

网络爬虫专栏收录该内容

18 篇文章

订阅专栏

这段代码演示了如何利用Python的Selenium库和Chrome浏览器驱动来打开网页，获取页面源码，并将其保存到本地文件中。首先，它初始化了一个Chrome浏览器实例，然后导航到ptpress.com.cn网站，提取页面源码，并将这些源码写入名为page_source.txt的文本文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from selenium import webdriver

driver = webdriver.Chrome()  # 打开Chrome浏览器
driver.get("https://www.ptpress.com.cn")  # 访问指定页面

driver.page_source # 获取网页源码

with open("./tmp/page_source.txt", "w", encoding="utf-8") as f:
    f.write(driver.page_source)

所有的内容都存在

windows = driver.window_handles  # 获取打开的所有页面

driver.switch_to.window(windows[0])  # 跳转至第[i]个窗口