使用selenium库模拟操作edge

使用selenium库模拟操作edge浏览器

• 安装前准备

  selenium是一个用于Web应用程序测试的工具，可以模拟成真实用户操作。由于可以控制浏览器发送请求，并获得网页数据，所以可以用于爬虫领域。但是selenium不包括浏览器，需要于浏览器结合在一起使用。

  优缺点：（模拟用户手动打开，所以显然）

  • 优点：适合爬取反爬能力强的网站或者需要提交的网站。
  • 缺点：速度慢。

  1. 安装selenium库

     可以使用pip安装：

     pip install selenium

     

     当然也可以在pycharm解释器中按加号搜索selenium安装

     

  2. 安装浏览器驱动（Edge为例）

     这里具体步骤可以进入官方文档使用 WebDriver 自动执行 Microsoft Edge - Microsoft Edge Developer documentation | Microsoft Learn查看。下面为大致步骤。

     1. 先要确定当前浏览器版本

        可以在edge://settings/help网站查看。

        

     2. 下载浏览器驱动

        在Microsoft Edge WebDriver |Microsoft Edge 开发人员可以下载。我的版本为123.0.2420.97，进入界面后下滑找到对应版本。x64是64位，x86是32位。

        

     3. 编辑环境变量

        • 先找到浏览器安装位置

          右键桌面快捷方式查看属性，可以得到文件安装位置，我的位置是C:\Program Files (x86)\Microsoft\Edge\Application。

        • 解压浏览器驱动安装包，同样右键解压后的exe文件得到位置。

        • 我是windows系统，打开环境变量，在系统变量找到‘PATH’，添加上面得到的位置。如图。

          

     4. 测试环境变量是否配置成功。

        win+R打开cmd，输入msedge.exe能打开浏览器就算成功。

• 简单示例代码

  爬取百度搜索页面案例

  from selenium import webdriver
  from selenium.webdriver.common.by import By
  from time import sleep
  
  # 百度搜索内容
  # 初始化浏览器
  driver = webdriver.Edge()
  # 用get打开百度页面
  driver.get('https://www.baidu.com')
  # 找到百度的输入框，并输入“美少女战士”
  driver.find_element(By.ID, 'kw').send_keys('美少女战士')
  sleep(2)
  # 点击搜索按钮
  driver.find_element(By.ID, 'su').click()
  sleep(5)
  content = driver.find_element(By.ID, 'content_left').text
  print(content)
  driver.quit()
  

  部分结果如下：

  

  爬取豆瓣电影top250（图片多，加载较慢）

  from selenium import webdriver
  from selenium.webdriver.common.by import By
  from time import sleep
  from bs4 import BeautifulSoup
  
  # 爬取豆瓣电影数据
  movies_total = []
  # 初始化浏览器
  driver = webdriver.Edge()
  # 用get打开豆瓣电影页面
  base_url = "https://movie.douban.com/top250"
  for i in range(0, 10):
      url = base_url + "?start=" + str(i * 25)
      # 发送请求
      driver.get(url)
      sleep(2)
      html = driver.page_source
      soup=BeautifulSoup(html, "lxml")
      # 解析数据
      title_list = soup.select('.grid_view>li a>.title')
      for title in title_list:
          movies = '《'+ title.text + '》'
          if '/' not in movies:
              movies_total.append(movies)
      print('第%d至%d部电影已爬取' % (i * 25 + 1, (i + 1) * 25))
  #持久化存储
  with open('./douban_bs.doc', 'w', encoding='utf-8') as f:
      for movie in movies_total:
          f.write(movie)
  print('爬取完毕')
  driver.quit()
  

  输出结果如下图：

  

• 总结selenium的一些常用方法

  # 访问url
  driver.get("https://www.example.com")
  # 关闭当前浏览器窗口
  driver.close()
  # 退出浏览器进程，关闭所有相关窗口
  driver.quit()
  # 后退
  driver.back()
  # 前进
  driver.forward()
  # 刷新窗口
  driver.refresh()
  # 获取整张页面资源
  driver.page_source
  

  交互操作

  # 点击元素
  element = driver.find_element(By.ID, 'button_id')
  element.click()
  
  # 输入文本
  textbox = driver.find_element(By.NAME, 'textbox_name')
  textbox.send_keys('Hello, Selenium!')
  
  #清除文本框内容
  textbox.clear()
  

  # 输入文本
  textbox = driver.find_element(By.NAME, 'textbox_name')
  textbox.send_keys('Hello, Selenium!')
  
  #清除文本框内容
  textbox.clear()