selenium爬虫

烧瓶里的西瓜皮

已于 2022-03-13 13:52:02 修改

阅读量4.2k

点赞数 4

CC 4.0 BY-SA版权

文章标签：爬虫 selenium python

于 2022-03-13 13:51:35 首次发布

本文链接：https://blog.csdn.net/ypl0ipy/article/details/123457172

本文介绍了如何配置和使用Selenium爬虫来抓取含有Ajax动态加载的网页。首先，通过pip安装Selenium，接着下载Firefox和geckodriver，并配置环境。然后展示了一个爬取斗鱼直播房间信息的示例，包括房间图片、标题、分类、主播名和观看人数等数据的提取。最后，讨论了爬虫面临的版权和过审问题，并预告将转向C#的学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

[周更]3.selenium爬虫

ε≡٩(๑>₃<)۶ 一心向学

声明

本内容为个人学习笔记，不准被用于商业。

前言

异步爬虫爬取带有Ajax的网页。因为这种网页一般带有动态加载，所以要用seleium进行爬取

一、seleium配置

这里我们介绍相关文件的安装

1.安装seleium

输入pip install -U selenium 通过pip安装selenium

2.安装Firefox

直接在官网下载

3.安装Firefox geckodriver

在https://github.com/mozilla/geckodriver/releases 下载对应版本的geckodriver并解压，移动到python.exe目录下

4.验证webdriver启动浏览器和关闭浏览

打开pythonIDE先导入webdriver模块，并将Firefox方法实例化，跳出浏览器，调用quit()方法关闭浏览器

from selenium import webdriver
browser = webdriver.Firefox()
browser.quit()

二、完整源码

from selenium import  webdriver
import time
from lxml import etree

class DouyuSpider:
    def __init__(self):
    	#填入网站
        self.start_url = ""
        self.driver = webdriver.Chrome()

    def get_content_list(self):
        html_data = self.driver.page_source
        data = etree.HTML(html_data)
        li_list = data.xpath("//ul[@class='layout-Cover-list']/li")

        content_list = []
        for li in li_list:
            item = {}
            item["room_img"]=li.xpath(".//div[contains(@class,'LazyLoad')]/img/@src")
            item["room_title"] = li.xpath(".//h3/@title")
            item["room_cate"] = li.xpath(".//span[contains(@class,'DyListCover-zone')]/text()")
            item["anchor_name"] = li.xpath(".//h2[@class='DyListCover-user']/text()")
            item["watch_num"] = li.xpath(".//span[@class='DyListCover-hot']/text()")
            print(item)
            content_list.append(item)



        # 获取下一页的元素
        next_url = self.driver.find_elements_by_xpath("//span[@class='dy-Pagination-item-custom']")
        next_url = next_url[1] if self.driver.find_elements_by_xpath("//span[@class='dy-Pagination-item-custom']/..")[1].get_attribute("aria-disabled") == "false" else None
        return content_list,next_url

    def save_content_list(self,content_list):
        pass


    def run(self):#实现主要逻辑
        #1.start_url
        #2.发送请求，获取响应
        self.driver.get(self.start_url)
        #3.提取数据，提取下一页的元素
        content_list,next_url = self.get_content_list()
        #4.保存数据
        self.save_content_list(content_list)
        #5.点击下一页元素，循环
        while next_url is not None:
            next_url.click() #点击下一页
            print("点击成功")
            time.sleep(3) #会立刻提取数据，所以需要等待
            content_list,next_url = self.get_content_list()
            self.save_content_list(content_list)


if __name__ == '__main__':
    douyu = DouyuSpider()
    douyu.run()