python crawler - selenium + xpath爬取用户详情页信息 + 分类存储excel

最新推荐文章于 2024-08-23 14:28:37 发布
最新推荐文章于 2024-08-23 14:28:37 发布
阅读量929 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： 爬虫 文章标签： python 爬虫 selenium
本文为博主原创文章，未经博主允许也可以转载。
本文链接：https://blog.csdn.net/FrankAx/article/details/125665290

爬取网站地址

明显看到page=1是控制具体页数的，得到每页的信息；
但是动态加载数据的，没法直接抓网页
采用selenium + 枚举id的方式，枚举所有用户详情页（不得已
最后根据是否售出存到对应sheet中

import requests

from selenium import webdriver
import time


import xlsxwriter

from selenium.webdriver.common.by import By

lists_name = []
dict_name = {}  # 已售出用户昵称集合

# 爬取所有已售出角色昵称
def init1():
    urls = [u'https://fukuaxiaotuandui.com/#/account/selled?clasId=&page={}&server_name=&profession=&yusuanId=&sexId=&levelId=&pingfenId=&sort=pingfen%20DESC&keywords=&min_price=&max_price='.format(str(i)) for i in range(1, 44)]
    # urls = ['https://fukuaxiaotuandui.com/#/account/selled?clasId=&page=1&server_name=&profession=&yusuanId=&sexId=&levelId=&pingfenId=&sort=pingfen%20DESC&keywords=&min_price=&max_price=', 'https://fukuaxiaotuandui.com/#/account/selled?clasId=&page=2&server_name=&profession=&yusuanId=&sexId=&levelId=&pingfenId=&sort=pingfen%20DESC&keywords=&min_price=&max_price=']
    global lists_name
    global dict_name
    for url in urls:

        browser = webdriver.Chrome()
        browser.implicitly_wait(1)
        try:
            browser.get(url)
        except Exception as e:
            browser.quit()
            continue
        lists_list = []
        try:
            lists_user = browser.find_elements(By.CLASS_NAME, 'list-cname')
            for user in lists_user:
                lists_name.append(user.text[4:])
        except Exception as e:
            browser.quit()
            continue

        browser.quit()  # 浏览器关闭
    row1 = 0
    col1 = 0
    work1 = xlsxwriter.Workbook('name.xlsx')
    solved_name = work1.add_worksheet()
    for i in range(len(lists_name)):
        print(lists_name[i])
        dict_name[lists_name[i]] = 1
        solved_name.write(row1, col1, lists_name[i])
        row1 += 1
    work1.close()

def solve():

#   枚举过程中发现这段id极其稀疏，浪费大量时间，故特判
#   unspider = ['2257', '2260', '2261', '2324', '2325', '2327', '2328', '2329', '2331', '2453', '2464', '2467', '2468', '2475', '3078',
# '3181', '3199', '3570', '3951', '3956', '3963', '4149', '4175', '4203', '4292', '4295', '4297', '4333', '4337', '4348',
# '4360', '4400', '4554', '4656', '4789']

    # 拿不到这个网站network请求链接的响应数据，就采用直接枚举id的方法访问详情页，但会访问到大量无效界面，需要异常处理
    urls = [u'https://fukuaxiaotuandui.com/#/account/detail?id={}'.format(str(i)) for i in range(4839, 8250)]
    # urls = ['https://fukuaxiaotuandui.com/#/account/detail?id=1', 'https://fukuaxiaotuandui.com/#/account/detail?id=6619', 'https://fukuaxiaotuandui.com/#/account/detail?id=4839', 'https://fukuaxiaotuandui.com/#/account/detail?id=7283']
    # 创建excel
    workbook = xlsxwriter.Workbook('result1.xlsx')
    # 已售出sheet
    worksheet = workbook.add_worksheet()
    worksheet.write(0, 0, "昵称")
    worksheet.write(0, 1, "大区")
    worksheet.write(0, 2, "职业")
    worksheet.write(0, 3, "性别")
    worksheet.write(0, 4, "总评")
    worksheet.write(0, 5, "衣品")
    worksheet.write(0, 6, "价格")
    worksheet.write(0, 7, "交易时间")
    row = 1
    col = 0

    # 未售出sheet
    worksheet_unsolved = workbook.add_worksheet()
    worksheet_unsolved.write(0, 0, "昵称")
    worksheet_unsolved.write(0, 1, "大区")
    worksheet_unsolved.write(0, 2, "职业")
    worksheet_unsolved.write(0, 3, "性别")
    worksheet_unsolved.write(0, 4, "总评")
    worksheet_unsolved.write(0, 5, "衣品")
    worksheet_unsolved.write(0, 6, "价格")
    row_unsolved = 1
    col_unsolved = 0

    # 爬取每个用户详情页数据
    for url in urls:

        browser = webdriver.Chrome()
        browser.implicitly_wait(1)  # 等1s加载
        browser.get(url)
        lists = [' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ']
        try:
            lists[0] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[1]').text.split(':')[1]
        except Exception as e:
            browser.quit()
            continue
        
        try:
            lists[1] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[2]').text.split(':')[1]
        except Exception as e:
            browser.quit()
            continue
        
        try:
            lists[2] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[3]/div[1]').text.split('：')[1]
        except Exception as e:
            browser.quit()
            continue
        
        try:
            lists[3] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[3]/div[2]').text.split('：')[1]
        except Exception as e:
            browser.quit()
            continue
        
        try:
            lists[4] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[4]/div[1]').text.split('：')[1]
        except Exception as e:
            browser.quit()
            continue
        
        try:
            lists[5] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[4]/div[2]').text.split('衣')[0]
        except Exception as e:
            browser.quit()
            continue
        
        try:
            lists[6] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[5]').text.split(':')[1]
        except Exception as e:
            browser.quit()
            continue
        
        try:
            lists[7] = browser.find_element(By.XPATH, '//*[@id="app"]/div[1]/div[2]/div[2]/div/div[6]').text[0:-2]
        except Exception as e:
            browser.quit()
            continue


        
       # print(idx)
       # print(zone)
       # print(occupation)
       # print(sex)
       # print(score)
       # print(yipin)
       # print(price)
       # print(time)    # 出售时间
        if lists[0] in dict_name:   # 如果在已售出字典
            for i in range(8):
                worksheet.write(row, col, lists[i])
                col += 1
                if i == 7:
                    row += 1
                    col = 0
        else:
            for i in range(7):
                worksheet_unsolved.write(row_unsolved, col_unsolved, lists[i])
                col_unsolved += 1
                if i == 6:
                    row_unsolved += 1
                    col_unsolved = 0
        browser.quit()  # 浏览器关闭


    workbook.close()

if __name__ == '__main__' :
    init1()
    solve()

爬取网站链接

这个很简单，没有js动态加载，完全能通过接口收到所有想要的角色信息，直接访问用户详情页都省了。

直接解析返回数据json：

import requests
import xlsxwriter

header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'}

def solve():

    urls = [u'https://app.cuizhidao.com/api/accounts/search?tag=&pageSize=20&pageNum={}&beginPrice=&endPrice='.format(str(i)) for i in range(1, 80)]
    # urls = ['https://fukuaxiaotuandui.com/#/account/detail?id=1', 'https://fukuaxiaotuandui.com/#/account/detail?id=6619', 'https://fukuaxiaotuandui.com/#/account/detail?id=4839', 'https://fukuaxiaotuandui.com/#/account/detail?id=7283']
    workbook = xlsxwriter.Workbook('result_czd.xlsx')
    worksheet = workbook.add_worksheet()
    worksheet.write(0, 0, "昵称")
    worksheet.write(0, 1, "职业")
    worksheet.write(0, 2, "性别")
    worksheet.write(0, 3, "价格")
    worksheet.write(0, 4, "描述")
    worksheet.write(0, 5, "大区")
    worksheet.write(0, 6, "得分")
    worksheet.write(0, 7, "交易时间")
    row = 1
    col = 0

    worksheet_unsolved = workbook.add_worksheet()
    worksheet_unsolved.write(0, 0, "昵称")
    worksheet_unsolved.write(0, 1, "职业")
    worksheet_unsolved.write(0, 2, "性别")
    worksheet_unsolved.write(0, 3, "价格")
    worksheet_unsolved.write(0, 4, "描述")
    worksheet_unsolved.write(0, 5, "大区")
    worksheet_unsolved.write(0, 6, "得分")

    row_unsolved = 1
    col_unsolved = 0

    for url in urls:

        json1 = requests.get(url, headers=header).json()
        # print(json1)
        lists_user = dict(json1).get("data").get("list")



        for user in lists_user:
            lists = [' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ', ' ']
            lists[0] = user["name"]
            lists[1] = user["genreName"]
            lists[2] = ("男" if user["sex"] == 0 else "女")
            lists[3] = user["price"]
            lists[4] = user["tag"]
            lists[5] = user["title"]
            lists[6] = user["score"]
            if "soldTime" in user:
                lists[7] = user["soldTime"]
        
            if lists[7] == ' ':
                for i in range(7):
                    worksheet_unsolved.write(row_unsolved, col_unsolved, lists[i])
                    col_unsolved += 1
                    if i == 6:
                        row_unsolved += 1
                        col_unsolved = 0
            else:
                for i in range(8):
                    worksheet.write(row, col, lists[i])
                    col += 1
                    if i == 7:
                        row += 1
                        col = 0

    workbook.close()

if __name__ == '__main__' :
    solve()
超强干货之---Python-数据爬取（爬虫）
房东的猫的博客
07-12 5万+
定义： 深度优先搜索是一种遍历或搜索树或图的算法，从起始节点开始，一直沿着一个分支走到底，再回溯到上一个节点继续搜索下一个分支，直到遍历完所有节点。特点递归：通常用递归实现，或者使用栈来模拟递归过程。内存占用低：在有大量分支的情况下，内存占用比广度优先搜索低。适合目标较深的情况：如果目标节点距离起始节点较深，DFS能更快找到目标。适用场景需要遍历所有节点的情况，如生成树、迷宫搜索。目标节点较深，且分支较多时。在大规模数据爬取时，选择合适的存储方式取决于数据的规模、结构和访问需求。
Python 爬虫实战：Selenium 爬取豆瓣相册（图片分类 + 标签提取）
最新发布
u014481728的博客
06-10 1317
豆瓣作为国内知名的社区平台，其相册功能允许用户上传和分享各类图片，涵盖电影海报、音乐专辑、生活记录等多个领域。这些图片数据对于了解用户兴趣、进行内容推荐和市场调研具有重要价值。然而，豆瓣对直接的数据访问设定了诸多限制，因此，本文将介绍如何通过 Python 爬虫技术结合 Selenium 自动化工具，合法高效地爬取豆瓣相册图片，并运用深度学习技术实现图片分类和标签提取。
Python+Selenium基础篇之17 - 爬取的数据导出excel表格
伟爵社的博客
04-01 2910
这章我们介绍一下自动化获取到的数据如何导出excel表格 相关代码如下： # coding=utf-8 import xlwt import time from selenium import webdriver driver = webdriver.Chrome() driver.get('https://www.baidu.com/') time.sleep(1) workbook = xlwt.Workbook(encoding='utf-8') #创建workbook对象 worksheet =
python遍历浏览器url_selenium获取当前页面的url、源码、title的方法
weixin_39564386的博客
11-29 592
此篇博客学习的api如标题，分别是：current_url　　　　获取当前页面的url；page_source 　 　获取当前页面的源码；title　　　　　 　 获取当前页面的title；将以上方法按顺序练习一遍，效果如GIF：from selenium import webdriverfrom time import sleepsleep(2)driver = webdriver.Chrome...
selenium +lxml爬取拉钩网公司详情页
weixin_30616969的博客
02-17 283
#encoding: utf-8 import webbrowser import requests from selenium import webdriver from selenium.webdriver.support.ui import Select,WebDriverWait from selenium.webdriver.common.by import By f...
爬虫篇——selenium（webdriver）进行用户登录并爬取数据)
Cyrus_May的博客
01-25 3689
爬虫篇——selenium（webdriver）进行用户登录并爬取数据摘要（一）创建browser对象（二）用户登录（三）数据爬取 摘要 本文主要介绍了如何通过selenium使用Chormedriver进行用户登录并爬取数据，使用过程中需注意合理使用selenium.webdriver.support.expected_conditions 和selenium.webdriver.support.ui.WebDriverWait （一）创建browser对象 chromedriver.exe的下载地址为：
基于selenium模拟浏览器爬虫JS-frame，搜索+爬取详情页+翻页
weixin_50674661的博客
03-25 1483
基于selenium模拟浏览器爬虫JS-frame网站 课设中需要爬一个很神奇的网站Web Gallery，一开始看结构以为是很简单的那种，开始爬的时候才发现它的结构之奇葩……所有东西都集成在一个html页面里，css和js都没有单独分文件，古早得像是十年前的架构，但偏偏全部的数据响应都是在script里完成的，没有对应域名，刷新即会回到index页面，甚至当我发现它能整个html里不存在一个id的时候真的要吐了…… 于是一开始用Scrapy捕捉静态完全失败，好在重新学了一下selenium模拟浏览器爬成功
【Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
m0_67844671的博客
05-31 6626
Python爬虫--scrapy+selenium框架】超详细的Python爬虫scrapy+selenium框架学习笔记（保姆级别的，非常详细）
selenium+pandas 爬取实时汇率
qq_39290182的博客
04-15 1779
本文主要展示如何获取动态加载页面中的信息（比如网页表格延迟加载），另外涉及selenium函数其他用法，xpath使用方法以及HTML知识有兴趣读者可以自己探索💗。
python selenium爬虫豆瓣_Scrapy+Selenium爬取豆瓣电影评论
weixin_39604350的博客
12-20 1392
首先需要对目标网站进行分析，具体的分析这里不详细介绍。目标网站；豆瓣某个电影评论页面 https://movie.douban.com/subject/1292052/reviews，这个电影是肖申克的救赎。网页没有使用什么特殊的加载方式，所有的评论数据都在当前的源码中。翻页：https://movie.douban.com/subject/1292052/reviews?start=0https...
scrapy分页及详情页数据爬取
03-01
该程序爬取主页以及详情页的数据，保存至日志中，并自动爬至最后一页 爬取51job的主页信息记忆详情页信息
selenium和Python3.6实现招聘狗网站自动识别验证码登录、列表页、详情页爬取
chief_victo的博客
05-17 1397
selenium、Python3.6、requests实现招聘狗网站验证码识别自动登录、列表页、详情页爬取
python代码，Selenium自动点击标题爬取详细内容，并自动翻页，直接写代码
weixin_42587866的博客
12-21 367
下面是一个使用 Selenium 和 Python 爬取网页详细内容并自动翻页的示例代码： from selenium import webdriver # 使用 Chrome 浏览器 driver = webdriver.Chrome() # 设置浏览器窗口大小 driver.set_window_size(1024, 768) # 访问网站 driver.get("https://www...
Python 爬虫之lxml和Xpath提取网页数据
80后大叔爱学习
08-20 1764
爬虫必备技能xpath真的很好用
selenium自动化爬取小说网站（循环点击爬取）
zerow__的博客
05-31 1644
前提条件：浏览器、浏览器版本对应的浏览器驱动，Chrome驱动国内下载地址http://npm.taobao.org/mirrors/chromedriver/ 本文采用Ch
Python+Selenium自动化脚本实现列表信息的多列内容获取
石头缝里的小松鼠（AlySam）
10-10 1588
【代码】Python+Selenium自动化脚本实现列表信息的多列内容获取。
Python知乎爬虫———爬取用户基本数据到数据库完整代码（萌新版）
归途
05-08 2457
前言 大佬勿喷，萌新刚入坑，没有多么正确的词汇，纯自娱自乐，爬虫没有使用scrapy，简单的使用了webdriver selenium，正则表达式，response，xpath对网页数据进行提取。 爬取知乎首先要登录知乎，不然爬取未登录的知乎网页会自动跳转到知乎登录页面，由于知乎的滑动验证未解决（原因：利用selenium模拟浏览器点击输入账号密码后，跳出的滑动验证码需要对图片进行识别处理，知识盲区）用webdriver打开浏览器，一次登录，保存cookies值，跳过了登录步骤，然后进行数据爬取。 本代
Python爬取亚马逊商品列表-xpath(详情页爬取待更新...)
成功唯有积累，没有奇迹。
10-21 4317
一.分析页面结构 先行爬取首页内容的两个字段，一个是商品名称title以及价格price； 二.分析页面的请求： 首先按照PC端的url进行请求，结果未得到返回响应的response的数据，于是通过chrom浏览器切换至手机端的来获取响应： 观察到其url是编码过的，对其进行urlencode解码后，得到url如下： 再对其中的参数进行简化，方法是删去url中的部分参数，...
爬虫 | 如何判断一个网页是列表页还是详情页？
u011565355的博客
08-23 205
项目地址 :本文来自进击的Coder,作者崔庆才解析页面是做爬虫的过程中的重要环节，而且如果站点多了，解析也会变得非常复杂，所以智能化解析就可能是一个不错的解决方案。如果我们能够容忍一定的错误率，那么我们可以利用智能化解析算法帮我们提取一些内容，简单高效。那有没有办法做到一个网站的全自动化解析呢？比如来了一个博客网站，我能首先识别出来这是一个列表页还是文章（详情）页，然后提取列表页的每篇文章的链接，然后跳转到每篇文章（详情）页再提取文章相关信息。
Python实现的IMDb-TOP250信息爬取技术
资源摘要信息:"基于Python的IMDb-TOP250爬虫设计.zip" 知识点一：爬虫基础概念 爬虫（Web Crawler），又称为网络蜘蛛（Web Spider）或网络机器人（Web Robot），是一种按照既定规则自动浏览互联网并收集信息的程序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值