使用Python和Selenium获取BOOS直聘职位信息

引言

在当今就业比较困难，很多人对于要投递的岗位相关行业信息不了解，如果有招聘网站职位信息的可视化分析，那就可以直观地了解这个岗位信息，而数据分析的前提就是数据获取。本文将介绍如何使用Python语言和Selenium库来爬取招聘网站上的职位信息，并将其存储为CSV文件。我们将以“前端工程师”这一职位为例，展示如何实现这一过程。
效果示例：

环境准备

在开始之前，确保你的开发环境中安装了以下组件：

• Python 3.x
• selenium~=4.24.0
• Chrome WebDriver
• pandas~=2.2.3
• csv库

我这里使用的浏览器是Google Chrome浏览器

读者请根据自己的浏览器情况安装符合自己的浏览器驱动。

网页分析

网站URL：https://www.zhipin.com/web/geek/job?
参数：
query=前端工程师：搜索的内容
city=101280600：城市代码：深圳
下面的列表信息即是要爬取的信息。
先鼠标右键“检查”进入开发者模式，再找到相应的HTML信息，之后就可以分析更多信息的元素位置了。

代码解析

1. 导入必要的库

import csv
import json
import os
import time
import pandas as pd
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By

这段代码导入了爬虫程序所需的所有外部库。

2. 定义爬虫类

class spider(object):
    def __init__(self, type, page):
        self.type = type
        self.page = page
        self.spiderUrl = "https://www.zhipin.com/web/geek/job?query=%s&city=101280600&page=%s"

spider类是爬虫的核心，它接受职位类型和起始页面作为参数，并初始化爬取的URL模板。
ps:page=是页数

3. 启动浏览器

    def startBrowser(self):
        service = Service('./chromedriver.exe')
        options = webdriver.ChromeOptions()
        options.add_experimental_option('excludeSwitches', ['enable-automation'])
        browser = webdriver.Chrome(service=service, options=options)
        return browser

startBrowser方法用于启动Chrome浏览器，这是Selenium进行网页操作的基础。

4. 主要爬取逻辑

    def main(self, page):
        # 省略部分代码...
        job_List = browser.find_elements(by=By.XPATH, value='//div[@class="search-job-result"]/ul[@class="job-list-box"]/li')
        for index, job in enumerate(job_List):
            try:
                # 提取职位信息的代码...
            except Exception as e:
                print(e)
                pass
        self.page += 1
        browser.quit()
        self.main(self.page)

main方法是爬取逻辑的核心，它循环访问每一页的职位列表，提取每个职位的详细信息，并递归地爬取下一页。（所有的代码放在文章末尾）

5. 提取职位信息

在main方法中，我们使用XPATH来定位页面元素，并提取职位的标题、地址、薪资等信息。

6. 保存数据到CSV

    def save_to_csv(self, rowData):
        with open('./temp.csv', 'a', newline='', encoding='utf-8') as wf:
            writer = csv.writer(wf)
            writer.writerow(rowData)

save_to_csv方法将提取的职位信息以行的形式追加到CSV文件中。

7. 初始化CSV文件

    def init(self):
        if not os.path.exists('./temp.csv'):
            with open('./temp.csv', 'w', encoding='utf-8') as wf:
                writer = csv.writer(wf)
                writer.writerow(["title", "address", "type", ...])

init方法用于在程序开始时创建CSV文件，并定义列名。

8. 清理和整理CSV数据

    def clear_csv(self):
        df = pd.read_csv('./temp.csv')
        df.dropna(inplace=True)
        df.drop_duplicates(inplace=True)
        df['salaryMonth'] = df['salaryMonth'].map(lambda x