python爬虫(三）获取腾讯直聘上的岗位信息并保存为从CSV格式

最新推荐文章于 2024-05-06 17:18:46 发布

原创最新推荐文章于 2024-05-06 17:18:46 发布 · 568 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#爬虫 #python

Python爬虫专栏收录该内容

3 篇文章

订阅专栏

这段代码展示了如何使用Python的requests库获取腾讯招聘网站的数据。通过设置headers伪装浏览器，发送GET请求到指定URL，并根据输入的起始页和终止页范围遍历，将职位名称、工作地点、类别、产品、更新时间和详情链接等信息写入CSV文件。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在这里插入图片描述

在以下页面，获取源代码，发现没有相关数据
在这里插入图片描述

点击检查，发现相关数据
在这里插入图片描述
根据headers相关内容，完成获取

# 腾讯招聘

import csv
import json
import requests

headers = {
    'user-agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36",
}

url = 'https://careers.tencent.com/tencentcareer/api/post/Query'

params = {'area': ' cn',
          'attrId': ' ',
          'bgIds': ' ',
          'categoryId': ' ',
          'cityId': ' ',
          'countryId': ' ',
          'keyword': ' ',
          'language': ' zh-cn',
          'pageIndex': 'pageIndex',
          'pageSize': '10',
          'parentCategoryId': ' ',
          'productId': ' ',
          'timestamp': ' 1602211262824'
}

begin=int(input("请输入起始页：" ))

end=int(input("请输入终止页：" ))

for page in range(begin,end+1):
    params['pageIndex']=page
    response = requests.get(url, params=params, headers=headers)
    data=json.loads(response.text)
    data_list = data["Data"]["Posts"]
    item={}
    for data in data_list:
        item["职位名称"] = data["RecruitPostName"]
        item["工作地点"] = data["LocationName"]
        item["类别"] = data["CategoryName"]
        item["产品"] = data["ProductName"]
        item["更新时间"] = data["LastUpdateTime"]
        item["详情链接"] = data["PostURL"]

        with open("腾讯招聘.csv", "a", encoding="utf-8") as file:
            writer = csv.writer(file)
            writer.writerow(item.values())