15分钟，教你用Python爬网站数据，并用BI可视化分析！_招聘网站信息抓取可视化分析

最新推荐文章于 2024-10-12 12:54:53 发布

原创

最新推荐文章于 2024-10-12 12:54:53 发布 · 993 阅读

5 ·

CC 4.0 BY-SA版权

文章标签：

#python #信息可视化 #开发语言

eduLevel=dic[‘eduLevel’][‘name’] #学历要求
workingExp=dic[‘workingExp’][‘name’] #工作经验
print(jobName,company,salary,city,jobtype,eduLevel,workingExp)
writer.writerow([jobName,company,salary,city,jobtype,eduLevel,workingExp])
param={ ‘start’:0,
‘pageSize’:60,
‘cityId’:489,
‘workExperience’:-1,
‘education’:-1,
‘companyType’: -1,
‘employmentType’: -1,
‘jobWelfareTag’: -1,
‘kw’: ‘BI工程师’, #搜索关键词，可以根据你需要爬取的岗位信息进行更换
‘kt’: 3,
‘lastUrlQuery’: {“p”:1,“pageSize”:“60”,“jl”:“681”,“kw”:“python”,“kt”:“3”}
}#参数配置
pages=range(1,31)#爬取1-30页数据
out_f = open(‘test.csv’, ‘w’, newline=‘’)
writer = csv.writer(out_f)
writer.writerow([‘jobName’,‘company’,‘salary’,‘city’,‘jobtype’,‘eduLevel’,‘workingExp’])
for p in pages: #自动翻页
param[‘start’]=(p-1)*60
param[‘lastUrlQuery’][‘p’]=p
url = ‘https://fe-api.zhaopin.com/c/i/sou?’ + urlencode(param)
GetData(url,writer)
time.sleep(3)#间隔休眠3秒，防止IP被封
print§
out_f.close(