爬虫实时疫情部分过程

第一步：找到网页源代码并进行分析
在这里，先找到了国家所处的位置
url=‘https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist’，
处在字典 ：data[‘data’][0][‘name’]中。

// 爬取全国肺炎疫情海外实时数据
import requests
import json
import jsonpath

url = 'https://api.inews.qq.com/newsqa/v1/automation/foreign/country/ranklist'
response = requests.post(url)

第二步：获取数据
我在这里准备先获取所有国家的数据

data = json.loads(response.text)
//因为爬取到的是字符串格式的“假字典”格式，所以用json.loads()函数将其转化为字典格式
name = jsonpath.jsonpath(data, "$..name")  # "$..name"表示取根节点下name的键值
# print(name)

name打印后的结果如下：

# 通过json包转换类型
# json字符串转化为字典
data = json.loads(response.text)
print(data)#此时已经将json转化为字符串
print(type(data))
//转换为字典类型后面比较容易整合

接下来准备获取每个国家对应的确诊人数。

从网页源代码中看出确诊人数是confirm所对应的值。

confirm = jsonpath.jsonpath(data, "$..confirm")  # "$..name"表示取根节点下confirm的键值
# print(confirm)

第三步：数据处理
接下来要国家与其人数一一对应起来，并整合到一块。

# 数据处理
data_list = zip(name, confirm)  # 建立一一对应关系
//zip(数据1，数据2，数据n)
//一定要要保证其中的值都可以一一对应
print(data_list)
data_list = list(data_list)
print(data_list)

zip()函数相当于将两个数据进行了压缩，后面可以将它改成列表形式，如下图：

至此，就已经将海外国家与其对应的确诊人数全部获取了，后面就不写了，啥时候有兴趣了再说吧。。。