针对复杂的JSON数据，如何做数据规范化

已于 2023-06-27 17:25:13 修改
阅读量858 收藏 3
点赞数 6
CC 4.0 BY-SA版权
分类专栏： Numpy/Pandas/Matplotlib 文章标签： Python 数据分析 数据处理 数据清洗 算法
于 2021-07-29 17:32:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kzl_knight/article/details/119208441

针对复杂的JSON数据，如何做数据规范化，数分专家来实际操作

针对复杂的JSON数据，如何做数据规范化，数分专家来实际操作

序：项目结构与下载方式

在这里插入图片描述

下载地址：

链接: https://pan.baidu.com/s/1ZRHf969-A1pg59VqPsDWzA

1 数据转化的需求是酱紫的

把目标数据转成我们想要的格式

目标数据地址：https://static-data.eol.cn/www/2.0/school/102/dic/specialplan.json

（这目前个请求没有任何反爬）

原数据：

在这里插入图片描述

需要转成的格式：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Dt9Q1oZt-1627532295368)(_v_images/20210729105205580_268508897.png)]

2 讲一讲他的数据规范的规则

划定数据范围

在这里插入图片描述

为了看起来更方便，我把JSON数据保存到了MongoDB里面

在这里插入图片描述

需要的字段：
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Ntz9vQru-1627532295371)(_v_images/20210729110227661_1352738584.png)]

用下面的数据例子，更方便理解转化规则：

原数据

原数据 = [{
    'year': 2021,
    'province': [
        {
            'pid': 35,
            'type': [0, 1],
            'batch': [2, 3],
            'batch_group': {
                '14': [
                    {'id': 4},
                    {'id': 5},
                ],
            },
            'first': ''
        }
    ]
},]

规范后的数据

结果 = [
    {'year': 2021, 'pid': 35, 'type': 0, 'batch': 2, 'batch_group': 4, 'first': None},
    {'year': 2021, 'pid': 35, 'type': 0, 'batch': 2, 'batch_group': 5, 'first': None},
    {'year': 2021, 'pid': 35, 'type': 0, 'batch': 3, 'batch_group': 4, 'first': None},
    {'year': 2021, 'pid': 35, 'type': 0, 'batch': 3, 'batch_group': 5, 'first': None},
    {'year': 2021, 'pid': 35, 'type': 1, 'batch': 2, 'batch_group': 4, 'first': None},
    {'year': 2021, 'pid': 35, 'type': 1, 'batch': 2, 'batch_group': 5, 'first': None},
    {'year': 2021, 'pid': 35, 'type': 1, 'batch': 3, 'batch_group': 4, 'first': None},
    {'year': 2021, 'pid': 35, 'type': 1, 'batch': 3, 'batch_group': 5, 'first': None},
]

注：

  • 数据要有交叉，即type = [0,1] batch = [2,3] -->结果应该有4条，即0 2, 0 3 , 1 2 , 1 3,
  • batch_group里面仅仅需要的是id
  • 如果某个字段无数据，用None进行填充

3 如何做数据处理呢？

3.1 数据的多层嵌套，需要先展平

原数据 = [{
    'year': 2021,
    'province': [
        {
            'pid': 35,
            'type': [0, 1],
            'batch': [2, 3],
            'batch_group': {
                '14': [
                    {'id': 4},
                    {'id': 5},
                ],
            },
            'first': ''
        }
    ]
}, ]

展平的数据 = []
for data in 原数据:
    year = data['year']
    province = data['province']

    for line_data in province:
        pid = line_data['pid']
        type = line_data['type']
        batch = line_data['batch']
        first = line_data['first']
        # 取到batch_group里面的id
        batch_groups = line_data['batch_group']
        batch_group = []

        if batch_groups:
            for key in batch_groups.keys():
                for bg in batch_groups[key]:
                    batch_group.append(bg['id'])
        展平的数据.append(
            {'year': year,
             'pid': pid,
             'type': type,
             'batch': batch,
             'batch_group': batch_group,
             'first': first
             }
        )

print(展平的数据)

数据的展平结果：

[{'year': 2021, 'pid': 35, 'type': [0, 1], 'batch': [2, 3], 'batch_group': [4, 5], 'first': ''}]

3.2 反向拆解，构造一个转换函数

【结果数据】 = func(【展平后的数据)

# 书接上文

from copy import deepcopy
from collections import Iterable

def jiaocha(**kwargs):
    # 初始化数据，为了让key存在
    data = {}
    for key in kwargs.keys():
        data[key] = None

    datas = [data, ]

    def _func(datas, key, values):
        datas2 = []
        for data in datas:
            # 如果有数据
            if values:
                # 可以迭代，则遍历
                if isinstance(values, Iterable):
                    for v in values:
                        data[key] = v
                        datas2.append(deepcopy(data))
                # 不可以迭代，直接赋值
                else:
                    data[key] = values
                    datas2.append(deepcopy(data))
            # 无数据填充None
            else:
                data[key] = None
                datas2.append(data)
        return datas2
    for key in kwargs.keys():
        datas = _func(datas, key, kwargs[key])
    return datas

结果数据 = jiaocha(**展平的数据[0])

for data in 结果数据:
    print(data)

输出的结果：

{'year': 2021, 'pid': 35, 'type': 0, 'batch': 2, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 0, 'batch': 2, 'batch_group': 5, 'first': None}
{'year': 2021, 'pid': 35, 'type': 0, 'batch': 3, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 0, 'batch': 3, 'batch_group': 5, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 2, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 2, 'batch_group': 5, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 3, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 3, 'batch_group': 5, 'first': None}

3.3 封包，需要把多个过程变成一个独立整体

前两步的操作，既有函数外的遍历，也有定义的函数，二者之间相互依赖，最好变成一个整体，方便后续的调用

原数据 = [{
    'year': 2021,
    'province': [
        {
            'pid': 35,
            'type': [0, 1],
            'batch': [2, 3],
            'batch_group': {
                '14': [
                    {'id': 4},
                    {'id': 5},
                ],
            },
            'first': ''
        }
    ]
}, ]

from copy import deepcopy
from collections import Iterable


def convert(datas: list):
    '''
    @param:datas,需要满足设定的格式
    return:[
        {'year': xxx, 'pid': xxx, 'type': xxx, 'batch': xxx, 'batch_group': xxx, 'first': xxx},
        ...
    ]
    '''
    # 1. 展平全部数据
    flatten_datas = []  # 保存展平后的全部数据
    for data in datas:
        year = data['year']
        province = data['province']

        for line_data in province:
            pid = line_data['pid']
            type = line_data['type']
            batch = line_data['batch']
            first = line_data['first']
            # 取到batch_group里面的id
            batch_groups = line_data['batch_group']
            batch_group = []

            if batch_groups:
                for key in batch_groups.keys():
                    for bg in batch_groups[key]:
                        batch_group.append(bg['id'])
            flatten_datas.append(
                {'year': year,
                 'pid': pid,
                 'type': type,
                 'batch': batch,
                 'batch_group': batch_group,
                 'first': first
                 }
            )

    # 2.1 定义交叉函数
    def jiaocha(**kwargs):
        # 初始化数据，为了让key存在
        data = {}
        for key in kwargs.keys():
            data[key] = None

        datas = [data, ]

        def _func(datas, key, values):
            datas2 = []
            for data in datas:
                # 如果有数据
                if values:
                    # 可以迭代，则遍历
                    if isinstance(values, Iterable):
                        for v in values:
                            data[key] = v
                            datas2.append(deepcopy(data))
                    # 不可以迭代，直接赋值
                    else:
                        data[key] = values
                        datas2.append(deepcopy(data))
                # 无数据填充None
                else:
                    data[key] = None
                    datas2.append(data)
            return datas2

        for key in kwargs.keys():
            datas = _func(datas, key, kwargs[key])
        return datas

    # 2.2 调用交叉函数
    ret_datas = []  # 保存结果数据
    for data in flatten_datas:
        ret_datas += jiaocha(**data)
    return ret_datas


ret_datas = convert(原数据)
for data in ret_datas:
    print(data)

规范后的数据结果：

{'year': 2021, 'pid': 35, 'type': 0, 'batch': 2, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 0, 'batch': 2, 'batch_group': 5, 'first': None}
{'year': 2021, 'pid': 35, 'type': 0, 'batch': 3, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 0, 'batch': 3, 'batch_group': 5, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 2, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 2, 'batch_group': 5, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 3, 'batch_group': 4, 'first': None}
{'year': 2021, 'pid': 35, 'type': 1, 'batch': 3, 'batch_group': 5, 'first': None}

4 对网站返回的JSON数据规范化，并保存本地

# 我将convert函数保存到了同级文件夹下的tool.py
from tool import convert
# pip install kuser_agent，本人自己写的，可以设置随机的User-Agent，调用方法:kuser_agent.get()
import kuser_agent
import requests
import pymongo
import json


# 1. 发送请求，获取Json数据
url = 'https://static-data.eol.cn/www/2.0/school/102/dic/specialplan.json'
json_data = requests.get(url=url,headers={'User-Agent':kuser_agent.get()}).content

# 注：如果这个接口已经关闭，可以使用一下的命令
# 我将Json的数据保存到了本地，直接读取就好
# with open('数据/specialplan.json','rb') as f:
#     json_data = f.read()

# 2. 把Json数据转成字典
json_dict = json.loads(json_data)

# 3. 获取里面的data
datas = [
    data for data in json_dict['data']['data']
]

# 4. 转化的结果
ret_datas = convert(datas)

# 5. 保存本地Mongo

db_name = 'HE' # 数据库的名字
c_name = 'specialplan' # 集合的名字

client = pymongo.MongoClient() # 连接客户端

collection = client.get_database(db_name).get_collection(c_name) # 指定数据库和连接

collection.insert_many(ret_datas) # 插入数据

client.close() # 关闭连接

数据结果：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-x6DKvZUI-1627532295373)(_v_images/20210729120529353_68010499.png)]

项目结构与下载方式
在这里插入图片描述

下载地址：

链接: https://pan.baidu.com/s/1ZRHf969-A1pg59VqPsDWzA

JSON数据规范化
qq1635346647的博客
04-16 666
JSON数据规范化 用map msg: 返回的信息 code：返回的状态码 data：返回的数据 如果数据为空 就为null @RequestMapping("show.do") public Map<String, Object> show(){ Map<String, Object> map = new HashMap<String, Object>();...
JSON语法及JSON定义规范化
且听风吟_z
09-23 2万+
一、前言 JSON(JavaScript Object Notation, JS对象标记) 是一种轻量级的数据交换格式。它基于 ECMAScript 的一个子集，采用完全独立于编程语言的文本格式来存储和表示数据。 二、JSON 语法规则 在 JS 语言中，一切都是对象。因此，任何支持的类型都可以通过 JSON 来表示，例如字符串、数字、对象、数组等。但是对象和数组是比较特殊且常用的两种类型：
JSON格式规范
08-19
JavaScript Object Notation (JSON) is a lightweight, text-based, language-independent data interchange format. It was derived from the ECMAScript Programming Language Standard. JSON defines a small set of formatting rules for the portable representation of structured data. 1. Introduction
JSON 数据格式详解
最新发布
漫谈网络
06-21 2021
JSON是现代应用中最常用的数据交换格式，掌握它的基本使用和Python处理技巧，是自动化运维和开发的基础能力。从配置文件到API通信，JSON无处不在！
如何将爬虫爬下来的json文件格式化为标准json格式
、Lu的博客
04-08 1229
1.首先我们先看一下爬下来的格式（当然有些方式爬下来的格式直接就是标准的，不需要修改） 可以看到，一行就是一个json对象，但是可阅读性太差，当我们用json在线编辑器阅读时，发现会报错(json格式不对)，那是因为单纯地按一行来讲的话，每一行都是一个json对象是没什么问题的，但是我们整个文件有多个对象，当我们复制到json在线编辑器想整体查看时就会出问题了，那我们要做的就是将多个对象放到一个数组里面[{obj},{obj}, ... {obj}]，所以我们需要做的就是在每一个对象后添加,分隔符，并
如何解决后台传回的数据不是正常的json数据，例如是个List [ ]
01-08
在处理JSON数据时，确保数据格式的标准化至关重要，这不仅可以简化前端的解析逻辑，还能减少因数据格式问题引发的错误。在遇到非标准格式时，应优先考虑调整后端返回的数据格式，如果无法改变，可以采取上述临时...
Spring Boot 中使用 JSON Schema 来校验复杂JSON数据
程序猿DD
08-06 942
JSON是我们编写API时候用于数据传递的常用格式，那么你是否知道JSON Schema呢？在数据交换领域，JSON Schema 以其强大的标准化能力，为定义和规范 JSON 数据的结构与规则提供了有力支持。通过一系列精心设计的关键字，JSON Schema 能够详尽地描述数据的各项属性。然而，仅凭 JSON Schema 本身，尚不足以验证 JSON 实例是否严格遵循预设的模式。此时，JSON Schema 验证器的角色便显得尤为关键。
把 json 结构数据解析成标准的 sql， 实现标准化和自动化的增删改查.zip
06-16
总的来说，这个压缩包可能包含了一系列教学材料，涵盖了如何将JSON数据映射到SQL数据库，如何进行标准化设计，以及如何实现自动化的数据操作。同时，它还提供了针对C、C++、Java和Python的数据结构学习资源，帮助...
JSONPath使用指南（掌握JSON数据提取）
若不知道要驶向哪个码头，那么任何风都不会是顺风。
06-07 1万+
大家好，在处理 JSON（JavaScript Object Notation）数据时，有时需要从复杂的结构中提取特定部分。JSONPath 就是一个非常有用的工具，它提供了一种简洁而强大的方式来定位和提取 JSON 数据中的元素。无论是在 Web 开发中处理 API 响应，还是在数据处理任务中处理大量 JSON 数据，了解和掌握 JSONPath 都是非常重要的。
实时数据规范化.pptx
06-04
实时数据规范化涵盖了多种类型，旨在针对不同类型的数据进行处理，确保数据的准确性和一致性。主要包括： 1. **数据类型变换**：涉及将原始数据转换为特定格式或数据类型，例如从字符串转换为数字或从日期转换为...
json格式，标准格式
01-04
json格式，共大家参考，编写json格式，欢迎大家前去下载。
json-canonicalization:JSON规范化方案（JCS）
05-07
JSON规范化 诸如哈希和签名之类的加密操作取决于目标数据在序列化，传输或解析期间不会发生变化。 通过应用JCS（JSON规范化方案）定义的规则，可以按“原样”交换以JSON [ ]格式提供的数据，同时仍然可以进行安全的加密操作。 JCS通过建立ECMAScript [ ]定义的JSON原语的序列化格式，将JSON数据约束到I-JSON [ ]子集以及通过平台独立的属性排序方案来实现此目的。 公开RFC： ： JSON规范化方案概念概括如下： 使用与ECMAScript的JSON.stringify()兼容的方法对原始JSON数据类型进行序列化 递归过程中JSON Object属性的字典排序 JSON Array数据也可以进行规范化，但是元素顺序保持不变 输入样例： { "numbers": [333333333.33333329, 1E30, 4.50, 2e-3,
JSON（JavaScript Object Notation）已经成为现代数据交换的标准格式之一
BLOG域名:programb.blog.csdn.net
01-07 419
它易于阅读和编写，并且可以被机器解析和生成。相比于XML或者其他数据交换格式，JSON更加简洁和高效。总的来说，JSON的强大之处在于其简单性、效率和灵活性，使其成为处理数据交换的理想选择。在复杂的应用程序开发中，JSON更是无处不在。它经常被用于API的请求和响应，存储和检索数据，以及在各种编程语言和框架之间传递数据。此外，JSON的灵活性也让它成为一种强大的工具。你可以使用JSON来表示复杂的数据结构，如数组和嵌套的对象。在简单的数据传输场景中，JSON可以快速地表示和传输数据。
返回值对象
qq_44749121的博客
11-17 141
public class JsonData { //状态吗 0 成功 1处理中 -1失败 private Integer code; //业务数据 private Object data; //信息描述 private String msg; public JsonData(){} public JsonData(Integer code, Object data, String msg){ this.code = code; this.data = data;
JSON字符串标准化格式工具类
qiaodaima0的博客
11-25 948
/** * JSON格式字符串标准格式话工具类 */ public class JsonFormatTool { public static String formatJson(String jsonStr) { if (null == jsonStr || "".equals(jsonStr)) { return ""; } String...
baiduAPI 免费调用天气预报
Do it Yourself
03-21 1268
C#实现调用免费天气预报json接口 简单介绍下jsonjson是一种轻量级的数据交换格式，由N组键值对组成的字符串，完全独立于语言的文本格式。 在很久很久以前，调用第三方API时，我们通常是采用xml进行数据交互，但往往xml包含更多冗余的标记字符，在传输较大数据时，相较于xml，json显得更加简洁，轻量。
SpringBoot实战（九）:标准化json返回值
通往精英的成长之路
06-19 2703
强烈推荐一个大神的人工智能的教程：http://www.captainbed.net/zhanghan 【前言】 前后端分离是现在系统开发主流模式，上篇博文《SpringBoot集成Swagger》介绍了利器Swagger;这篇接着定义返回Json格式的规范；无规矩，不成方圆；有了好的规范前后端的开发效率将大大提高； 【返回Json结果规范化】 一、规范化的...
JSON 数据格式化方法
热门推荐
小发菜
06-04 3万+
JSON 数据格式化是处理 JSON 数据的重要步骤，有助于提高数据的可读性和可维护性。您可以使用 IDE 或脚本语言提供的内置功能进行格式化，也可以使用在线工具进行格式化。非常推荐 [JSONS](https://www.sojson.com) 不仅支持格式化，而且还支持代码文本对比和替换等功能。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

PYTED量化交易研究所

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值