企业数据中台功能介绍-CSDN博客

本文链接：https://blog.csdn.net/OutRoading/article/details/139626765

参考视频：

企业级数据中台功能演示_哔哩哔哩_bilibili

具体项目：

平台基础设施:

系统管理,系统监控（登录/操作日志）,任务调度

元数据管理:

业务系统管理/数据源管理/数据表管理/字段管理
数据源,元数据,数据授权,变更记录,数据检索,数据地图,数据血缘,SQL工作台

数据标准管理:

标准字段,对照表,字典对照,对照统计

数据质量管理:

规则配置,问题统计,质量报告,定时任务,任务日志

数据集市管理:

数据服务,数据脱敏,接口日志,服务集成,服务日志

可视化管理:

数据集,图表配置,看板配置

预警

数据服务：

查询检索，比对订阅，模型分析，数据推送

质量管理：

        数据处理：数据关联，数据比对，数据标识，数据分发
        标准库DWD：数据精细化，标准化，规范化
        问题库
        数据清洗：数据过滤，数据去重，格式转换，内容校验
                唯一性，完整性，准确性，一致性，关联性，及时性
                问题统计
                核查规则
                质量报告
        原始库（ODS）：数据溯源，数据去重，格式转换，内容校验
        元数据库
        数据接入：数据探查，数据定义，数据读取，数据对账
                业务流程：任务信息-》源库选择-》目标库选择 -》映射配置 -》调度规则 -》确认

定时任务：

        定时同步任务
                每次定时任务执行日志
        定时任务：制定规则，每天定时检查质量
                监控质量的定时任务，运行的状态情况

数据集市：

        库表转换成api接口，对外提供数据服务
                1 提供全局管理，控制返回使用方的字段范围，可以脱敏
        内容：
                API名称，版本，路径，请求方式,返回格式，IP黑名单，调用频率，发布，备注
        接口日志：
                每个接口的调用情况：成功/失败,调用数据量，ip，用户，时间
        可视化服务集成：

                库表里查询的数据，以图表形式，更直观展示给业务人员
                数据集：
                图表配置：
                看板配置：

血缘管理：

        业务库-》ods -》dwd -》dws
       原始库（ODS）：数据溯源，数据备份
       标准库（DWD）：数据精细化，标准化，规范化
       主题库（DWS）：eg：竞品分析，不同维度获取对应数据
       专题库（APP）：针对不同需求加工不同的专题表