(2021.01.14)-数据中台运营机制
一、数据中台运营效果评估模型
1、数据运营阶段资评表
2、运营团队使命及目标
- 数据安全及质量是中台可持续运营的基础;
- 提效降本是打造中台影响力的关键。
二、数据中台运营的4个价值切入点
1、统一战略:在战略层级上,管理层需要对为什么建设数据中台有非常清晰的认知,坚定做数据中台的决心;让企业上下都明确数字化转型对于企业生死存亡的决定性作用;让全体员工尤其是战略管理层和执行管理层都理解数据中台在数字化转型中的关键位置和重要性。
2、搭建组织:数据委员会(数据资产平台TL、技术平台部门TL、数据安全部门TL、数据质量部门TL)、虚拟数据团队(架构组、评审组)、执行团队(数据工程师、测试工程师、平台管理员)
3、打造氛围:使整个企业内部有使用数据的氛围;
4、实践创新:选择合适的业务方,一起做数据结合业务的创新实践;
三、数据资产运营
1、数据资产运营的4个目标:可阅读、易理解、好使用、有价值,最终目标是通过有序的正向循环不断挖掘并提升数据资产的价值,使之变成企业的核心增值资产。
- 可阅读:需要有一个资产信息的读取门户或资产地图,业务人员能够直接自己上手操作,通过简单的减少、分类查找、智能推荐等方式便捷地获知数据资产信息,且资产信息必须以业务人员的阅读习惯呈现,而非面向技术人员的组织方式。
- 易理解:将数据资产标签化(标签是面向业务人员的数据组织方式),所有标签都围绕特定对象的属性描述;一个标签应该含义标签名(如:年龄)、标签描述(如:通过注册身份证信息获取年龄信息)、标签逻辑(eg:身份证7-10位信息抽取出生年份信息进行年龄计算)、取值类型(eg:数值型)、来源表字段信息、拥有标签用户的覆盖量、历史调用量、调用方、价值分、质量分等。
- 好使用:通过数据服务体系可以实现对数据使用方法抽象,供业务部门理解后直接配置使用;同时数据服务配置生成过程简单快读,极大缩短了从0开始变成过程。
- 有价值
a. 通过数据资产调用量衡量:某标签的历史调用总量、平均每日调用总量、持续调用量走势、环比同比、调用受众量、调用业务量等维度简介评估标签的重要程度;
b. 通过数据资产服务使用前后的业务指标差异衡量:eg通过A/Btest 或灰度测试比较,使用了数据资产服务支持的业务和未使用的业务在核心业务指标(eg:用户黏性、转化率、营业额、访问量、访问深度、好评率、回头率、忠诚度等)的差异程度,进而衡量数据资产的价值。
c. 客户访谈、意见反馈
d. 信息化数据
2、数据资产运营的完整链路
- 看:数据资产通过一个合适的资产门户和资产管理场所,供数据消费方简单、便捷、详细地了解资产信息;
- 选:消费方查看资产信息后,选择所需的资产对象,为后一阶段的使用做准备;
- 用:消费方选择好所需数据资产后,生成相应的服务接口或通过数据应用产品来使用这些资产数据;
- 治:数据资产治理分为面向业务层的标签治理及面向存储层的数据治理;
标签治理:新标签设计、标签上下架管理、标签类目管理、标签血缘分析、元标签管理、标签质量评估、标签使用安全等;
数据治理:包含以数据表/字段为对象的生命周期管理、血缘分析、元数据标准、数据质量评估、数据安全方案等。
- 评:通过统一标准进行完整、系统地评估,评估角度可以是数据资产的质量层使用层成本层面、故障层面等。
3、数据资产运营执行的5个动作
- 组织登记:先将数据资产在系统登记入库,在通过管理审核后,才能开放处理让消费者看到。
a. 掌握现有数
b. 收集业务需求:根据当前主流、核心的业务需求筛选有价值的数据资产对象进行信息登记。
c. 信息登记上架:数据资产管理工具需要支撑从资产申请上架、使用审批、使用、评价等功能;当使用量长时间为0或因业务调整撤销,不在需要这种数据资产时,可以将其下架。
- 宣传推广
a. 运营人员通过各种营销手段,激发业务人员对数据资产的兴趣;
b. 该阶段,需要资产运营人员持续跟进已有标签在实际业务中发挥的作用和产生的效果;使用标签后,业务进行效率是否提升、盈利能力是否有上升进行对比;
c. 验证数据资产价值后,通过持续宣传推广手段传递有效标签信息,包装现有成功案例。
- 服务保障:运营人员只有搭建出一个可看、可控、可追溯、可预警的服务保障平台,才能让业务人员放心地使用数据服务。
- 治理优化:业务人员作为数据资产管理者中的一员,需对数据资产使用过程中的问题做好登记、人工修订或下发治理任务,同时不断迭代优化资产,形成正向循环。
- 价值评估:对数据资产的价值评估是根据数据资产的使用情况进行整体判定。
a. 作为数据资产的载体,标签的使用情况也就代表数据资产的使用情况。
b. 需多维度评估,包括数据资产使用准确率、关注热度、调用量、可用率、故障率、持续优化度、持续使用度、成本性价比等。
c. 运营人员可根据需求制作数据资产的价值看板户或BI报表并上报给管理层进行阅览,同时需将资产价值通过登记、同步、联动等方式展示在资产门户相应位置。
4、数据资产质量评估:
- 源头数据质量:数据源安全性、数据源准确性、数据源稳定性、数据源时效性、数据源全面性;
- 加工过程质量:标签测试准确性、标签产出稳定性、标签生产时效性、标签覆盖量、标签完善度、标签规范性、标签值离散度;
- 使用价值质量:数据资产作为一种无形资产,其价值质量的衡量标准是数据资产产生的数据服务或数据应用给企业业务带来的经济利益提升或经济成本降低;资产使用价值相关指标包括标签使用准确率、标签调用量、标签受众热度、标签可用率、标签故障率、标签关注热度、标签持续优化度、标签持续实用度、标签成本性价比;
5、数据资产安全管理
- 分级分类管理:按照信息分类保护思想,从安全考虑,将系统中所存储、传输和处理的数据信息进行分类,并对应安全保护等级。分级如下:
a. 按资产域核心业务的关联程度:如果某数据资产是核心业务流程中对转化最为关键的,它的等级就会很高。
b. 按资产敏感程度:划分为C1(完全公开,表示该数据对内、外都公开)、C2(内部公开,对外不可见)、C3(保密,对特定人员公开)、C4(机密,对平台管理员公开)
c. 按资产更新周期划分:根据数据资产更新的频率,分为实时、日、周、月、季度、年等。
- 脱敏与加密
a. 脱敏:脱敏为不可以操作,数据经过脱敏后不能反推出原始数据,可防止数据泄露,实现数据可用不可见的效果;数据屏蔽分给全部屏蔽、部分屏蔽、替换、乱序。
b. 加密:存储数据加密(服务器敏感数据隔离),支持DES、RC4算法进行加密;配置加密后数据存储的是密文,实际使用数据时需要先解密在使用,可防止通过“拖库”类操作直接从存储层泄露数据。
- 监控和审计
a. 监控:资产监测包括对资产的存储、质量、安全使用等进行监控,常见监控为表记录数的波动监控、字段统计值波动监控、数据量监控、数据资产各种质量类指标监控、数据资产分级分类监控、数据资产脱敏监控。
b. 审计:审计对象包括数据权限使用制度及审批流程、日志留存管理办法、数据备份恢复管理机制、监控审计体系规范以及安全操作方案等体系制度规范;审计记录用户使用数据中台进行所有活动的过程,是提高安全性的重要工具;在业务人员想使用某标签时,需要提交审批,经过业务部门和数据资产部门审批后方可使用。
6、数据资产运营与数据资产管理的关系
- 数据资源运营和数据资产管理是相互促进的关系,在运营过程中发现数据资产存在的问题,倒逼数据资产管理水平的提升;同时数据资产管理水平与数据资产质量的提升,本身又能促进数据资产管理水平与数据资产质量的提升,本身又能促进数据资产运营更加顺利地开展下去。
- 必须打通数据资产运营和数据资产管理之间的联系通道。首先需要实现数据资产问责和认责,真正把每一项数据资产、每一个问题都落实到具体责任人,并且形成一套最终的考核机制,督促相关责任人持续不断地关注与提升数据资产的质量。
四、数据成本运营
1、细分数据类型,优化数据资产存储成本
将有限的计算、存储资源最大化地用在更高价值的数据资产上,需要对资产的可用性进行管理。通过对数据资产的上下架管理,控制可用性。
- 原始数据成本优化:建议永久保存
- 过程数据成本优化
a. 临时性过程数据:处理完成后可以删除;
b. 支撑结果计算的过程数据:三种策略
全量存储:不需要跟踪历史的数据变化时采用这种方式,只存储最新一份快照数据;
增量存储:当数据需要跟踪历史变化,且体量比较大时,一般采用这类方式;
周期快照:对历史数据建立周期快照并进行跟踪;
- 结果数据成本优化:借助数据在实际场景中的应用情况来分析,并根据应用数据提供成本策略建议。
2、计算成本控制
- 重复计算
a. 问题:命名相似、相同源头、计算类似、产出类似;
b. 解决方法:通过量化方式计算出作业的输入和输出重复度;分析任务逻辑、识别加工方法及输入输出的匹配情况。
- 冗余计算
a. 问题:不合理的数据处理量将大大提高计算成本,导致企业算力的浪费;
b. 解决方法:提取数据量与处理耗时的算力基线、数据加工输入量的合理基线分析,发现不合理的处理逻辑,从而减少可能存在的冗余计算过程。
- 低价值计算
a. 问题:加工数据没有直接被业务部门使用,浪费与其相关的计算成本;
b. 解决方法:降低资源或暂停不必要的处理逻辑,避免计算资源无效使用。
- 调度不合理:通过下游业务的使用情况及上游作业的加工逻辑做相应分析来支撑运营。
- 频率不符:任务的产出频率与使用频率不一致。
五、数据中台运营的实践经验
1、全员具备数据意识是中台战略开展的基础保障
2、数据中台运营一定要以场景需求为导向
3、数据运营本质是对各部门需求及资源的盘活