导图社区 CCRC-CDO数据治理:数据质量管理
这是一篇关于CCRC-CDO数据治理:数据质量管理的思维导图,主要内容包括:数据质量管理工具,数据质量管理过程,数据质量管理的最佳实践,数据质量问题根本原因,低质量数据产生的问题,数据的质量属性。
这是一篇关于数据分析的思维导图,主要内容包括:数据模型,数据指标体系,数据标签体系,数据分析方式,用户转化与付费分析,三大分析思维,软技能。
这是一篇关于CCRC-CDO数据治理:数据集成与共享的思维导图,主要内容包括:数据集成的4种典型应用,数据集成步骤与方法,数据集成架构的演进,应用集成的4个层面。
这是一篇关于CCRC-CDO数据治理:数据标准管理的思维导图,主要内容包括:数据标准管理与其他治理活动的关系,数据标准设计流程,企业数据标准的梳理,数据标准管理的内容,什么是数据标准。
社区模板帮助中心,点此进入>>
项目时间管理6大步骤
项目管理的五个步骤
电商部人员工作结构
暮尚正常运转导图
产品经理如何做好项目管理
车队管理
创业者10条创业经
创业十大思维误区
管培生课程作业
商业模型
CCRC-CDO 数据治理:数据质量管理
一、 数据的质量属性
一致性
记录方法不一致
准确性
数据逻辑不对
完整性
有null值
可审核性
整齐有序
唯一性
有重复
及时性
过时的数据
分布式系统CAP不可能三角形
一致性C
可用性A
分区容错性P
二、 低质量数据产生的问题
低质量数据产生的问题
数据不可靠
数据不完整
数据解释不清
数据重复
延迟数据输入/更新
低质量数据带来的损害
数据债务会拖累投资回报率
缺乏信任意味着缺乏使用
战略资产成为一种负担
成本增加和效率低下
采用数据驱动技术的障碍
糟糕的客户体验
三、 数据质量问题根本原因
糟糕的应用设计
字段缺少约束
参考数据不是来自数据字典
未定义必填字段
基础数据库之前不验证
手工数据错误
数据库设计不佳
缺乏参照完整性
缺少唯一键
通手机app用户数据,直接形成交易数据,写到后台数据库里,就不用直接形成主键、外键
没有受限的数据范围
数据类型不正确
孤立记录
数据集成和同步不当
无数据掩码
有问题的聚合、转换过程或不正确的逻辑
集成环境中的数据刷新过程不同步
缺少数据匹配工具
缺乏数据质量工具
没有数据探查功能
数据转换或迁移过程中的错误
数据源和目标之间的数据映射不正确
缺乏数据管理制度
n策略不存在或已过期 n员工基本上不了解有效的政策 n策略不受监控和实施 n策略位于多个位置 n存在同一策略的多个版本
n策略在不同的孤岛中管理不一致。 n未经培训的作者写的政策写得很差 n政策培训计划不足 n政策草案停滞不前,失去动力 n高级管理层的政策支持薄弱
不完整的业务流程
同一记录的多个条目会导致数据库中重复记录激增
数据的多重业务定义
呈现数据时未能记录数据操作
未能培训人们如何理解数据
手动密集型流程可能会导致重复工作
没有明确划分部门内部或部门之间的业务流程依赖关系
通过五层数据架构了解数据质量差的常见根本原因
四、 数据质量管理的最佳实践
优先考虑数据质量
设计企业范围的数据策略
创建具有权限和问责制的明确用户角色
设置数据质量管理流程
使用仪表板来监视数据质量状态
自动化数据输入
防止重复
考虑模版和元数据
五、 数据质量管理过程
数据质量阈值和规则的定义
数据质量评估
数据质量问题的解决
数据监视和控制
六、 数据质量管理工具
解析和标准化工具将数据分解为组件,并将其统一格式
匹配工具集成或合并紧密相关的数据记录。
监视工具控制数据质量的现状
清洗工具将删除不正确或重复的数据条目,或修改值以满足某些规则和标准。
分析工具收集有关数据的统计信息,然后将其用于数据质量评估。
数据丰富工具将引入外部数据并将其集成到现有数据中