导图社区 华为数据之道
- 284
- 3
- 1
- 举报
华为数据之道
这是一篇关于《华为数据之道》知识摘要的思维导图，仅作为个人所需知识点摘录，并没有对内容进行全部摘录。
编辑于2022-08-14 11:09:20 上海- 华为
- 相似推荐
- 大纲
华为数据之道
第一章 数据驱动的企业数字化转型
1.1 非数字原生企业的数字化转型挑战
业态特征
产业链条长
多业态并存
运营环境
数据交互和共享风险高
IT建设过程
数据复杂
历史包袱沉重
数据质量
数据可信
一致化要求程度高
1.2 华为数字化转型与治理
数字化转型要解决
成本
效率
多打粮食，增加土地肥力
ROADS体验
实时Real-Time
按需On-demand
全在线All-online
服务自助Diy
社交化Social
1.3 华为数据治理实践
数据工作框架
数据源
数据湖
数据主题链接
数据消费
数据治理
业务可视，能够快速、准确决策
人工智能，实现业务自动化
数据创新，成为差异化竞争优势
第二章 建立企业级数据综合治理体系
关键数据
影响公司经营、运营报告的数据
业务即行为，行为即记录，记录即数据
第三章 差异化的企业数据分类管理框架
数据分类
内部数据和外部数据
结构化数据和非结构化数据
结构化数据
基础数据
主数据
事务数据
报告数据
观测数据
规则数据
元数据
客户数据
及时性
准确性
完整性
一致性
有效性
唯一性
第四章 面向“业务交易”的信息架构建设
信息架构的四个组件
数据资产目录
L1
主题域分组
数据自身特征边界
业务管理边界
L2
主题域
互不重叠的数据分类
L3
业务对象
定义业务领域重要的人、事、物
L4
逻辑数据实体
业务对象在某方面特征的一组属性集合
L5
属性
最小颗粒
客观描述业务对象在某方面的性质和特征
数据标准
企业级数据模型
数据分布
数据模型
概念数据模型
业务对象及业务对象之间的关系，从宏观角度分析和设计的企业核心数据结构
逻辑数据模型
逻辑数据实体及实体之间的关系，准确描述业务规则的逻辑实体关系
物理数据模型
按照一定规则和方法，将逻辑数据模型中定义的逻辑数据实体、属性、属性约束、关系等内容，如实转换为数据库软件能识别的物理数据实体关系
业务在执行某个具体活动时是有大量作业过程的
数字化转型的扩展
对象数字化
过程数字化
规则数字化
第五章 面向“联接共享”的数据底座建设
数据入湖
六大原则
明确数据Owner
发布数据标准
认证数据源
定义数据密级
制定数据质量方案
注册元数据
入湖方式
物理入湖
实时
离线
虚拟入湖
PULL
数据源
被动：当被请求时提供数据
数据湖
主动：决定何时获取数据
PUSH
数据源
主动：按自己节奏提供数据
数据湖
被动：响应接收数据
数据湖
对原始数据的汇聚
不对数据做任何的转换、清洗、加工等处理
保留数据最原始特征，为数据的加工和消费提供丰富的可能
技术手段
批量集成
数据复制同步
消息集成
集成流
数据虚拟化
结构化数据入湖
二维表结构来逻辑表达和实现的数据，严格遵循数据格式与长度规范，主要通过关系型数据库进行存储和管理
场景
企业数据管理组织基于业务需求主动规划和统筹
响应数据消费方的需求
过程
数据入湖需求分析及管理
检查数据入湖条件
评估入湖标准
实时数据入湖
注册元数据
非结构化入湖
入湖方式
基本特征元数据入湖
文件解析内容入湖
文件关系入湖
原始文件入湖
数据底座
四项原则
数据安全原则
授权管理
权限管理
数据加密
数据脱敏
需求、规划双轮驱动原则
数据供应多场景原则
信息架构遵从原则
数据主题
支撑业务分析、决策与执行
多维模型
图模型
指标
标签
算法模型
标签设计
互联网领域
精准营销
定向推送
提升用户差异化体验
行业领域
战略分级
智能搜索
优化运营
精准营销
优化服务
智慧经营
标签分为
事实标签
描述了实体的客观事实。关注实体的属性特征
举例
男性or女性
采购件or非采购件
与业务对象中的属性和属性值保持一致，不允许新增和修改
规则标签
属性&度量的统计结果。对数据加工处理后的标签
举例
货物是否超重
产品是否热销
按照业务部门的规则进行相关设计
模型标签
对于实体的评估与预测。洞察业务价值导向的不同特征
举例
换机消费潜力：旺盛/普通/低
推荐产品配置：强烈/中等/低
根据算法模型生成
标签管理
标签体系建设
选定目标对象，根据业务需求确定标签所打的业务对象，业务对象范围参考公司发布的信息架构中的业务对象
根据标签的复杂程度进行标签层级设计
进行详细的标签和标签值设计，包括标签定义、适用范围、标签的生成逻辑等
打标签
实现方法
事实标签
根据标签值和属性允许值的关系由系统自动打标签
规则标签
设计打标签逻辑由系统自动打标签
模型标签
设计打标签算法模型由系统自动打标签
指标设计
衡量目标总体特征的统计数值，能表征企业某一业务活动中业务状况的数值指示器
指标组成
指标名称
指标数据
指标
指标计算逻辑是否含有叠加公式
原子指标
复合指标
指标拆解过程
指标拆解需求澄清
step1
解读指标定义，识别指标
指标拆解设计
step2
基于指标叠加公式拆解指标
step3
基于指标拆解结果，识别指标数据
指标数据与数据资产匹配
step4
数据落地匹配
第十章 未来已来：数据成为企业核心竞争力
数据被列为生产要素
加快培育数据要素市场
推进政府数据开放共享
提升社会数据资源价值
加强数据资源整合和安全保护
第九章 打造“安全合规”的数据可控共享能力
内部信息密级维度
外部公开
内部公开
秘密
机密
绝密
资产维度
核心资产
关键资产
隐私管控需求的数据
个人数据
敏感个人数据
商业联系个人数据
一般个人数据
特种个人数据
数据底座安全隐私方案包
数据底座安全隐私管理政策
数据分析标识方案
数据保护能力架构
数据组织授权管理
数据个人权限管理
数据保护能力
存储保护
高防区隔离
透明加密
对称加密
静态脱敏
访问控制
可追溯
数据授权管理
数据加工授权
数据消费授权
数据权限管理
原材料获取
成片获取
数据安全与隐私保护能力架构
事前预防能力
风险标识
数据保护
授权控制
访问控制
事中预警能力
风险探针
事后追溯能力
日志追溯
第八章 打造“清洁数据”的质量综合管理能力
数据质量
数据满足应用的可信程度
六个维度
完整性
及时性
准确性
一致性
唯一性
有效性
三个要素
客户关注重要性
法律财务风险性
业务流程战略性
五项原则
重要性原则
成本效益原则
明确性原则
分层分级原则
持续度量原则
质量管理PDCA
策划
控制
度量
改进
数据质量规则
四类数据质量分类框架
单列数据质量规则
跨列数据质量规则
跨行数据质量规则
跨表数据质量规则
第七章 打造“数字孪生”的数据全量感知能力
数字化转型要从根本上加强数据的可获取性，围绕我们构建的数据主题和对象丰富数据感知渠道。要追求更加实时、全面、有效、安全的数据获取。
数据感知能力架构
硬感知
利用设备或装置进行数据的收集，收集对象为物理世界中的物理实体，或者是以物理实体为载体的信息、事件、流程等
软感知
使用软件或者各种技术进行数据收集，收集的对象存在于数字世界，通常不依赖物理设备进行收集
硬感知能力
九类方法
条形码与二维码
磁卡
RFID
OCR/ICR
图像数据采集
音频数据采集
视频数据采集
传感器数据采集
工业设备数据采集
实践
门店数字化
站点数字化
软感知能力
3类方法
埋点
作用
用户交互行为
扩宽用户信息
前移运营机会提供数据支撑
技术
代码埋点
可视化埋点
全埋点
日志数据收集
操作日志
运行日志
安全日志
网络爬虫
实践
感知数据推荐存储介质
第六章 面向“自助消费”的数据服务建设
数据服务
定义
基于数据分发、发布的框架，将数据作为一种服务产品来提供，以满足客户的实时数据需求，能复用并符合企业和工业标准，兼顾数据共享和安全，
价值
打通业务间的数据壁垒
提升数据的一致性
满足灵活多样的服务需求
提升数据需求的敏捷响应能力
生命周期
服务识别与定义
业务与数据握手，识别服务的业务价值、准入条件与服务类型，减少数据服务的重复建设，提升数据服务的重用度
分析数据服务需求
识别可重用度
判断准入条件
制定迭代计划
服务设计与实现
业务、数据、IT上方协同，使设计、开发、测试与部署快速迭代以实现服务的敏捷交付，缩短数据服务的建设周期
服务契约
设计
服务责任主体
所属资产目录
服务处理逻辑
数据逻辑
数据契约
设计
业务元数据（服务参数）
技术元数据（IT落地）
服务SLA
数据格式
强调颗粒度
原则
业务特性
将业务相近或相关、数据粒度相同的数据设计为一个数据服务
消费特性
将高概率同时访问、时效性要求相同的数据设计为一个数据服务
管理特性
综合考虑企业在数据安全管理策略方面的要求
能力特性
将单一能力模型设计为一个服务
服务运营
通过统一数据服务中心及服务运营机制，保障服务SLA与持续优化
数据服务分类与建设规范
数据集服务
定义
数据消费者
人
IT系统
特征
服务提供方提供相对完整的数据集合，消费方“访问”数据集合，并自行决定接下来的处理逻辑
建设规范
数据地图
四类关键用户提供服务
业务分析师
数据科学家
数据管家
IT开发人员
关键能力
数据搜索
排序推荐
被动响应推荐排序
主动管理推荐排序
数据样例
资产/用户画像
人人都是分析师
服务+自助
数据分析消费周期极大缩短
发挥业务运营主观能动性
减少“烟囱式系统”的重复建设
业务自助分析的关键能力
三类角色的分析架构能力
业务分析师
提供自助分析能力，业务人员通过“拖拉拽”即可快速产生分析报告
数据科学家
提供高效的数据接入能力和常用的数据分析组建，快速搭建数据探索和分析环境
IT开发人员
提供云端数据开发、计算、分析、应用套件，支撑海量数据的分析与可视化，实现组件重用
以租户为核心的自助分析关键能力
多住户管理能力
数据加工能力
数据分析能力
自助分享能力
数据赋能业务运营
数字化运营
核心
数据，基于数据的精细化管理和科学决策分析
目的
不应只有察，还应该进一步实现打
能力
战略落地
业务可视化
预测预警
作业指挥
跨领域问题解决
联动指挥
三个要点
发育
激励
分享
两个基础
数据服务
IT平台
数据消费典型场景实践
5个步骤管理从需求到自助分析的过程
业务需求提出
需求描述
需求范围明确
数据解析
报告数据识别
分析报告模型设计
数据搜索和获取
数据搜索
数据获取
数据服务提供
数据入湖
数据主题链接资产设计
数据服务开发落地
测试验证
数据资产注册
数据授权
自助报告设计和展示
报告展示设计