导图社区 《华为数据之道》笔记
- 203
- 0
- 0
- 举报
《华为数据之道》笔记
从技术、流程、管理等多个维度系统讲解华为数据治理和数字化转型的著作。《华为数据之道》是一本对数据领域非常有价值的读物，对于想要了解华为数字化转型经验和实践的人来说，是一本必读的书籍。
编辑于2024-05-01 12:29:36- 相似推荐
- 大纲
序
序一
“业务三问”
1.数字化转型到底要解决客户的什么问题？用户到底需要什么？用户和客户关心的问题在哪？ 2.业务战略到底要解决业务的什么问题？ 3.变革是否有一个好的规划和持续的架构？
“行动三问”
1.企业应客观评估自身现有的数字化水平，搞明白“我是谁”？ 2.企业应了解本行业的数字化发展脉络，搞清楚数字化“从哪里来”？ 3.企业应统一数字化转型的愿景和战略目标，知道在数字化这条路要“到哪里去”？
《华为数字化转型》
“数字世界”
“数字世界”是对业务对象、业务过程和业务规则的数字化，构建一个实现感知、联接和智能的数据平台： 1.感知是物理世界与数字世界之间形成完整且有效的映射； 2.联接是把各种离散的数据相互联系成有机整体； 3.智能是在这个基础上加入一些大数据和高级模型算法。
第一部分
第1章 数据驱动的企业数字化转型
非数字原生企业的挑战
精益管理技术下的不合格产品的“小数据”，让制造业AI难以基于这样的数据量训练出性能良好的产品质检模型，同样说明非数字原生企业的数字化转型不可能是对数字原生企业的简单复制。
1.业态特征：产业链条长、多业态并存
这在某种程度上造成了各条块分割、业务组织强势、变革困难、变革复杂度极高等问题。
2.运营环境：数据交互和共享风险高
3.IT建设过程：数据复杂、历史包袱重
4.数据质量：数据可信和一致化的要求程度高
华为数字化转型与治理
数字化转型归根结底是要解决企业的两大难题：成本和效率，并围绕“多打粮食，增加土地肥力”而开展。
1.整体目标
“实现全联接的智能华为，成为行业标杆”的数字化转型目标： 1.对内，各业务领域数字化、服务化，打通跨领域的信息断点，达到领先于行业的运营效率。 2.对外，对准5类用户的ROADS（实时、按需、全在线、服务自助和社交化）体验，实现与客户做生意更简单、更高效、更安全，提升客户满意度。
2.数据治理原则
1.基于统一的数据管理规则，确保数据源头质量以及数据入湖，形成清洁、完整、一致的数据湖，这是华为数字化转型的基础。 2.业务与数据双驱动，加强数据联接建设，并能够以数据服务方式，灵活满足业务自助式的数据消费诉求。 3.针对汇聚的海量内外部数据，能够确保数据安全合规。 4.不断完善业务对象、过程和规则数字化，提升数据自动采集能力，减少人工录入。
3.数据工作框架
数据源
数据湖
数据主题联接
数据消费
数据治理
第2章 建立企业级数据综合治理体系
华为数据治理体系框架
主数据在交易打通
维度数据在报告打通
建立公司级的数据治理政策
华为数据管理总纲
1.信息架构管理原则
1.建立企业级信息架构，统一数据语言。 2.所有变革项目须遵从数据管控要求。对于不遵从数据管控要求的变革项目，数据管控组织拥有一票否决权。 3.应用系统设计和开发应遵从企业级信息架构。关键应用系统必须通过应用系统认证。
2.数据产生管理原则
1.关键数据须定义单一数据源，一点录入，多点调用。数据质量问题应在源头解决。 2.谁产生数据，谁对数据质量负责。数据Owner负责基于使用要求制定数据质量标准，且须征得关键使用部门的同意。
3.数据应用管理原则
1.数据应在满足信息安全的前提下充分共享，数据产生部门不得拒绝跨领域的、合理的数据共享需求。 2.信息披露、数据安全管理、数据保管和个人数据隐私保护等必须遵守法律法规和道德规范的要求。
4.数据问责与奖惩管理原则
各数据Owner应建立数据问题回溯和奖惩机制，对不遵从信息架构或存在严重数据质量问题的责任人进行问责。
信息架构管理政策
1.管理信息架构的角色与职责
2.信息架构的建设要求
1.关键数据应被识别、分类、定义及标准化，数据的定义在公司范围内应唯一，数据标准制定要考虑跨流程要求。 2.数据资产目录必须承接公司各业务环节的使用需求和报告分析最小粒度的要求。 3.信息架构驱动应用架构设计，合理规划数据分布。 4.应用系统数据库的设计和开发要遵循信息架构，减少数据冗余，实现接口标准化。
3.信息架构遵从管控
1.变革项目必须遵从已发布的信息架构，变革项目的交付件须包含信息架构内容。对现有架构的遵从是关键评审要素，对于不满足要求的变革项目，数据管控组织拥有一票否决权。 2.业务流程设计必须遵从已发布的信息架构，在流程说明文件、操作指导书或模板类文件中体现。对于不满足要求的流程，不予发布。 3.应用系统设计必须遵从已发布的信息架构。在应用架构交付件和应用系统设计交付件中体现。对于不满足要求的应用系统，不予上线。
变革项目必须遵从已发布的信息架构， 变革项目的交付件须包含信息架构内容。 对现有架构的遵从是关键评审要素。
业务流程设计必须遵从已发布的信息架构， 在流程说明文件、操作指导书或模板类文件中体现。
应用系统设计必须遵从已发布的信息架构。 在应用架构交付件和应用系统设计交付件中体现。 对于不满足要求的应用系统，不予上线。
数据源管理政策
数据同源是华为数据治理的核心观点之一。数据源是指业务上首次正式发布某项数据的应用系统，经过数据专业组织认证，作为唯一数据源头被周边系统调用。本政策通过明确华为公司在数据源建设和数据源使用方面的总体原则和要求，确保数据源头的统一，以及跨流程、跨系统数据的唯一性和一致性。
1.数据源管理原则
1.所有关键数据必须认证数据源。关键数据是指影响公司经营、运营报告的数据，在公司范围内统一发布。 2.数据管理专业组织为关键数据指定源头，数据源必须遵从信息架构和标准，经信息架构专家委员会认证后成为数据源。 3.所有关键数据仅能在数据源录入、修改，全流程共享，其他调用系统不能修改。下游环节发现的数据源质量问题，应当在数据源进行修正。 4.所有应用系统必须从数据源或数据镜像获取关键数据。 5.数据Owner确保数据源的数据质量，对不符合数据质量标准的数据源，必须限期整改。
2.数据源认证标准
数据的源头通过认证成为数据源，在遵从公司相关政策和规定的前提下，还必须符合以下标准。 1.数据源是在信息链上正式发布数据的第一个数据存储系统。 2.数据源是某项数据的唯一的录入点。 3.数据源必须是数据维护最为及时、正确、完整的数据存储系统。 4.数据源所在系统的性能和可用性应当满足其他调用系统的数据访问需求。
关键数据
关键数据是指影响公司经营、 运营报告的数据， 在公司范围内统一发布
数据质量管理政策
1.数据质量管理职责及要求
1.各数据Owner负责保障所辖数据的质量，承接公司数据Owner设定的数据质量目标，制定数据质量标准及测评指标，持续度量与改进。 2.公司全员在业务执行的过程中应确保业务记录满足数据质量要求。 3.财经各级CFO组织应遵循职业道德准则，诚实记录和报告财经数据，承担财务监控和及时报告责任。 4.公司各级数据管理专业组织为数据Owner提供数据质量管理专业支撑。 5.内控组织应将数据质量管控要素的执行情况纳入SACA（半年度控制评估）评估范围，推动数据质量问题的闭环管理。 6.内审部门作为独立机构，负责重大数据问题的审计和责任回溯。
2.数据质量管理的业务规则 和管理要求
1.流程建设应考虑数据质量要求，将数据的关键质量控制要素纳入关键控制点。 2.数据Owner负责基于使用要求制定数据质量标准，且须征得关键使用部门的同意。 3.数据创建应确保录入正确，关键数据应进行复核或审批。录入、复核和审批人员应掌握数据质量要求才能上岗。 4.对影响关键经营指标的数据造假行为采取零容忍态度。 5.上游环节应保证数据的真实、完整并及时传递到下游环节。下游环节为核实数据质量问题可调阅所需的上游环节的数据。 6.因外部原因频繁变化的基础数据，数据Owner应及时维护并统一发布最新数据，各环节应适时刷新或引用。 7.数据质量应持续进行度量。数据Owner应主动解决长期影响业务运营和经营管理的数据问题。 8.报告与分析的层级和最小粒度应适度，能与最小业务信息单元相匹配。数据加工规则应相对稳定，报告加工过程可检视，数据可回溯、可解释。
数据质量持续提升
华为数据治理的核心目标
融入变革、运营与IT的数据治理
变革和改进项目
业务解决方案
数据解决方案
管理信息架构
管理数据质量
管理数据分析
数据治理
IT解决方案
通过内控体系赋能数据治理
建立业务负责制的数据管理责任体系
任命数据Owner和数据管家
建立公司层面的数据管理组织
华为数据全生命周期治理规范与方案
数据产生
数据整合与数据服务
数据搜索
数据分析
价值流
第3章 差异化的企业数据分类管理框架
基于数据特性的分类管理框架
数据分类定义及特征描述
以统一语言为核心的结构化数据管理
结构化数据的共同特点是以信息架构为基础，建立统一的数据资产目录、数据标准与模型。
1.基础数据治理
基础数据的管理重点在于变更管理和统一标准管控
基础数据治理框架
2.主数据治理
主数据最重要的管理要求是确保同源多用和重点进行数据内容的校验。 鉴于主数据管理的重要性，对于每个重要的主数据，都会发布相应的管理规范，数据管家依据数据质量标准定期进行数据质量的度量与改进。
主数据管理策略
1.唯一性，主数据应代表企业中的某个业务对象的唯一实例，以对应真实世界的对象。重复创建实例将导致数据的不一致，进而给业务流程和报告带来问题。 2.联邦管控，联邦管控模式代表在中央制定政策、标准和模型，在地方由数据管家和用户一起在流程的各个层级中来实现这些政策、标准和模型。 3.单一数据源，为确保数据跨系统、跨流程的唯一性和一致性，需要为每个属性的创建、更新和读取确定一个应用系统作为数据源。 4.数据、流程、IT协同，正确的数据需要在正确的流程中创建、更新和使用，并在正确的应用系统重落地，这种协同将确保全公司范围内的数据质量。 5.事前的数据质量策略，应该在数据创建阶段就主动管理数据质量，而非在问题出现后被动解决。
3.事务数据治理
事务数据的治理重点是管理好事务数据对主数据和基础数据的调用，以及事务数据之间的关联关系，确保上下游信息传递顺畅。
4.报告数据治理
5.观测数据治理
观测数据是观测工具采集回来的原始数据（Raw Data)，仅转换结构和格式，不做任何业务规则解析。 观测数据需要记录观测工具、观测对象。针对不同感知方式获取的观测数据，其资产管理方案也不尽相同。
6.规则数据治理
基本原则
1.规则数据的管理是为了支撑业务规范的结构化、信息化、数字化，目标是实现规则的可配置、可视化、可追溯。 2.不同于标准化的信息架构管理，规则数据的管理具有轻量级、分级的特点。重要的、调用量大、变动频繁的业务规则需要通过规则数据管理，使其从代码中解耦，进行资产注册；使用广泛的、有分析需求的规则数据需要经过注册入湖，实现共享和复用。 3.业务规则在架构层次上与流程中的业务活动相关联，是业务活动的指导和依据，业务活动的结果通过该业务活动的相关业务对象的属性来记录。业务规则通过业务活动对业务事实、业务行为进行限制，业务人员可以根据业务规则判断业务情况，采取具体行动。 4.业务规则包含规则变量和变量之间的关系，规则数据主要描述规则的变量部分，是支撑业务规则的核心数据。
以特征提取为核心的非结构化数据管理
非结构化数据的治理核心是对其基本特征与内容进行提取，并通过元数据落地来开展的。 非结构化数据的元数据管理采用统分统管的原则，即基本特征类属性由公司进行统一管理，内容增强类属性由相关数据分析工作的项目组自行设计，但其分析结果都应由公司元数据管理平台自动采集后进行统一存储。
1.基本特征类元数据流
元数据管理平台基于收集到的各类非结构化数据源信息，自动完成基础特征类元数据的采集工作，按照管理规范和要求通过标准化、整合后存储在元数据管理平台中，并在完成元数据过滤、排序后将结果在元数据报告中进行可视化展示，以供用户消费使用。
2.内容增强类元数据流
基于元数据管理平台中基本特征类元数据的信息，各数据分析项目组解析目标非结构化对象的数据内容，并将分析结果通过元数据采集、元数据标准化、整合后统一存放在元数据管理平台中，以供用户一并消费使用，增强用户体验。
以确保合规遵从为核心的外部数据管理
基本原则
1.合规优先原则：遵从法律法规、采购合同、客户授权、公司信息安全与公司隐私保护政策等相关规定。 2.责任明确原则：所有引入的外部数据都要有明确的管理责任主任，承担数据引入方式、数据安全要求、数据隐私要求、数据共享范围、数据使用授权、数据质量监管、数据退出销毁等责任。 3.有效流动原则：使用方优先使用公司已有数据资产，避免重复采购、重复建设。 4.可审计、可追溯原则：控制访问权限，留存访问日志，做到外部数据使用有记录、可审计、可追溯。 5.受控审批原则：在授权范围内，外部数据管理责任主体应合理审批使用方的数据获取要求。 在以上原则指导下，我们要求所有采购的外部数据要注册，在合规的前提下鼓励数据共享，避免重复采购。其它方式引入的外部数据，由管理责任主体决定登记方式。根据法律条款和授权范围，外部数据管理责任主体有权决定外部数据是否入湖，如果需要入数据湖，必须遵从数据湖建设相应的流程和规范。同时，外部数据管理责任主体有义务告知使用方合规使用外部数据，对于不合规的使用场景，不予授权；数据使用方要遵从外部数据管理责任主体的要求，对不遵从要求所引起的后果承担责任。
作用于数据价值流的元数据管理
元数据治理面临的挑战
无论结构化数据，还是非结构化数据，或者外部数据，最终都会通过元数据治理落地。 注：元数据是描述数据的数据，用于打破业务和IT之间的语言障碍，帮助业务更好地理解数据。元数据通常分为业务、技术和操作三类。 华为在进行元数据治理以前，遇到的元数据问题主要表现为数据找不到、读不懂、不可信，数据分析师们往往会陷入数据沼泽中。其根本原因就在于业务元数据与技术元数据未打通。导致业务读不懂IT系统中的数据。并且缺乏面向普通业务人员的准确、高效的数据搜索工具，业务人员无法快速获取可信数据。 确保数据“入湖有依据，出湖可检索”成为华为元数据管理的使命与目标。
元数据管理架构及策略
1.产生元数据
制定元数据管理相关流程与规范的落地方案，在IT产品开发过程中实现业务元数据与技术元数据的连接。
2.采集元数据
通过统一的元模型从各类IT系统中自动采集元数据。
3.注册元数据
基于增量与存量两种场景，制定元数据注册方法，完成底座元数据注册工作。
4.运维元数据
打造公司元数据中心，管理元数据产生、采集、注册的全过程，实现元数据运维。
5.元数据管理方案
通过制定元数据标准、规范、平台与管控机制，建立企业级元数据管理体系，并推动其在公司各领域落地，支撑数据底座建设与数字化运营。
元数据管理
产生元数据
定义元数据模型
明确业务、技术、操作元数据的设计原则
设计数据资产编码规范
采集元数据
1.选择适配器
2.配置数据源
3.配置采集任务
注册元数据
元数据注册原则
1.数据Owner负责，是谁的数据就由谁负责业务元数据和技术元数据连接关系的建设和注册发布； 2.按需注册，各领域数据管理部根据数据搜索、共享的需求，推进元数据注册； 3.注册的元数据的信息安全密级为内部公开。
元数据注册规范
1.准备度评估
2.元数据连接
3.注册发布
元数据注册方法
增量场景
存量场景
1.一对一模式
2.主从模式
3.主扩模式
4.父子模式
元数据运维
运维元数据是为了通过对元数据进行分析，发现数据注册、设计、使用的现状及问题，确保元数据的完整、准确。通过数据资产分析，了解各区域/领域的数据注册情况，进而发现数据在各信息系统使用过程中存在的问题。通过业务元数据与技术元数据的关联分析，反向校验架构设计与落地的实施情况，检查公司数据管理政策的执行情况。
第二部分
第4章 面向“业务交易”的信息架构建设
信息架构的四个组件
华为的企业级信息架构是指以结构化的方式描述在业务运作和管理决策中所需要的各类信息及其关系的一套整体组件规范，包括数据资产目录、数据标准、企业级数据模型和数据分布四个组件。
1.数据资产目录
L1主题域分组
采用业务管理边界划分方式，即将L1主题域分组与流程架构L1相匹配，数据资产和华为业务GPO（全球流程责任人）相匹配，有利于更好地推进各项数据工作。
L2主题域
互不重叠的数据分类，管辖一组密切相关的业务对象，通常同一个主题域有相同的数据Owner。
L3业务对象
信息架构的核心层，用于定义业务领域重要的人、事、物，架构建设和治理主要围绕业务对象开展。同时，在企业架构（EA）的范畴内，信息架构（IA)也主要通过业务对象实现与业务架构(BA)、应用架构（AA)、技术架构（TA)的架构集成。
L4逻辑数据实体
描述一个业务对象在某方面特征的一组属性集合。
L5属性
信息架构的最小颗粒，用于客观描述业务对象在某方面的性质和特征。
2.数据标准
数据标准定义公司层面需共同遵守的属性层数据含义和业务原则，是公司层面对某个数据的共同理解，这些理解一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 华为公司对业务数据标准有严格的限定，每个数据标准应该覆盖以下三方面： 1.业务视角要求：用于统一业务侧语言和理解，明确定义每个属性所遵从的业务定义和用途、业务规则、同义词，并对名称进行统一定义，避免重复。 2.技术视角要求：对IT实施形成必要的指引和约束，包括数据类型、长度，如果存在多个允许值，则应对每个允许值进行明确的限定。 3.明确各业务部门在贯彻数据标准管理方面应承担的责任，包括业务规则责任主体、数据维护责任主体、数据监控责任主体，因为很多情况下这些责任并不是由一个业务部门来负责，所以必须在标准制定时就约定清楚。 但是，企业的每个业务数据标准的定义和维护都需要一定的成本，很多大型企业的IT系统中可能存在上百万、上千万属性，即使去掉冗余、重复的部分，数据量也非常大，因此其实并不需要对IT系统内所有字段都进行定义。为了实现在统一定义的必要性和成本之间取得平衡，华为公司制定了数据标准规范，明确了在不同情况下哪些数据应该制订统一的标准。 1.描述业务对象的特有属性应作为本业务对象的属性进行定义，并明确业务数据标准。 2.引用其他业务对象的属性，如果属性值可随本业务对象确定和更改，就应作为本业务对象的属性进行定义，并明确业务数据标准。 3.引用其他业务对象的属性，如果属性值取自引用业务对象相应时点的数值且后续不变更，就应纳入本业务对象的数据标准范围，并明确相应取值规则。 4.引用其他业务对象的属性，如果属性值与引用业务对象同步，就不需要重新定义数据标准。 5.引用其他业务对象/逻辑数据实体的身份标识属性，应作为业务对象的属性进行定义，但只能在业务数据标准中定义出处及引用规则，而不允许修改或重新定义该属性本身的业务含义及业务规则。
3.数据模型
数据模型是从数据视角对现实世界特征的模拟和抽象，根据业务需求抽取信息的主要特征，反应业务信息（对象）之间的关联关系。
4.数据分布
数据分布定义了数据产生的源头及在各流程和IT系统间的流动情况。 数据分布组件的核心是数据源，指业务上首次正式发布某项数据的应用系统，并经过数据管理专业组织认证，作为企业范围内唯一数据源头被周边系统调用。为了更好的识别、管理数据在流程和IT系统间的流动，可以通过信息链、数据流来进行描述，体现某一数据在流程或应用系统中是如何被创建、读取、更新、删除的。
信息架构原则： 建立企业层面的共同行为准则
华为首先确定了“数据同源一致”的治理目标，围绕目标的实现，制定了五条架构原则。各业务领域和变革项目应按照架构原则设计其信息架构，并由EAC（企业架构委员会）、IA-SAG（信息架构专家组）指导和监督各领域落实企业架构原则，在一套规则的约束下，共同建设一个企业级的信息架构。
原则1：数据按对象处理，明确数据Owner
原则2：从企业视角定义信息架构
原则3：遵从公司的数据分类管理框架
原则4：业务对象结构化、数字化
原则5：数据服务化，同源共享
信息架构建设核心要素： 基于业务对象进行设计和落地
按业务对象进行架构设计
在进行信息架构设计时，架构师、业务代表、数据Owner通常会对业务对象的判定存在理解上的偏差，从而产生争议。数据治理部门需要制定一套确定性的规则，通过确定性的规则促进形成稳定的架构。
原则1：业务对象是指企业运作和管理中 不可缺少的重要人、事、物
原则2：业务对象有唯一身份标识信息
原则3：业务对象相对独立并有属性描述
原则4：业务对象可实例化
按业务对象进行架构落地
为了确保架构在落地过程中“不走形”，要控制好两个关键点：一个是概念模型与逻辑模型的一致性，主要通过逻辑数据实体的设计管理来实现；另一个是逻辑模型与物理模型的一致性，主要通过一体化建模管理来实现。
1.逻辑数据实体设计
2.一体化建模管理
传统信息架构向业务数字化扩展： 对象、过程、规则
1.对象数字化
2.过程数字化
3.规则数字化
小结
在企业数字化转型过程中，企业信息架构的定位、内涵和管理方式都在不断的演进。信息架构的定位发生了根本性的变化，不再是对准IT功能或实现，而是对准整个企业的业务管理目标。
第5章 面向“联接共享”的数据底座建设
支撑非数字原生企业数字化转型的 数据底座建设框架
1.数据底座的总体架构
华为数据底座总体架构
2.数据底座的建设策略
数据底座建设不能一蹴而就，要从业务出发，因势利导，持续进行。具体来说，华为数据底座采取“统筹推动、以用促建、急用先行”的建设策略，根据公司数字化运营的需要，由公司数据管理部统一规划，各领域分别建设，以满足本领域和跨领域的数据需求。
数据安全原则
需求、规划双轮驱动原则
数据供应多场景原则
信息架构遵从原则
数据湖： 实现企业数据的“逻辑汇聚”
1.华为数据湖的三个特点
1.逻辑统一
2.类型多样
3.原始记录
2.数据入湖的6个标准
1.明确数据Owner
2.发布数据标准
3.认证数据源
4.定义数据密级
5.数据质量评估
6.元数据注册
3.数据入湖方式
5种数据入湖方式对比
4.结构化数据入湖
1.数据入湖需求分析及管理
2.检查数据入湖条件 和评估入湖标准
检查数据源准备度
评估入湖标准
3.实施数据入湖
4.注册元数据
5.非结构化数据入湖
1.基本特征元数据入湖
2.文件解析内容入湖
3.文件关系入湖
4.原始文件入湖
数据主题联结： 将数据转换为“信息”
5类数据主题联接的应用场景
5类数据主题联接
1.多维模型设计
1.确定业务场景
2.声明粒度
3.维度设计
单一性
单向性
正交性
4.事实表设计
2.图模型设计
1.业务场景定义
2.信息收集
3.图建模
4.实体、概念、属性、关系的标注
5.实体和概念的识别
3.标签设计
标签体系建设
事实标签
规则标签
模型标签
打标签
4.指标设计
解读指标定义，识别指标
基于指标叠加公式拆解指标
基于指标拆解结果，识别指标数据
数据匹配落地
5.算法模型设计
需求评估
业务驱动的分析需求识别
数据驱动的分析需求识别
价值与可行性评估
数据准备
方案设计
建模与验证
1.决定是否需要分析建模
2.建模与验证
3.试算分析
4.编写数据分析线下验证报告
5.决定是否需要IT开发
6.模型线上验证
7.转运营
小结
企业数据治理的最终目的是让数据更有效地服务与业务目标，创造价值。对于非数字原生企业，数字化转型的关键在于打通数据供应链，通过理解业务、识别数据资产、建设数据架构来推动组织间的共享和协作，标识安全隐私标签，从源头提升数据质量，并通过数据底座建设构建数据湖和数据主题联接两层，形成数据的逻辑集合，为业务可视化、分析、决策等数据消费提供数据服务，为企业数据成为能为业务带来价值的数据资产。
第6章 面向“自助消费”的数据服务建设
数据服务： 实现数据自助、高效、复用
可供应性
1.什么是数据服务
数据服务给企业带来的价值
数据服务建设策略
要构建统一的数据服务能力中心，负责数据服务建设方法、规范、流程的落地，数据服务不同于传统集成方式，因此应该有统一的平台提供能力保障，使所有的数据服务建设都遵循统一的标准。 1.数据服务要满足可重用性、减少数据“搬家”。 2.服务提供方在规划服务时应明确服务的用户是谁，并针对用户的场景和需求进行服务设计，同时定义SLA服务水平承诺。 3.应用只能通过服务接口向其他应用开放其数据和功能，服务接口要稳定，应用间的通信也必须通过这些服务接口进行。 4.所有的服务需在统一的服务管控平台中进行注册和发布。 5.应根据不同场景选择合适的服务化架构粒度。
2.数据服务全生命周期管理
1.数据服务的识别与定义
1.分析数据服务需求
2.识别可重用性
3.判断准入条件
4.制定迭代计划
2.数据服务的设计与实现
设计
1.定义服务契约和数据契约； 2.强调数据服务的颗粒度。
实现
1.服务需求接受与管理
2.构建自助式开发平台
3.代码自动审查
4.数据自动验证
5.功能自动测试
6.服务部署
3.数据服务的变更与下架
3.数据服务分类与建设规范
数据集服务
数据API服务
4.打造数据供应的“三个1”
数据服务供应SLA
构建以用户体验为核心的 数据地图
可搜索/可获取性
人人都是分析师
可分析
“服务+自助”
针对三类角色提供的差异性服务
1.面向业务分析师，提供自助分析能力，业务人员通过“拖、拉、拽”即可快速产生分析报告。 2.面向数据科学家，提供高效的数据接入能力和常用的数据分析组件，快速搭建数据探索和分析环境。 3.面向IT开发人员，提供云端数据开发、计算、分析、应用套件，支撑海量数据的分析与可视化，实现组件重用。
以租户为核心的自助分析关键能力
从结果管理到过程管理， 从能“看”到能“管”
数据赋能业务运营
1.满足业务运营中数据实时可视化的需求。 2.满足业务运营中及时诊断预警的需求。 3.满足业务运营中复杂智能决策的需求。
数字化运营的“三个要点、两个基础”
“三个要点”是指数字化运营中的“发育、激励、分享”。 “两个基础”是指数字化运营中的“数据服务和IT平台”。
第三部分
第7章 打造“数字孪生”的数据全量感知能力
“全量、无接触”的数据感知能力框架
“硬感知”
1.条形码与二维码
2.磁卡
3.RFID(NFC）
4.OCR和ICR
成熟的解决方案
5.图像数据采集
6.音频数据采集
成熟的解决方案
7.传感器数据采集
8.工业设备数据采集
“软感知”
埋点
日志数据采集
网络爬虫
通过感知能力推进企业业务数字化
考虑到物理对象的维度和可能得数量，构建一个全量感知的企业数字孪生的成本可能相当惊人。所以一个成功的数字化转型项目要构建的感知规模一定要面向应用，由业务价值驱动。非数字原生企业不可能构建物理对象100%的镜像数字孪生，也完全没必要这么做。每个数字孪生实际上只是对象的最有业务价值的一个或几个方面的数字模型，我们只需利用适当的技术满足特定的业务目标，优化回报，分阶段利用感知获取的数据创造价值，同时最大限度的降低成本，逐步完成全量的数据感知能力，打造“孪生”的数字世界。
第8章 打造“清洁数据”的质量综合管理能力
数据质量不是追求100%，而是从数据使用者的角度定义，满足业务、用户需要的数据即为“好”数据。
数据质量管理框架
数据质量管理以数据清洁为目标，以业务需求为驱动，通过PDCA的循环，提升数据质量，达到数据质量结果满意。领导力模块通过制定政策、规范来构建数据质量管理机制，对数据质量的工作起牵引作用。能力保障模块构建完整的数据组织、流程和工具，起到支撑作用。
全面监控企业业务异常数据
通过数据质量综合水平牵引质量提升
第9章 打造“安全合规”的数据可控共享能力
构建以元数据为基础的安全隐私保护框架
分类分级
“静”“动”结合的数据保护与授权管理
静态控制
存储保护
访问控制
可追溯
动态控制
数据授权管理
数据权限管理
第四部分
第10章 未来已来：数据成为企业核心竞争力
数据：新的生产要素
数据被列为生产要素
数据将进入企业的资产负债表
除了要发挥数据的价值之外，还要关注数据的主权与定价。
数据资产的价值由市场决定
数据的交易、定价、主权保护、收益分配等方面也还存在很多理论空白。
大规模数据交互的企业数据生态
数据生态离不开底层技术的支撑
数据主权是数据安全交换的核心
国际数据空间的目标与原则
多方安全计算强化数据主权
联邦学习
摆脱传统手段的数据管理方式
智能数据管理是数据工作的未来
内容级分析能力提供资产全景图
属性特征启发主外键智能联接
质量缺陷预发现
算法助力数据管理
数字道德抵御算法歧视
第四个世界：机器认知世界
人类认知世界
人类认知世界带有明显的个体差异性，人类个体的认知能力取决于其知识、智慧和经验，其认知能力和认知视角的差异正是形成企业“数据孤岛”的根本原因。本书前面谈到的数据治理，其核心就是在一个企业内部对如何描述业务的数据语言形成统一的认知，遵守统一的原则，达成一定的共识，这样就可以大幅降低企业的数据处理成本，提升交流沟通效率，促进对未知事物的认知。
数字世界
机器认知世界
机器认知世界，即基于大量数据，各种人工智能“机器”按照各自的算法对映射到数字世界中的事物进行认知，其认知结论会直接影响人类的决策和行动。
对于企业来说，未来的常态是基于各种人工智能的算法，做出一系列的决策和行动。企业的运作成功与否将在很大程度上取决于对“数字世界”和“机器认知世界”的治理和管理水平。
出版
机械工业出版社
2020.10
作者
华为公司数据管理部