导图社区 数据中台
数据中台的功能设计，适合数据产品经理使用，可以全面了解数据中台的架构、功能、应用和价值。
梳理芯片制造、消费电子、稀土行业的上市公司。通过简洁明了的方式，全面概述了多个关键点和相关概念，为相关领域的研究者、投资者或从业者提供了宝贵的参考信息。
银行数据治理的框架，银行数据治理是一个全面且复杂的过程，旨在确保银行数据的准确性、完整性、一致性和安全性，从而提升数据的可用性和价值。以下是对银行数据治理的详细概述，包括其目标、治理现状、数据应用、平台工具、外部数据、治理机制等内容。
《指数基金投资指南》读书笔记，干货满满，快速学习指数基金及投资策略，快来看看吧！
社区模板帮助中心，点此进入>>
商家数智
数据中台核心4要素思维导图
数字蝶变：企业数字化转型之道
林长制责任网格子系统解构思维导图
数据规划
B端系统
宜信数据中台
数据产品经理宝典
数据中台
数字化时代的产业重塑
概述
概念
缺乏大数据平台
优势
基本能力
建设指导方针
组件工具化
工具平台化
平台服务化
平台产品化
建设路径
业务数据化
数据资产
数据资产管理
平台功能
集成开发环境门户建设
数据采集、传输、交换、同步服务
工作流（作业）调度系统
数据可视化平台
数据质量管理
安全与权限管理
用户画像
数仓分层
ODS（Operational Data Store） 贴源数据层，又称操作数据层
对各业务系统数据进行采集、汇聚，尽可能保留原始业务流程数据，与业务系统基本保持一致，仅做简单整合、非结构化数据结构化处理或者增加标识数据日期描述信息，不做深度清洗加工。
DW（Data Warehouse） 统一数仓层
对来源于业务系统的数据进行重新组织。业务系统是按照业务流程方便操作的方式来组织数据的，而统一数仓层从业务易理解的视角来重新组织，定义一致的指标、维度，各业务板块、业务域按照统一规范独立建设，从而形成统一规范的标准业务数据体系。
DWD（Data Warehouse Detail）
DWS（Data Warehouse Summary）
TDM（Tag Data Model） 标签数据层
面向对象建模，对跨业务板块、跨数据域的特定对象数据进行整合，通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通，形成对象的全域标签体系，方便深度分析、挖掘、应用。
ADS（Application Data Store） 应用数据层
按照业务的需要从统一数仓层、标签数据层抽取数据，并面向业务的特殊需要加工业务特定数据，以满足业务及性能需求，向特定应用组装应用数据。
指标体系
用户主题
基本信息
风险信息
设备主题
设备指纹
标签数据存储
数仓建模
事实表
事务事实表
用于描述业务过程，按业务过程的单一性或多业务过程可进一步分为单事务事实表和多事务事实表。其中单事务事实表分别记录每个业务过程，如下单业务记入下单事实表，支付业务记入支付事实表。多事务事实表在同一个表中包含了不同业务过程，如下单、支付、签收等业务过程记录在一张表中，通过新增字段来判断属于哪一个业务过程。当不同业务过程有着相似性时可考虑将多业务过程放到多事务事实表中。
单事务事实表
多事务事实表
周期快照事实表
在一个确定的时间间隔内对业务状态进行度量。例如查看一个用户的近1年付款金额、近1年购物次数、近30日登录天数等。
累计快照事实表
用于查看不同事件之间的时间间隔，例如分析用户从购买到支付的时长、从下单到订单完结的时长等。一般适用于有明确时间周期的业务过程。
维度表
缓慢变化维
缓慢变化维是在维表设计中常见的一种方式，维度并不是不变的，随时间也会发生缓慢变化。如用户的手机号、邮箱等信息可能会随用户的状态变化而改变，再如商品的价格也会随时间变化而调整上架的价格。
重写维度值，对历史数据进行覆盖
保留多条记录，通过插入维度列字段加以区分
开发日期分区表，每日分区数据记录当日维度的属性
开发拉链表按时间变化进行全量存储等方式进行处理
ID-Mapping
把用户不同来源的身份标识通过数据手段识别为同一个主体。用户的属性、行为相关数据分散在不同的数据来源中，通过ID-MApping能够把用户在不同场景下的行为串联起来，消除数据孤岛。
标签开发
标签类型
统计类
规则类
数据挖掘
开发方式
离线标签开发
在线类标签开发
标签权重计算
TF-IDF
时间衰减系数
标签权重配置
组合标签计算
性能调优
数据倾斜
合并小文件
缓存中间数据
开发中间表
数据应用
即时查询
数据分析师
通过sql查询
标签视图与标签查询
业务人员
系统操作
元数据管理
数据开发人员
圈人服务
分析服务
业务人员、分析师、产品经理
BI服务
可视化、拖拉拽、上钻、下钻、切片等
多维分析
商品、用户、渠道、人群特征、词云
分析方法
AARRR、漏斗、RFM、生命周期CLV、客群迁移
报表服务
经营
客户
质效
体验
驾驶舱
仪表盘展示
报表周期
精准营销
触达服务
短信、邮件、电话、app推送
营销方式
实时营销
批量营销
个性化推荐
商品
营销策略
营销话术
A/B测试
效果分析
风控预警
技术栈
HDFS
Hadoop Distributed File System
存储技术
MySql
Hive
HBase
Elasticsearch
Spark Graph X
RAID
参考资料
《大数据平台基础架构指南》刘旭辉
《数据中台-让数据用起来》
《用户画像-方法论语工程化解决方案》
