医疗数据中台

这是一篇关于医疗场景下数据中台建设思维导图，包含需求/目的、能力分解、相关团队、 未来展望等内容。

数据中台体系

• 需求/目的
  • 数据集成
    • 数据可用性增强
      • 汇集、理解、整合映射多源异构数据，打通数据孤岛
      • 基于业务逻辑交叉验证、补全数据
      • 提升数据丰富度
      • 数据高效易用的基础技术能力保证
    • 数据安全管理
      • 存储管理、分级权限管控、资源审计
      • 多方安全计算
    • 批流一体化
  • 数据可解释
    • 数据标准化
    • 数据质控体系
    • 数据血缘关系
  • 数据价值转化
    • 基于各维度数据分析提供行业洞察报告
    • 基于不同场景的数据应用
    • 跨部门、跨行业的数据业务能力
    • 数据挖掘、模型训练、疾病风险监测预警等
  • 能力复用
    • 数据处理能力抽象服务化
    • 一体机/私有化部署交付
• 能力分解
  • 数据计算引擎
    • 批
      • spark
      • map reduce
    • 流
      • spark streaming
      • flink
  • OLAP
    • Clickhouse
    • Druid
    • Hive
    • Impala
    • Kylin
    • Presto
    • Sparksql
  • 数据采集
    • 采集模式
      • 全量
      • 增量
      • 实时
    • 数据源类型
      • 关系型数据库
      • NoSql数据库
      • 基于http的服务(restful/webservice)
      • FTP
      • 离线文件
  • 数据存储服务/mq
    • hadoop
    • doris
    • TiDB
    • hbase
    • kafka
    • mongo
    • Mysql
    • 数据湖
  • 数据处理服务
    • 模型映射
      • 数据整合
      • 数据血缘
      • 数据分层
    • 数据清洗
      • 高效的执行性能
      • 可复用的处理能力
      • 透明的处理效果（线上/线下一致性）
    • 归一/结构化
      • 值域字典
      • nlp
      • 半结构化数据处理
        • html
        • xml
        • office文件
        • 其他特殊数据格式(如dcm文件)
    • 数据增强
      • 企业级患者索引
      • 患者就诊信息补全
      • 虚拟就诊/虚拟患者
    • ocr
  • 数据治理服务
    • 元数据管理
      • 数据源信息管理
      • 自有模型管理
      • 业务字典管理
      • 指标管理
    • 标准数据模型
      • 标化模型
      • 标化数据流
    • 非标数据模型
      • 定制化模型
      • 定制化数据流
    • 数据质控体系
    • 存储策略
    • 数据安全体系
      • 事务安全
      • 传输/订阅安全
        • 有限访问
          • 账号/ip限制
        • 登陆隔离
          • 机器隔离
        • 安全控制
          • 用户
          • ip
      • 数仓安全
      • 访问安全
        • 服务认证
        • 授权管理
      • 终端安全
  • 数据应用支撑
    • 医学知识
      • 科研业务
      • 专病业务
      • 数据标注
      • 前沿探索
    • 数据科学
      • 数据模型设计
      • 数据流程设计
      • 数据标准制定
      • 数据方案选型
    • 工程技术
      • 数据项目生产
      • 数据平台研发
      • 生产工具研发
      • 算法研发
    • 项目管理
      • 需求范围管理
      • 流程时间管理
      • 成本质量管理
      • 资源风险管理
• 相关团队
  • 基础架构
    • 大数据平台
    • 基础环境运维
    • 网络运维
  • 数据安全
    • 流程安全
    • 工具安全
    • 安全方案
  • 工具效能
    • 平台
      • 前端研发
      • 后端研发
    • 生产
      • 数据研发
      • 算法研发
  • 数据产品
    • 质量控制
    • 模型设计
    • 指标设计
  • 数据生产
    • 基础数据生产
    • 专病数据生产
    • 其他个性化数据生产
  • 项目交付管理
    • 项目经理
    • PMO
• 未来展望
  • 数据易用
  • 提高效能
  • 挖掘价值
  • 可拓展性
  • 。。。

标准数据生产流

• 需求接入
  • 需求调研
  • 数据调研
  • 产出需求MRD
• 数据接入
  • 数据恢复
  • 数据入hive
  • 数据验收
  • 多轮数据接入
  • 产出数据验收报告
• 数据生产
  • 业务数据映射
  • 清洗及数据增强
  • 数据按维度聚合
  • 各层数据质控及迭代
  • 产出各层数据及数据交付报告
• 产品测试及内部验收
  • 产品功能研发
    • 不依赖数据生产，但需在产品测试开始前完成初版
  • 功能测试
  • 产品侧数据测试
  • 迭代及验收
• 产品交付
• 专病数据生产流
  • 专病数据调研
  • 专病数据生产
  • 专病数据产品质控及迭代
  • 内部验收
  • 产品交付

智能工具

• 数据预处理
  • 数据加解密
  • 数据格式转换
  • 非标准前结构化需求
  • xml/html冗余数据剪枝
  • json展开
  • xpath提取
  • 字符串截取
• 模型映射
  • 实现方式sparksql+dsl
  • 执行性能优化
• 数据增强
  • 数据清洗
    • 单字段标准化清洗
      • 字段值域归一
        • 性别
        • 血型
        • 婚姻状态
        • 就诊类型
        • 就诊状态
        • 检查类型
        • 检查方法
        • 检查状态
        • 检验类型
        • 检验状态
        • 检验结果异常状态标识
        • 地址省市县区域字典及代码
        • ...
      • 字段格式标准化处理
        • 日期时间格式标准化
        • 年龄格式化
        • 全角半角统一转换
        • 加解密工具
    • 多字段联合计算
      • 根据多字段计算生成单字段
      • 根据单字段拆分生成多字段
      • 根据多字段数据情况交互补全
  • emoi
    • 根据患者信息和业务时间找vid
  • empi
    • 根据患者基本信息生成唯一psn
  • 归一/结构化
  • 行列转换
• 数据质控
  • 单字段质控规则
  • 多字段联合质控规则
  • 患者/就诊/疾病维度质控规则
  • 数据各维度分布情况
  • 数据同比/环比
• 基础数据生产
• 病历智能解析
  • 基于配置的文档解析
  • key自动发现及配置生成
  • 诊断文本拆分
  • 时间识别及提取
• 任务调度监控
• 血缘关系
• 转模快照
• 文件传输
• 效率提升
• 厂商数据字典
• 元数据管理
  • 模型管理
  • 字典管理
  • 场地信息管理
• 数据画像
  • 数据行列统计
  • 数据结构自动获取
  • 关联关系预测
  • 关联键自动获取
  • 原始数据质量报告
• 知识沉淀
• 数据导入
• 备份/恢复
  • oracle
  • mysql
  • sqlserver
  • sybase
  • db2
  • cache
  • ...
• 原始数据接入