数据治理实施步骤梳理

这是一篇关于数据治理实施步骤梳理的思维导图，主要包括：一、数据接入；二、数据编目；三、服务发布；四、服务申请；五、数据监控；六、数据质量管控。

• 一、数据接入
  • 梳理已接入数据的数据情况
    • 来源单位
    • 来源系统
    • 明确数据字段含义
      • 最好将共享库中字段加上注释
    • 判断数据所属分类
    • 更好的进行数据编目
    • 接入方式
      • 如果数据断了便于排查
    • 更新频率
      • 监控判断数据更新是否正常
    • 数据监控
    • 数据质量
      • 1、一般情况哪些字段基本为空
      • 2、正常情况哪些字段必须有值
      • 3、字段正常值大概在什么范围
      • 4、……其它与业务挂钩的方面
      • 数据质量管控
  • 参与数据对接及接入工作
    • 来源单位
    • 来源系统
    • 督导并完成数据字段注释
    • 判断数据所属分类
    • 为数据编目做准备
    • 接入方式
    • 原始数据更新频率
    • 数据监控
    • 原始数据的质量
  • 对接入数据进行数据分析，只有清楚了数据的情况才能更好的进行数据编目、服务发布、数据资源监控、数据质量管控
• 二、数据编目
  • 数据资源目录管理系统
  • 明确哪些数据需要进行编目
    • 数据资源基本信息编目
      • 思考并确定数据资源名称
        • 避免数据资源名称重复导致后期无法判断谁是谁
      • 明确数据资源来源单位、部门
      • 明确数据资源来源系统
      • 判断数据资源所属分类
      • 如果目前资源目录系统里面没有，需要在后台进行新增，逐步完善。
    • 数据资源信息项编目
      • Excel模板导入
        • 根据固定Excel模板填好后进行批量导入 注意：导入后需要与共享库进行手动关联
      • 从共享库自动提取
        • 此步骤依赖于：数据接入前期在共享库已经对字段进行了注释
    • 数据资源发布
      • 1、保存-进入草稿箱
      • 2、草稿箱中注册-进入待审核
      • 3、待审核中审核-进入待发布
      • 4、待发布中发布-完成
      • 5、发布完成后便可在资源交换开放门户显示
      • 暂时是该流程，具体是否需要这些流程，每个流程环节中由什么样的人负责，需要根据业主及实际情况进行流程调整及新建用户并分配权限
• 三、服务发布
  • 数据交换共享服务系统
  • 服务开发
    • 1、思考并确定服务名称、服务描述
      • 尽量通俗易懂、描述详细、避免重名（后期无法判断谁是谁，服务用途等）
    • 2、关联已经编目的资源目录
      • 关联资源目录后，服务分类会自动同步资源目录的分类
    • 3、确定服务英文名称
    • 4、确定服务路径名PATH地址
    • 用视图名或者表名（1、避免重复。2、通俗易懂。3、通过路径快速判断服务数据来源）
    • 5、确定服务来源数据库
    • 6、确定服务发布方式
      • 数据表
        • 前期数据需求不明确，一般都通过数据表形式全量发布该数据表所有字段数据
      • 视图
      • 自定义SQL
      • 根据数据需求，在共享库建对应视图或者直接根据需求写对应的SQL查询
    • 7、配置后端响应时长
      • 后端服务超时（3000毫秒）
      • 服务器最大响应时间（3000毫秒）
      • 一般系统默认3000毫秒就可以，特殊情况特殊配置
    • 8、配置安全访问策略
      • 访问流量次数控制
        • 每秒最多访问多少次
        • 每分钟
        • 每小时
        • 每天
        • 每月
        • 每年
        • 系统默认每小时100次，特殊情况特殊配置
      • 设置访问白名单
        • 根据业务实际情况判断是否需要设置，建议设置白名单
    • 9、填写维护人信息
      • 非必填，后期整个系统及业务完善后可以加上
  • 服务审核流程
    • 1、服务发布-服务维护
    • 2、服务维护-提交审核
    • 3、服务审核-同意
    • 4、同意后服务便可在资源交换开放门户显示
• 四、服务申请
  • 分析服务申请方具体数据需求
  • 已发布服务可满足需求
    • 数据服务申请方从资源交换开发门户根据数据用途选择应用后提交申请
      • 应用可根据实际情况进行新增，逐步完善。
  • 已发布服务无法满足需求 交换共享平台可满足
    • 数据交换共享服务平台自定义SQL可满足需求
      • 实施开发人员在平台编写满足需求的SQL查询
    • 共享库建视图在交换共享平台通过视图可满足需求
      • 实施开发人员在共享库建满足需求的视图
    • 实施开发人员通过开发接口可满足需求
      • 实施人员开发接口后 在平台进行服务注册
        • 1、思考并确定服务名称、服务描述
        • 2、关联已经编目的资源目录
        • 3、确定服务英文名称
          • 与路径名或视图名表名保持一致
        • 4、确定服务路径名PATH地址
        • 5、确定请求方式GET or POST
        • 6、确定请求参数配置
        • 7、填写请求成功和失败示例
        • 根据开发的接口进行实际填写
        • 8、配置后端响应时长
        • 9、配置安全访问策略
          • 访问流量次数控制
            • 每秒最多访问多少次
            • 每分钟
            • 每小时
            • 每天
            • 每月
            • 每年
          • 设置访问白名单
            • 根据业务实际情况判断是否需要设置，建议设置白名单
        • 10、填写维护人信息
          • 非必填，后期整个系统及业务完善后可以加上
        • 11、服务审核流程
          • 1、服务发布-服务维护
          • 2、服务维护-提交审核
          • 3、服务审核-同意
          • 4、同意后服务便可在资源交换开放门户显示
  • 1、限定访问频率 2、对不同的应用服务进行权限控制 3、最好限定访问白名单 4、访问地址提供优先级： 172.电子政务内网>10.电子政务外网>互联网 5、最后以接口文档形式提供呈现
  • 数据需求复杂、特殊情况 通过库表、视图进行共享
    • 1、建满足需求的表或者视图
    • 2、建访问账号并分配对应表视图访问权限为“只读”
    • 3、设置访问白名单
    • 4、最后告知对应数据库链接方式
• 五、数据监控
  • 子主题
• 六、数据质量管控
• 数据治理实施步骤梳理