数据备份方案

数据备份方案的思维导图。包含数据范围：标准参数、数仓数据；备份策略：使用高压缩比压缩、备份时机、目录划分、具体执行；数据存储空间等。

数据备份

• 数据范围
  • reda全参
    • .reda文件存储到HDFS
  • hive数仓数据
    • itl-数据缓冲层
      • 只保留最近7天数据, 无需备份
    • ods-数据引入层
      • 按天分区/是整个平台的全部存储层
      • 包括了整个平台上全部数据库数据
    • dwd-数据明细层
      • 从ods层聚合下来, 按天分区
    • dws-数据服务层
      • 从dwd层聚合下来, 按天分区
  • 标准参数
    • 存储在HBase
• 备份策略
  • 使用高压缩比压缩
    • tar.bz2对全部数据进行压缩
  • 备份时机
    • 月或周, 在闲时检测执行
  • 目录划分
    • reda全参
      • 按航班日期, 按天存储在NAS
        • 与HDFS上存储一直, 易于恢复
    • hive数据/ods层数据
      • 按天划分
        • 表名_分区名.tar.bz2
          • 易于从读取分区数据恢复
  • 具体执行
    • 1. 挂载NAS在大数据数据节点
    • 2.reda全参从HDFS下载, 存储成功并检测sha1一致后, 执行剔除HDFS文件
    • 3. hive/ods层数据, 逐表读取大于某时间的数据, 导出整个分区数据并压缩, 归档成功后剔除分区数据
• 数据存储空间
  • 待具体统计
• 数据恢复
  • reda全参 与标准按书
    • 将.reda解压后, 重新上传回HDFS, 执行批量标准化即可恢复
  • hive数仓
    • 1. 将目标分区数据解压后, load进目标表的指定分区
    • 2. 执行批量ETL, 恢复dwd和dws数据
• 需备份,成功后从数据源剔除数据
• 超限数据直接删除