数据存储和操作

Dama知识体系，数据存储与操作包括对存储数据设计、实施和支持，最大化实现数据资源的价值，贯穿于数据创建/获取到处置的整个生命周期。包含定义、度量指标、基本概念、数据库架构类型、数据处理类型、数据存储介质： 磁盘、内存、闪存、数据库环境、数据库组织模型、常见数据库过程。

数据存储和操作

• 引言
  • 数据存储与操作包括对存储数据设计、实施和支持，最大化实现数据资源的价值，贯穿于数据创建/获取到处置的整个生命周期
• 定义
  • 管理数据存储的设计、实现和支持活动，以实现其最大化价值
• 度量指标
  • 数据存储度量指标
  • 性能度量指标
  • 操作度量指标
  • 服务度量指标
• 基本概念
  • 服务水平协议SLA（Servies Level Assignment）
  • 通用应用接口API：（Application Programming Interface）
  • 开放数据库互连ODBC：（Open DataBase Connectivity）
  • 数据库管理员DBA：（DataBase Administrator）
  • 数据即服务Daas：（Data As a Service）
• 数据库架构类型
  • 集中式
  • 分布式
    • 联邦的（自治的）
      • 区块链数据库：区块链数据库属于一种联邦数据库，用于安全管理金融交易
    • 非联邦的（非自治的）
• 数据处理类型
  • ACID
    • 1. 原子性（Atomicity）
    • 2. 一致性（Consistency）
    • 3. 隔离性（Isolation）
    • 4. 持久性（Durability）
  • BASE
    • 1. 基本可用（Basically Available）
    • 2. 软状态（Soft State）
    • 3. 最终一致性
  • CAP：CAP定理（也称为“布鲁尔定理）是集中式系统在朝着分布式的系统方向发展过程中提出的理论。CAP定理指的是分布式系统不可能同时满足ACDI的所有要求。系统规模越大，满足的要求点越少。
    • 1. 一致性（Consistency）：系统必须总是按照设计和预期的方式运行
    • 2. 可用性（Availability）。请求发生时系统时刻都保持可用状态，并对请求做出响应。
    • 3. 分区容错性（Partition Tolerance）：偶尔发生数据丢失或者部分系统古战发生时，系统依然能够继续运行提供服务。
    • CAP定理指出，在任何共享数据的系统里，这三项要求最多只可能同时满足其中两项，通常用“三选二”来说明
• 数据存储介质： 磁盘、内存、闪存
  • 常见用法
    • 磁盘和存储区域网络（SAN ： Storage Area Networks）
    • 内存和列压缩解决方案
    • 虚拟存储区域网络（VSAN：Virtual SAN）
    • 基于云的存储解决方案
    • 射频识别技术（RFID：Radio Frequency I-dentification）
    • 数字钱包
    • 数据中心和私有云
    • 公有云及混合云存储
• 数据库环境
  • 生产环境
  • 非生产环境
    • 开发环境
    • 测试环境
      • 1. 质量保证测试（QA）
      • 2. 集成测试
      • 3. 用户验收测试（UAT）
    • 数据沙盒或实验环境
• 数据库组织模型
  • 1. 层次型数据库
  • 2. 关系型数据库（RDBMS）
    • 1) 多维数据库
    • 2) 时态数据库
      • 1. 有效时间
      • 2. 事物时间
  • 3. 非关系型数据库（NoSQL：Not Only SQL）
    • 1) 列式数据库
    • 2) 空间数据库（GIS）
    • 3) 对象/多媒体数据库
    • 4) 平面文件数据库
    • 5) 键值对
    • 6) 三元组存储
• 常见数据库过程
  • 1. 数据归档
  • 2. 容量和增长预测
  • 3. 变动数据捕获（CDC）
    • 概念：变动数据捕获（CDC）是指检测到数据的变动并确保与变动相关的信息被适当记录的过程
    • 方法
      • 1. 数据版本控制-评估标识已改动过行的列（例如，有上次更新时间戳的列、有版本号的列、有状态标识的列）
      • 2. 通过读取日志
      • 3. 同时建立一张表存储变动的数据
      • 4. 通过专业软件：如OGG捕获
  • 4. 数据清除
  • 5. 数据复制
    • 1）主动复制：不存在主副本，可以在每个副本上主动创建和存储来自其它副本的相同数据
    • 2）被动复制：首先在主副本上创建和存储数据，然后把更改的状态传送到其它副本上
  • 6. 韧性与恢复
  • 7. 数据保留
  • 8. 数据分片