初识ETL

这是一篇关于初识ETL的思维导图，主要内容有ETL关键技术、ETL常见工具软件、ETL的概念、基于ETL的数据清洗。

学习ETL

• ETL关键技术
  • 数据的抽取
    • 从异构数据源抽取数据
      • 增量抽取
        • 触发器方式
        • 时间戳方式
        • 全表对比方式
        • 日志表方式
      • 全量抽取
  • 数据的清洗转换
    • 按目的要求进行数据的清洗转换
      • 不完整的数据
      • 错误的数据
      • 重复的数据
  • 数据的加载
    • ETL最后阶段
      • 从临时位置加载到指定位置
        • 全量加载
        • 批量加载
        • 增量加载
          • 时间戳方式
          • 日志表方式
          • 全表对比方式
          • 全表删除插入方式
• ETL常见工具软件
  • MicroSoft SSIS
• ETL的概念
  • 描述数据从源加载转换到目的端的过程
    • 抽取 extract
    • 转换 transform
    • 加载 load
• 基于ETL的数据清洗
  • 基于ETL的数据清洗是挖掘有价值的数据的一种方案
  • 借助ETL工具
  • 编写SQL工具
  • ETL工具和SQL结合使用