DAMA 知识地图第14章 大数据和数据科学(3)

备考本章，看这张图就够了。 DAMA数据管理知识体系指南第14章考点总结，主要包括“数据科学、数据科学过程、大数据6V、机器学习”等内容。

DAMA 知识地图 第14章 大数据和数据科学(3题)

• 数据 科学
  • 数仓Vs数据科学
    • DW
      • 总结已知数据
        • 将数据挖掘、统计分析和机器学习与数据集成整合，结合数据建模能力，去构建预测模型、探索数据内容模式。
    • 科学
      • 预测未知
        • 算法
  • 数据科学依赖
    • 1）丰富的数据源
      • 有能够展示隐藏在组织或客户行为中不可见模式的潜力。
    • 2）信息组织和分析
      • 用来领会数据内容，结合数据集针对有意义模式进行假设和测试的技术。
    • 3）信息交付
      • 针对数据运行模型和数学算法，进行可视化展示及其他方式输出，以此加强对行为的深入洞察。
    • 4）展示发现和数据洞察
      • 分析和揭示结果，分享洞察观点（表14-1）对比了传统的数据仓库/商务智能与基于数据科学技术实现的预测性分析和规范性分析的作用。
  • 数据发展
    • 数仓(描述性分析.事后结论
    • 数据科学(预测分析.洞察
    • 规范分析.预见测)
• 数据科学过程
  • 1）定义大数据战略和业务需求
    • 定义一些可衡量的、能够产生实际收益的需求。
  • 2）选择数据源
    • 在当前的数据资产库中识别短板并找到数据源以弥补短板。
  • 3）采集和提取数据资料
    • 收集数据并加载使用它们。
  • 4）设定数据假设和方法
    • 通过对数据进行剖析、可视化和挖掘来探索数据源。定义模型算法的输入、种类或者模型假设和分析方法（换句话说，通过聚类对数据进行分组等）。
  • 5）集成和调整数据进行分析
    • 模型的可行性部分取决于源数据的质量。要利用可靠的数据来源，应用适当的数据集成和数据清洗技术提升预备数据集的质量和可用性。
  • 6）使用模型探索数据
    • 对集成的数据应用统计分析和机器学习算法进行验证、训练，并随着时间的推移演化模型。模型训练需要针对实际数据对模型进行重复运行，以验证假设并对模型进行调整，如识别异常值。通过这个过程，需求将被细化，初始可行性指标会指引模型的演化，还可能引入新的假设，这些假设需要额外的数据集。本次探索结果将影响未来的建模和输出（甚至改变需求）。
  • 7）部署和监控
    • 可以将产生有用信息的那些模型部署到生产环境中，以持续监控它们的价值和有效性。通常，数据科学项目会转变成数据仓库项目。在这些项目中，会有更为活跃的开发过程（ETL、数据质量、主数据等）。
• 大数据6V
  • 考试传统3V
  • 1）数据量大（Volume）
    • 大数据通常拥有上千个实体或数十亿个记录中的元素。
  • 2）数据更新快（Velocity）
    • 指数据被捕获、生成或共享的速度。大数据通常实时地生成、分发及进行分析。
  • 3）数据类型多样/可变（Variety/Variability）
    • 指抓取或传递数据的形式。大数据需要多种格式储存。通常，数据集内或跨数据集的数据结构是不一致的。
  • 4）数据黏度大（Viscosity）
    • 指数据使用或集成的难度比较高。
  • 5）数据波动性大（Volatility）
    • 指数据更改的频率，以及由此导致的数据有效时间短。
  • 6）数据准确性低（Veracity）
    • 指数据的可靠程度不高。
• 机器学习
  • 1）监督学习（Supervised learning）
    • 基于通用规则（如将SPAM邮件与非SPAM邮件分开）。
      • 探索了学习算法的构建和研究，它可以被视为无监督学习和监督学习方法的结合。无监督学习通常被称为数据挖掘，而监督学习是基于复杂的数学理论，特别是统计学、组合学和运筹学。
  • 2）无监督学习（Unsupervised learning）
    • 基于找到的那些隐藏的规律（数据挖掘）。
  • 3）强化学习（Reinforcement learning）
    • 基于目标的实现（如在国际象棋中击败对手）。