大数据和数据科学

Dama知识体系，数据科学将数据挖掘、统计分析和机器学习与数据集成整合，结合数据建模能力，去构建预测模型、探索数据内容模式。

大数据和数据科学

• 引言
  • 信息收敛三角
  • 基本概念
    • 数据科学
      • 数据科学将数据挖掘、统计分析和机器学习与数据集成整合，结合数据建模能力，去构建预测模型、探索数据内容模式。
    • 数据科学的过程
    • 大数据特征
      • 1）数据量大(Volume)
      • 2）数据更新快(Velocity)
      • 3）数据类型多样/可变(variety/Variability)
      • 4）数据黏性大(Viscosity)
      • 5）数据波动性大(Volatility)
      • 6）数据准确性低(Veracity)
    • 数据湖
      • 数据湖是一种可以提取、存储、评估和分析不同类型和海量数据的环境，可供多种场景使用。
    • 机器学习
      • 算法类型
        • 1）监督学习（Supervised learning）。基于通用规则（如将SPAM邮件与非SPAM邮件分开）
        • 2）无监督学习（Unsupervised learning）。基于找到那些隐藏的规律（数据挖掘）
        • 3）强化学习（Reinforcement learning）。基于目标的实现（如在国际象棋中击败对手）
    • 语义分析
      • 使用自然语言处理（NLP）分析短语或句子、语义察觉情绪，并揭示情绪的变化，以预测可能的情景。
    • 规范分析
      • 规范分析（Prescriptive Analytics）比预测分析更进一步，它对将会影响结果的动作进行定义，而不仅仅是根据已发生的动作预测结果。
    • 非结构化数据分析
      • 非结构化数据分析（Unstructured Data Analytics）结合了文本挖掘、关联分析、聚类分析和其他无监督学习技术来处理大型数据集。
    • 运营分析
      • 运营分析（Operational Analytics）也称为运营BI或流式分析，其概念使用运营过程与实时分析的整合中产生。
    • 数据可视化
      • 可视化（Visualization）是通过使用图片或图形表示来解释概念、想法和事实的过程。
    • 数据混搭
      • 数据混搭（Data Mashups）将数据和服务结合在一起，以可视化的方式展示见解或分析结果。
• 工具
  • MPP无共享技术和架构
    • 大规模并行处理（MPP）的无共享数据库技术，已成为面向数据科学的大数据集分析标准平台
    • 在MPP数据库中，数据在多个处理服务器（计算节点）之间进行分区（逻辑分布），每个服务器都有自己的专用内存来处理本地数据。