大数据分析和计算

这是一个关于大数据分析和计算的思维导图，阐述了其相关概念、意义、特点、流程、方法及系统架构等内容，有助于理解该领域的核心内容。

大数据分析和计算

• 大数据分析的意义
  • 在于从海量数据中提取有价值的信息，获取知识并预测趋势， 以指导决策与实践，最终形成智慧。
• 大数据分析的特点
  • 近似性、增量性、归纳性
• 要求
  • 要全体不要抽样
  • 要效率不要绝对精确
  • 要相关不要因果
• 系统架构
  • 存储、计算
• 系统组成
  • 大数据应用系统
    • 大数据可视化
    • 大数据产品和服务
    • 各类大数据应用
  • 大数据处理系统
    • 计算模型与算法
    • 计算平台
    • 计算引擎
  • 大数据存储系统
    • 大数据采集与建模
    • 分布式文件系统
    • 分布式数据库
• 流程概述
  • 大数据分析概述
    • 含义
      • 大数据分析是指选择合适的统计方法分析收集得到的海亮数据的过程。
    • 流程
      • 提出和问题定义→数据采集和预处理→数据分析→可视化→结果应用与评估
  • 大数据分析类型
    • 描述性分析
      • 描述数据的集中趋势
      • 描述数据的离中趋势
    • 探索性分析
    • 验证性分析
    • 预测性分析
    • 可视化分析
      • 文本可视分析
      • 网络可视分析
      • 时空数据可视分析
      • 多维数据可视分析
    • 查询分析
      • 用户接口
      • 元数据存储
      • 解释器、编译器、优化器和执行器
      • Hadoop
  • 大数据分析基本方法
    • 统计分析
      • 数据描述性统计分析
      • 回归分析
      • 因子分析
      • 方差分析
    • 基于机器学习的数据分析
      • 半监督学习
      • 迁移学习
      • 概率图模型
    • 流数据分析
      • 静态数据和流数据
      • 批量计算和实时计算
      • 流计算的基本概念
      • 流计算平台
      • 流计算与批处理系统对比
    • 图数据分析
      • 图数据概念
      • 图数据计算模型
      • 图数据分析处理系统
  • 大数据分析、计算和处理流程
    • 大数据采集
    • 大数据的导入和预处理
    • 大数据分析和计算
    • 大数据可视化与应用
• 平台
  • 大数据分析计算平台是用于海量数据存储、处理与分析的分布式系统支持批量、 实时、交互及图形等多种计算模式。 典型代表包括Hadoop、Spark、Storm和Drill等，并持续向高效、混合架构演进。