大数据技术概述

大数据技术通过一系列先进的技术和方法，从海量数据中提取有价值的信息和知识，为企业和组织提供决策支持。它不仅仅关注数据的收集，更注重数据的存储、处理、分析和可视化，从而帮助用户洞察数据背后的规律和趋势。

大数据技术概述

• 大数据的概念与关键技术
  • 定义
    • 数据量大
    • 数据类型多样
    • 处理速度快
    • 价值密度低
  • 关键技术
    • 数据采集与预处理
      • 采用ETL、或者利用日志采集工具
    • 数据存储和管理
      • 分布式文件系统
      • NoSQL数据库
    • 数据处理和分析
      • 分布式并行编程模式
      • 分布式计算框架
    • 数据可视化
      • 图表展示
      • 交互式界面
    • 数据安全和隐私保护
    • 大数据计算模式
      • 批处理计算
        • 针对大规模数据的批量处理
          • Mapreduce、Spark
      • 流计算
        • 针对流数据的实时计算
          • Flink、Storm、Flume
      • 图计算
        • 针对大规模图结构数据的处理
          • GraphX
      • 查询分析计算
        • 针对大规模数据的存储管理和查询分析
          • Hive
• 代表性大数据技术
  • Hadoop
    • 生态系统
    • 与Spark对比存在的缺点
      • 表达能力有限
      • 磁盘I/O开销大
      • 延迟高
        • 任务之间的衔接涉及I/O开销
        • 在前一个任务执行完成之前,其他任务无法开始
  • Spark
    • 基于数据片集合的微批处理模型
    • 组件
      • Spark SQL
        • 结构化数据处理
      • Spark Streaming
        • 流数据处理
      • MLlib
        • 机器学习库
      • GraphX
        • 图计算
    • 支持秒级响应
    • 优点
      • 多种数据集操作类型
      • 编程模型更灵活
      • 提供了内存计算
      • 基于DAG的任务调度执行机制
  • Flink
    • 基于操作符的连续流模式
    • 支持毫秒级响应
  • Beam
• 编程语言的选择
  • Scala. Java. Python. R