第四章 数据处理与应用

这是一篇关于第四章 数据处理与应用的思维导图，Spark是一种与Hadoop相似的、应用较广的开源方式计算架构。Spark启用 了内存存储中间结果，运行速度比Hadoop快很多

第四章 数据处理与应用

• 常用表格数据的处理
  • 数据整理
    • 常见的数据问题有数据缺失、数据重复、数据异常，还有逻辑错误、格式不一致等
    • 通常采用平均值、中间值或概率统计值来填充缺失值
    • 对于重复数据，可以在进行进一步审核的基础上进行合并或删除
    • 异常数据指数据集中不符合一般规律的数据处理对象
    • 逻辑错误问题指数据集中的属性值与实际值不符，或违背业务规则或逻辑
  • 数据计算
    • 日常简单的数据处理可以使用Excel软件完成，专业的数据处理和统计分析工具有SPSS、SAS、MATLAB等，也可以通过R、Python、Java等计算机语言编程进行数据处理
    • Excel软件中可以应用公式进行数据的计算。公式是以“=”开头，由常数、函数、单元格引用和运算符组成的式子。公式不仅用于计算，更重要的是构建计算模型
    • 单元格引用是指对工作表中的单元格或单元格区域的引用
    • 算数运算符由有^、%、*、/、+、-，用于进行基本的数学运算
    • 比较运算符有=、>、<、>=、<=、<>，用于比较两个值，结果为逻辑值TRUE或FALSE
    • 文本连接运算符“&”，可以连接一个或多个文本字符串，生成一段文本
    • 函数语法：SUM()，AVERAGE()，MIN()，MAX()
  • 数据图表呈现
    • 常见的图表类型有柱状图、折线图、饼图、雷达图、散点图、气泡图等
    • 分析数据，创建表格，检查图表
• 大数据处理
  • 大数据处理的基本思维与架构
    • 批处理计算
      • Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算
      • Spark是一种与Hadoop相似的、应用较广的开源方式计算架构。Spark启用了内存存储中间结果，运行速度比Hadoop快很多
      • 分布式文件系统HDFS
      • 分布式数据库HBase
      • 分布式并行计算模型MapReduce
    • 流计算
    • 图计算
    • 实时处理与批处理的整合
  • 编程处理数据
    • 利用pandas模块处理数据
      • Series
        • Series对象常用属性
      • DataFrame
        • DataFrame对象常用属性
        • DaraFrame常用函数
    • 利用matplotlib模块绘图
      • matplotlip是一个绘图库，使用其中的pyplot子库所提供的函数可以快速绘图和设置图标的坐标轴、坐标轴刻度、图例
      • 常见绘图函数
    • 利用Python分析数据实践
  • 文本数据处理
    • 文本数据处理的一般过程
      • 中文分词
        • 基于词典的分词方法，也称作基于字符匹配的分词方法
        • 基于统计的分词方法
        • 基于规则的分词方法
        • 常见的分词系统
      • 特征提取
    • 文本数据分析与应用
      • 标签云
        • 标签云用词频表现文本特征，将关键词按照一定的顺序和规律排列，并以文字大小的形式代表词语的重要性
        • 标签云是文本可视化的一种方式
      • 文本情感分析
  • 数据可视化
    • 数据可视化是将数据以图形图像等形式表示，直接呈现数据中蕴含信息的处理过程
      • 可视化的作用
        • 快捷观察与追踪数据
        • 实时分析数据
        • 增强数据的解释力与吸引力
      • 可视化的基本方法
        • 有关时间趋势的可视化
        • 有关比例的可视化
        • 有关关系的可视化
        • 有关差异的可视化
        • 有关空间关系的可视化
      • 可视化的工具
        • 主要用于数据可视化的工具有大数据魔镜、Gephi、Tableau等，也可以使用Python、R等计算机语言编程程序实现数据的可视化
        • 一些优秀的可视化工具库，如基于JavaScript的D3.js、Highcharts、Google Charts等，基于Python的matplotlib等
      • 可视化的典型案例
        • 风、气象、海洋状况的全球地图
        • 编程语言之间的影响力关系图
        • “双十一”全网销售直播图
        • 航班飞行实时跟踪地图
        • 微博热词趋势图
• 大数据典型应用
  • 智能交通
    • 电子交通整合了物联网、大数据、云计算、人工智能等技术
    • 交通大数据是智能交通中“智能”的基础
      • 交通信息服务系统
      • 交通管理系统
      • 电子收费系统
  • 电子商务
    • 精准营销
    • 供应链管理
    • 智能网站