大数据技术及其应用

厦门大学-林子雨，大数据技术及其应用

大数据技术及其应用

概念

背景

三次信息化浪潮

1980

个人计算机的普及

1995

互联网的普及

2010

云计算、大数据、物联网的普及

大数据发展的三个阶段

萌芽期

数据库和数据挖掘

成熟期

并行计算与分布式系统

大规模应用期

数据驱动决策

信息科技提供的技术支持

存储设备容量不断增加

CPU处理能力大幅提升

网络带宽不断增加

数据产生方式的变革促进

运营式系统阶段

用户原创内容阶段

感知式系统阶段

特点

大量化

快速化

多样化

价值化等

与云计算、物联网的关系

既有区别又有联系

与人工智能的关系

是使人工智能完美的前提

关键技术

数据采集与预处理

采集

传感器

互联网数据

日志文件

企业业务系统数据

预处理

数据清洗

需要清洗的主要类型

残缺数据

错误数据

重复数据

内容

一致性检查

无效值和缺失值的处理

估算

整列删除

变量删除

成对删除

数据存储和管理

传统的数据存储和管理技术

文件系统

关系数据库

数据仓库

并行数据库

大数据时代的数据存储和管理技术

分布式文件系统

NewSQL和NoSQL数据库

数据处理与分析

概念

数据挖掘和计算机算法

处理与分析的技术

Hadoop

Spark

Flink

Beam

数据可视化

数据以图形图像形式表示

数据安全和隐私保护

身份认证技术

防火墙技术

访问控制技术

入侵检测技术

加密技术

应用

防控疫情

支付宝健康码

预测犯罪

摄像头、突发新闻、聊天记录

智慧城市

国家安全

棱镜门