导图社区 大数据业务的基础
这是一个关于大数据业务的基础的思维导图,讲述了大数据业务的基础的相关故事,如果你对大数据业务的基础的故事感兴趣,欢迎对该思维导图收藏和点赞~
编辑于2021-10-21 22:29:29大数据业务的基础
大数据技术
大数据存储技术
分布式文件系统
Hadoop分布式文件系统(HDFS)
Google文件系统(GFS)
列存储数据库
Apache HBase
Apache Cassandra
NoSQL数据库
MongoDB
Redis
数据处理和分析技术
批处理框架
Apache Hadoop MapReduce
Apache Spark
流处理框架
Apache Flink
Apache Kafka
图计算框架
Apache Giraph
Apache GraphX
数据挖掘和机器学习技术
关联规则挖掘
Apriori算法
FP-Growth算法
分类和预测
决策树算法
支持向量机算法
聚类分析
K-means算法
DBSCAN算法
大数据架构
Lambda架构
批处理层
存储大规模数据
数据预处理
数据分析
实时处理层
处理低延迟数据
实时查询和反馈
综合层
批处理和实时处理的结果合并
提供一致的数据视图
Kappa架构
基于流处理系统的架构
只有实时处理层
简化架构,减少维护成本
大数据管理
数据采集
传感器数据采集
日志数据采集
数据清洗和预处理
数据去重
数据格式转换
缺失值处理
数据存储
数据库存储
分布式文件系统存储
数据安全和隐私
数据加密
访问控制
数据脱敏技术
大数据应用
数据分析和商业智能
数据可视化
数据探索和发现
数据驱动决策
用户行为分析
个性化推荐
用户画像
用户行为预测
基于位置的服务
地理信息系统
位置隐私保护
位置推荐算法
金融风控
欺诈检测
信用评分
风险预警
智能交通与物流
交通流量预测
路线规划
货物追踪与管理