导图社区 大数据工程师技能图谱
这是一篇关于大数据工程师技能图谱的思维导图,主要内容包括:大数据项目实战,数据分析与建模,大数据基础知识,编程语言与工具,算法,数据库,处理框架,数据可视化,云计算。
编辑于2024-03-27 10:28:03大数据工程师技能图谱
大数据基础知识
数据存储与处理
关系型数据库
SQL语言
数据库设计
非关系型数据库
NoSQL数据库
键值存储
分布式文件系统
Hadoop HDFS
分布式计算框架
MapReduce
Spark
数据挖掘与分析
数据挖掘算法
分类算法
决策树
随机森林
聚类算法
Kmeans
层次聚类
数据可视化
数据可视化工具
Tableau
D3.js
大数据架构
Hadoop生态系统
Hadoop核心组件
HDFS
YARN
MapReduce
Hadoop生态系统扩展
HBase
Hive
Spark
Spark生态系统
Spark核心组件
Spark Core
Spark SQL
Spark Streaming
Spark生态系统扩展
MLlib
GraphX
大数据项目实战
项目需求分析
业务需求分析
数据分析需求
数据挖掘需求
技术需求分析
数据处理技术
数据挖掘技术
项目设计
系统架构设计
数据处理架构
数据挖掘架构
数据库设计
数据存储设计
数据访问设计
项目实施
数据采集
数据采集工具
Flume
Kafka
数据处理
数据清洗
数据整合
数据转换
数据挖掘
数据建模
模型评估与优化
项目测试与部署
系统测试
功能测试
性能测试
系统部署
云平台部署
本地部署
云计算
云服务
Saas
Iaas
Paas
OpenStack
kubernetes
数据可视化
R
ECharts
D3.js
处理框架
Spark
Hadoop
Kafka
Storm
ELK
ElasticSearch
Logstash
Kibana
数据分析与建模
数据预处理
数据清洗
缺失值处理
异常值处理
数据整合
数据合并
数据转换
数据分析工具
matlab
SPSS
SAS
数据建模
回归分析
线性回归
逻辑回归
分类分析
决策树
随机森林
聚类分析
Kmeans
层次聚类
模型评估与优化
模型评估指标
准确率
召回率
F1分数
模型优化方法
交叉验证
网格搜索
算法
一致性
raft
paxos
gossip
数据结构
队列,栈,链表
散列表
二叉树,红黑树,B树
图
常用算法
排序
最小生成树
最短路径
矩阵存储和计算
最小生成树
数据库
关系数据库
MySQL
图数据库
Cassandra
neo4j
KV等
HBase
MongoDB
Redis
云原生数据库
PolarDB
TDSQL
编程语言与工具
Java
Java基础
Java语法
Java面向对象
Java集合框架
Java并发编程
多线程
并发集合
线程池
Python
Python基础
Python语法
Python数据结构
Python函数式编程
Python数据分析
NumPy
Pandas
Matplotlib
Scala
Scala基础
Scala语法
Scala面向对象
Scala函数式编程
Scala大数据开发
Spark开发
Spark Core
Spark SQL
Spark Streaming