大数据工程师技能图谱

这是一篇关于大数据工程师技能图谱的思维导图，主要内容包括：大数据项目实战，数据分析与建模，大数据基础知识，编程语言与工具，算法，数据库，处理框架，数据可视化，云计算。

大数据工程师技能图谱

• 大数据基础知识
  • 数据存储与处理
    • 关系型数据库
      • SQL语言
      • 数据库设计
    • 非关系型数据库
      • NoSQL数据库
      • 键值存储
    • 分布式文件系统
      • Hadoop HDFS
      • 分布式计算框架
        • MapReduce
        • Spark
  • 数据挖掘与分析
    • 数据挖掘算法
      • 分类算法
        • 决策树
        • 随机森林
      • 聚类算法
        • Kmeans
        • 层次聚类
    • 数据可视化
      • 数据可视化工具
        • Tableau
        • D3.js
  • 大数据架构
    • Hadoop生态系统
      • Hadoop核心组件
        • HDFS
        • YARN
        • MapReduce
      • Hadoop生态系统扩展
        • HBase
        • Hive
        • Spark
    • Spark生态系统
      • Spark核心组件
        • Spark Core
        • Spark SQL
        • Spark Streaming
      • Spark生态系统扩展
        • MLlib
        • GraphX
• 大数据项目实战
  • 项目需求分析
    • 业务需求分析
      • 数据分析需求
      • 数据挖掘需求
    • 技术需求分析
      • 数据处理技术
      • 数据挖掘技术
  • 项目设计
    • 系统架构设计
      • 数据处理架构
      • 数据挖掘架构
    • 数据库设计
      • 数据存储设计
      • 数据访问设计
  • 项目实施
    • 数据采集
      • 数据采集工具
        • Flume
        • Kafka
    • 数据处理
      • 数据清洗
      • 数据整合
      • 数据转换
    • 数据挖掘
      • 数据建模
      • 模型评估与优化
  • 项目测试与部署
    • 系统测试
      • 功能测试
      • 性能测试
    • 系统部署
      • 云平台部署
      • 本地部署
• 云计算
  • 云服务
    • Saas
    • Iaas
    • Paas
  • OpenStack
  • kubernetes
• 数据可视化
  • R
  • ECharts
  • D3.js
• 处理框架
  • Spark
  • Hadoop
  • Kafka
  • Storm
  • ELK
    • ElasticSearch
    • Logstash
    • Kibana
• 数据分析与建模
  • 数据预处理
    • 数据清洗
      • 缺失值处理
      • 异常值处理
    • 数据整合
      • 数据合并
      • 数据转换
  • 数据分析工具
    • matlab
    • SPSS
    • SAS
  • 数据建模
    • 回归分析
      • 线性回归
      • 逻辑回归
    • 分类分析
      • 决策树
      • 随机森林
    • 聚类分析
      • Kmeans
      • 层次聚类
  • 模型评估与优化
    • 模型评估指标
      • 准确率
      • 召回率
      • F1分数
    • 模型优化方法
      • 交叉验证
      • 网格搜索
• 算法
  • 一致性
    • raft
    • paxos
    • gossip
  • 数据结构
    • 队列，栈，链表
    • 散列表
    • 二叉树，红黑树，B树
    • 图
  • 常用算法
    • 排序
    • 最小生成树
    • 最短路径
    • 矩阵存储和计算
    • 最小生成树
• 数据库
  • 关系数据库
    • MySQL
  • 图数据库
    • Cassandra
    • neo4j
  • KV等
    • HBase
    • MongoDB
    • Redis
  • 云原生数据库
    • PolarDB
    • TDSQL
• 编程语言与工具
  • Java
    • Java基础
      • Java语法
      • Java面向对象
      • Java集合框架
    • Java并发编程
      • 多线程
      • 并发集合
      • 线程池
  • Python
    • Python基础
      • Python语法
      • Python数据结构
      • Python函数式编程
    • Python数据分析
      • NumPy
      • Pandas
      • Matplotlib
  • Scala
    • Scala基础
      • Scala语法
      • Scala面向对象
      • Scala函数式编程
    • Scala大数据开发
      • Spark开发
        • Spark Core
        • Spark SQL
        • Spark Streaming