大数据工程师技能知识图谱

这是一篇关于大数据工程师技能知识图谱的思维导图，主要内容包括：职业发展与规划，大数据前沿技术，大数据项目实战，数据分析与建模，编程语言与工具，大数据基础知识。

大数据工程师技能知识图谱

• 大数据基础知识
  • 数据存储与处理
    • 关系型数据库
      • SQL语言
      • 数据库设计
    • 非关系型数据库
      • NoSQL数据库
      • 键值存储
    • 分布式文件系统
      • Hadoop HDFS
      • 分布式计算框架
        • MapReduce
        • Spark
  • 数据挖掘与分析
    • 数据挖掘算法
      • 分类算法
        • 决策树
        • 随机森林
      • 聚类算法
        • Kmeans
        • 层次聚类
    • 数据可视化
      • 数据可视化工具
        • Tableau
        • D3.js
  • 大数据架构
    • Hadoop生态系统
      • Hadoop核心组件
        • HDFS
        • YARN
        • MapReduce
      • Hadoop生态系统扩展
        • HBase
        • Hive
        • Spark
    • Spark生态系统
      • Spark核心组件
        • Spark Core
        • Spark SQL
        • Spark Streaming
      • Spark生态系统扩展
        • MLlib
        • GraphX
• 编程语言与工具
  • Java
    • Java基础
      • Java语法
      • Java面向对象
      • Java集合框架
    • Java并发编程
      • 多线程
      • 并发集合
      • 线程池
  • Python
    • Python基础
      • Python语法
      • Python数据结构
      • Python函数式编程
    • Python数据分析
      • NumPy
      • Pandas
      • Matplotlib
  • Scala
    • Scala基础
      • Scala语法
      • Scala面向对象
      • Scala函数式编程
    • Scala大数据开发
      • Spark开发
        • Spark Core
        • Spark SQL
        • Spark Streaming
• 数据分析与建模
  • 数据预处理
    • 数据清洗
      • 缺失值处理
      • 异常值处理
    • 数据整合
      • 数据合并
      • 数据转换
  • 数据建模
    • 回归分析
      • 线性回归
      • 逻辑回归
    • 分类分析
      • 决策树
      • 随机森林
    • 聚类分析
      • Kmeans
      • 层次聚类
  • 模型评估与优化
    • 模型评估指标
      • 准确率
      • 召回率
      • F1分数
    • 模型优化方法
      • 交叉验证
      • 网格搜索
• 大数据项目实战
  • 项目需求分析
    • 业务需求分析
      • 数据分析需求
      • 数据挖掘需求
    • 技术需求分析
      • 数据处理技术
      • 数据挖掘技术
  • 项目设计
    • 系统架构设计
      • 数据处理架构
      • 数据挖掘架构
    • 数据库设计
      • 数据存储设计
      • 数据访问设计
  • 项目实施
    • 数据采集
      • 数据采集工具
        • Flume
        • Kafka
    • 数据处理
      • 数据清洗
      • 数据整合
      • 数据转换
    • 数据挖掘
      • 数据建模
      • 模型评估与优化
  • 项目测试与部署
    • 系统测试
      • 功能测试
      • 性能测试
    • 系统部署
      • 云平台部署
      • 本地部署
• 大数据前沿技术
  • 深度学习
    • 神经网络
      • 卷积神经网络
      • 循环神经网络
    • 深度学习框架
      • TensorFlow
      • PyTorch
  • 自然语言处理
    • 文本预处理
      • 分词
      • 词性标注
    • 文本挖掘
      • 情感分析
      • 文本分类
  • 大数据安全与隐私
    • 数据加密
      • 对称加密
      • 非对称加密
    • 数据脱敏
      • 数据匿名化
      • 数据混淆
• 职业发展与规划
  • 职业规划
    • 技术路线
      • 大数据工程师
      • 数据科学家
    • 管理路线
      • 项目经理
      • 技术经理
  • 技能提升
    • 持续学习
      • 新技术学习
      • 经典书籍阅读
    • 项目实践
      • 参与开源项目
      • 个人项目实践