数据科学与大数据技术导论

数据科学与大数据导论课程知识梳理，内容有数据科学与大数据技术导论内容有大数据概述、大数据技术、大数据环境与技术、大数据应用安全思维。

数据科学与大数据技术导论

• 大数据概述
  • 数据类型
    • 结构化数据
    • 非结构化数据
    • 半结构化数据
  • 数据组织形式
    • 文件
    • 数据库
  • 数据的使用
    • 数据清洗
    • 数据管理
    • 数据分析
  • 大数据的概念
    • 大量化
    • 快速化
    • 多样化
• 大数据技术
  • 数据采集与预处理
    • 网络爬虫
    • ETL(Extract、Transform、Load)
    • 数据清洗
  • 数据储存与管理
    • 分布式文件系统
    • NewSQL和NoSQL数据库
    • 云数据库
      • 动态可扩展
      • 高可用性
      • 较低的使用代价
      • 易用性
      • 免维护
  • 数据处理与分析
    • 批处理计算
    • 流计算
    • 图计算
    • 查询分析计算
  • 数据可视化
  • 数据安全与隐私保护
    • 身份认证技术
    • 防火墙技术
    • 访问控制技术
    • 入侵检测技术
• 大数据环境与技术
  • Hadoop
    • 特性
      • 高可靠性
      • 高效性
      • 高可扩展性
      • 高容错性
    • 项目结构
      • HDFS
        • 相关概念
        • 体系结构
        • 数据存取策略
        • 数据错误与恢复
      • MapReduce
      • Spark
        • 特点
        • 基本概念
• 大数据应用大数据安全大数据思维
  • 应用领域
    • 互联网领域
    • 生物医学领域
    • 农业大数据
  • 大数据思维方式
    • 全样而非抽样
    • 效率而非精确
    • 相关而非因果
    • 以数据为中心
    • 我为人人，人人为我