大数据技术基础 第一章思维导图

这是一篇关于大数据基础的思维导图，该思维导图涵盖了大数据技术基础课程、数据、信息、云计算、人工智能大数据等相关知识

第一章 大数据概述

• 1 信息
  • 经过加工（处理）后的能对接受者产生影响的有一定含义的数据。
• 2 数据类型
  • 文本
  • 图片
  • 音频
  • 视频
• 3 数据组织形式
  • 文件
  • 数据库
    • 网状数据库
    • 层次数据库
    • 关系数据库（主流数据库）
    • 非关系型数据库（NoSQL）
      • 产生是为了解决大规模数据集合多重数据种类带来的挑战
      • 用于大规模数据的存储
• 4 数据的使用
  • 数据采集（数据来源）
    • 传感器
    • 互联网数据
    • 企业业务系统数据
    • 日志文件
  • 数据预处理
    • 数据清洗
      • 缺失值
      • 异常值
      • 数据类型转换
      • 重复值处理
    • 数据转换
    • 数据脱敏
  • 数据可视化
    • 分析数据
    • 增强数据吸引力
    • 辅助理解数据
• 5 数据的价值
  • 数据价值的再发现
  • 数据的价值不会因为不断被使用而消减，反而会因为不断重组而产生更大的价值
• 6 信息化浪潮
  • 第一次浪潮
    • 标志
      • 个人计算机
    • 代表企业
      • Inter、AMD、IBM、苹果、微软、联想、戴尔、惠普等
  • 第二次浪潮
    • 标志
      • 互联网
    • 代表企业
      • 雅虎、谷歌、阿里巴巴、百度、腾讯等
  • 第三次浪潮
    • 标志
      • 物联网、云计算和大数据
• 7 信息科技为大数据时代提供技术支撑
  • 储存设备容量不断增加
  • CPU处理能力大幅提升
  • 网络带宽不断增加
• 8 数据产生方式的变革促成大数据时代的来临
  • 运营式系统阶段
    • 数据库的出现使得数据管理的复杂性大大降低
    • 数据的产生方式是被动的
  • 用户原创内容阶段
    • Web2.0的最重要标志就是用户原创内容
    • 数据产生方式是主动的
  • 感知式系统阶段
    • 数据产生方式是自动的
• 9 大数据
  • 特点
    • 数据量大
    • 数据类型繁多
    • 处理速度快
    • 价值密度低
  • 科学研究
    • 实验
    • 理论
    • 计算
    • 数据
  • 思维方式
    • 全样而非抽样
    • 效率而非精确
    • 相关而非因果
    • 以数据为中心
    • 我为人人，人人为我
  • 实例
    • 商品比价网站Decide.com（全样而非抽样）
    • 啤酒与尿布（相关而非因果）
    • 迪士尼MagicBand手环（我为人人，人人为我）
    • 大数据的简单算法比小数据的复杂算法更为有效（全样而非抽样）
• 10 云计算
  • IT资源
    • 传统IT资源获取方式：自建机房
      • 初期成本高，周期长
      • 后期需要自己维护，使用成本高
      • IT资源供应量有限
    • 云计算IT资源获取方式：租用云端资源
      • 初期零成本，瞬时可获得
      • 后期免维护，使用成本低
      • 在供应IT资源量方面“予取予求”
  • 分类
    • 公有云
    • 混合云
    • 私有云
    • 应用层
      • 软件即服务
      • SaaS
    • 平台层
      • 平台即服务
      • PaaS
    • 基础设施层
      • 基础设施即服务
      • IaaS
  • 人工智能关键技术
    • 机器学习
    • 知识图谱
    • 自然语言处理
    • 人机交互
    • 计算机视觉
    • 生物特征识别
    • AR/VR
• 11 大数据与人工智能的关系
  • 联系
    • 人工智能需要数据来建立其智能，特别是机器学习
    • 大数据技术为人工智能提供了强大的存储能力和计算能力
  • 区别
    • 人工智能与大数据也存在着明显的区别，人工智能是一种计算形式，而大数据是一种传统计算，它不会根据结果采取行动，只是寻找结果
    • 二者要达成的目标和实现目标的手段不同