数据思维（胡广伟）读书笔记

数据思维（胡广伟）读书笔记，汇总了数据思维导论、数据思维基础、原理：信息学视角、数据思维模式、数据生产、数据采集、数据存储、数据预处理、数据分析、数据可视化、数据之殇、数据思维与应用的知识，希望这份脑图会对你有所帮助。

《数据思维》（胡广伟）

• 数据思维导论
  • 数、数据与大数据
    • ”万物皆数“”数是万物的本原“
    • 数据的维度
      • 结构化、半结构化、非结构化数据
      • 零次、一次、二次、三次数据
    • 数据特征
      • 精确性、单一性、实用性、在线性
    • “大数据”
      • 4V：Volume, Variety, Velocity, Value + Full data
      • 规模大、类型多、速度快、价值大、全数据
  • 数据科学
    • 要素
      • 理论（数学与统计学知识）
      • 精神（黑客精神）
      • 实践（领域实务知识）
    • 内容
      • 理论、【数据】-加工、计算、管理、分析、产品开发
  • 思维范式
    • 理论、实验、计算、数据（范式）
    • 数据思维vs传统思维（科学思维、统计思维）
• 数据思维基础
  • 数据思维的产生
    • 世界的本质是数据
  • 数据思维的范式
    • 第四范式
    • 开放、生产、采集、连接、跨界
  • 数据思维的特点
    • 1. 整体性 2. 量化行 3. 互联性 4. 价值性 5. 动态性
  • 数据思维的局限
    • 全数据模式？，数据独裁，道德 等
  • 数据思维的应用
    • 提问-洞察-执行-沟通
  • 数据行为
    • 数据--生产、采集、存储、预处理、分析、展示、治理（数据密集型科学）
• 原理：信息学视角
  • 最大熵原理
    • 不确定性的度量
    • 可推出数据所包含的”信息“或”价值“的度量方法
  • 最小努力原理
    • 齐夫定律等
  • 对数透视现象
  • 信息生命周期理论
    • 数据的创建、保护、访问、迁移、归档以及回收（销毁）
  • 小世界现象
    • 六度分隔 Six Degrees of Separation
    • SWE (Small World Effect)
• 数据思维模式
  • 全数据思维
    • 抽样分析vs大数据分析
  • 容错性思维
    • 接受混乱和错误
  • 实时性思维
    • 成批处理vs实时处理
  • 相关性思维
    • 相关->因果
• 数据生产
  • 概念
    • 用户生成内容(UGC)、数据产品生产
  • 特点
    • 规模增长迅速
  • 目标
    • 所有数据收集后：挖掘、创造、复刻价值
  • 阶段
    • 数据运营，用户生成内容，感知生产
  • 生产源
    • 互联网、移动网络、物联网
• 数据采集
  • 概念
  • 来源
    • 生产源：同上
  • 选择
    • 数据湖
  • 方法和工具
    • 系统日志采集（大规模）
      • Flume
      • Scribe
      • Chukwa
      • Kafka
    • 网络爬虫
      • 流程、策略、工具等
    • 传感器
• 数据存储
  • 传统数据存储
    • RAM, HDD, SSD
  • 大数据时代的数据存储
    • 特点
      • 大容量及高可扩展性
      • 高可用性
      • 高性能
      • 安全性
      • 自管理和自修复
      • 成本
      • 访问接口的多样性
    • 分布式存储系统
      • 一致性、可用性、分区容错性
      • GFS, HDFS
    • 云存储
      • 低成本、动态伸缩、可靠、低能耗、安全
  • 数据库技术
    • ACID特征
      • 原子性
      • 一致性
      • 隔离性
      • 持久性
    • NoSQL
      • CAP理论：Consistency, Availability, Partition Tolerance
        • BASE理论（CAP的特例）
      • 存储模式
• 数据预处理
  • 预处理的必要性
    • 不完整性、含噪声、杂乱性
  • 数据清洗
    • 缺失数据
    • 冗余数据
    • 噪音数据
  • 数据变换
    • 大小、类型变换
  • 数据集成
    • 内容集成（JOIN）、结构集成（CONTACT)
  • 其他预处理方法
    • 数据脱敏（Masking）
    • 数据归约（Reduction）
    • 数据标注
• 数据分析
  • 1. 推测解释数据并使用 2. 检查数据 3. 决策制定 4. 诊断错误 5. 预测未来
  • 业务理解
    • 切忌”数据空想“
  • 数据理解
  • 数据分析分类
    • 结构化数据、文本分析、Web数据、多媒体数据、社交网络数据、移动数据
  • 数据分析方法
    • 分类算法
      • 决策树、SVM支持向量机、KNN最近邻、Bayesian贝叶斯、神经网络（BP, RNN, CNN, MLP）
    • 聚类算法
      • AGNES、BIRCH、CURE、K-Means
    • 关联分析
      • Apriori算法，FP-growth算法
    • 回归分析
      • 线性回归、逻辑回归、多项式回归、逐步回归、岭回归、LASSO回归、弹性网络回归
    • 深度学习
    • 统计方法
  • 数据分析常见陷阱
    • 错误相关、错误比较、抽样偏差、相信巧合、忽视三方等
• 数据可视化
  • 概述
    • 可视化提高效率，只管看到数据之间的关系
  • 工具
    • Excel，Tableau，ECharts，R-ggplot2，D3.js，Processing，BDP
• 数据之殇
  • 数据安全
    • 价值：1. 国家战略 2. 企业利益 3. 个人权利
    • 威胁：1. 数据基础设施安全 2.数据存储安全 3. 网络安全 4. 隐私安全
    • 技术：数据加密等
  • 数据治理
    • 数据高效利用、明确数据应用的原则、规范数据
  • 数据伦理
• 数据思维与应用
  • 城市治理
  • 数字金融
  • 智慧物流
  • 智慧医疗
  • 人工智能
  • 智能制造
  • 现代农业