统计与数据科学

中级经济师第二十三章统计与数据科学，讲述了统计学、变量与数据、数据来源的分类、统计调查、数据科学与大数据等。

统计与数据科学

• 统计学
  • 统计学定义
    • 收集、整理、分析和从数据中得出结论的科学
  • 两大分支
    • 描述统计：研究数据收集、整理和描述的统计方法
    • 推断统计：研究如何利用样本数据推断总体特征的统计方法；参数估计、假设实验
• 变量与数据
  • 变量：研究队形的属性或特征，可以有两个或者更多个可能的取值
    • 定量变量（数量变量）：取值是数量
    • 定性变量：分类变量取值是类别，顺序变量取值是类别且有顺序
  • 数据：对变量进行测量、观测的结果
    • 定量数据：表现为具体的数据
    • 分类数据：表现为类别，一般用文字和数字描述
    • 顺序数据：表现为类型，一般用文字和数字描述
• 数据来源的分类
  • 按收集方法
    • 观测数据：直接调查和测量而收集的数据，GDP、CPI、房价
    • 实验数据：实验中手机的数据：新产品的使用寿命、新药疗效数据
  • 从使用者的角度
    • 一手数据：直接来源：调查或观察、实验
    • 二手数据：来源于别人的调查和实验的数据
• 统计调查
  • 种类
    • 按调查对象的范围不同
      • 全面调查：全面统计报表、普查（人口普查、经济普查：对象是第二、三产业活动）
      • 非全面调查：非全面统计报表、抽样调查、重点调查和典型调查
    • 按调查登记的时间是否连续
      • 连续调查：在一定时期内的数量变化，产品生产、原材料投入、能源的小浩、人口出生、死亡率
      • 不连续调查：间隔相当长时间，对总体现象在一定时点上的状态，生产设备拥有量、耕地面积
  • 统计调查方式
    • 统计报表
      • 含义：自上而下地统一布置，自下而上地逐级提供基本统计数据的一种调查方式。原始数据为基础，按照统一表式、统一指标、统一报送时间和报送程序进行填报。
      • 分类：按调查范围分为全面统计报表（大多数）和非全面统计报表；按时报送周期分为日报月报季报和年报；按实施范围分为：国家、部门、地方的统计报表
    • 普查
      • 含义：用书手机处于某一时点状态上的社会经济现象的基本全面
      • 普查通常是一次性的或者周期性的：经济10年2次，38实施，1月1日0时；人口10年1次，0实施，11月1日0时；农业10年1次，6实施，1月1日0时
      • 普通一般要规定同于的标准调查时间，数据比较准确，规范化程度较高，使用范围较窄
    • 抽样调查
      • 根据样本调查结果来推断总体数量特征的一种非全面调查
      • 特点：经济性（最显著的优点）、时效性强、适应面广、准确性高
    • 重点调查
      • 所选择的重点单位就调查的标志值来说在总体中占绝大比重，只求了解基本状况和发展趋势
    • 典型调查
      • 具有典型意义或有代表性的单位
      • 作用：弥补全面调查的不足，验证全面调查数据的真实性；优点：灵活机动
• 数据科学与大数据
  • 数据科学
    • 丹麦彼得 诺尔提出，研究数据
  • 大数据
    • 含义：海量、高增长率和多样化的信息资产
    • 特性：4V，数据量大（单位PB）、数据多样性（结构化数据：二维表，非结构化数据：办公文档文本图片报表图像视频音频，半结构数据：员工简历）、价值密度低（与数据成反比）、数据的产生和处理速度快（1秒定律）
  • 数据挖掘
    • 含义：从大量的、不完全的、有噪声的、模糊的、随机的数据提取，数据源必须是真是的、大量的、有噪声的，发现用户感兴趣，发现可接受理解运用的，只支持特定的发现问题
    • 出发点：解决实际问题；核心任务：对数据关系和特征进行探索
    • 类型：指导学习或监督学习（建模），无指导学习或非监督学习
    • 常用算法：分类（监督学习）、聚类分析（无监督学习）、关联分析（反复出现的关联关系和关联性进行挖掘）、趋势与演化分析、其他分析（特征分析、异常分析）
  • 数据可视化
    • 含义：借助图形化手段清洗有效地传达与沟通信息
    • 两个重要分支：科学可视化（面向科学与工程领域的数据）、信息可视化（金融交易、社交网络和文本数据）