统计学基础知识-数据类型、数据搜集、数据误差

统计学基础知识-数据类型、数据搜集、数据误差

统计和数据

• 统计的含义
  • 用来收集数据、分析数据和由数据得出有用信息以帮助决策的概念、原则、方法
  • 描述统计
    • 研究数据搜集、处理和描述的统计学方法
      • 取得研究所需数据
      • 用图表展示数据
      • 进行数据分析
  • 推断统计
    • 研究如何利用样本数据来推断总体特征的统计学方法
      • 参数估计
      • 假设检验
  • 统计应用领域
    • 适用于所有学科领域的通用数据分析方法
  • 统计的误用与滥用
• 数据类型
  • 变量与数据
    • 变量-特点是从一次观察到下一次观察会出现不同结果
    • 数据-观察记录的结果
  • 数据类型
    • 定性变量数据
      • 定性变量的观察结果称为定性数据
        • 反映现象的属性特点，不能刻画出数量的差异
      • 分类变量-类别之间没有顺序或程度上的差别
        • 分类变量的观察结果为分类数据
      • 顺序变量
        • 类别具有一定的顺序（小学、中学、大学）
          • 观察结果就是顺序数据
    • 定量变量数据
      • 数据具有明确的含义，能分类还能测量出来具体大小和差异
        • 观察结果为定量数据
    • 区别
      • 分类变量没有数值特征，不能对数据进行运算
      • 分类数据只能用来区分事物，不能用来表明事物之间的大小、优劣关系
      • 顺序变量能区分客观现象的不同类别，还能表明现象之间的大小、高低、优劣关系
      • 顺序数据的数据可以比较大小，无法互相计算大小、高低、优劣距离，只能反映事物属性差异，不能反映事物在数量的差异-定性数据的一种
      • 由定性到定量、由低级到高级、由粗略到精细
    • 观测数据
      • 各种调查方法得到的数据-各省市GDP、年末人口数据等
    • 实验数据
      • 在严格实验环境下获取的数据-新药开发、农作物试种
    • 横截面数据
      • 多个变量或样本在同一时间节点上的表现-2017年各省直辖市的GDP
    • 时间序列数据
      • 某种变量或样本按照时间顺序在不同时间段上的数据-事物随时间变化-历年数据
    • 面板数据
      • 不同样本在不同时间点上收集的数据，描述多个事物随时间变化而变化-2000-2017年各省市的GDP数据等
• 数据误差
  • 抽样误差
    • 抽取样本的随机性所造成的样本值与总体值之间的差异，称代表性误差
    • 抽样误差能计量且得到控制
    • 误差大小影响因素
      • 总体内部的差异程度
        • 总体内部差异越大，抽样误差越大
      • 样本容量的大小
        • 样本容量越大，抽样误差越小，抽样误差会随着样本容量的增加而缩小
      • 抽样的方式方法
        • 重复抽样比不重复抽样误差大
        • 分层抽样的抽样误差要小于其他类型抽样方式的抽样误差
  • 非抽样误差
    • 抽样框误差
      • 丢失目标总体单元
      • 包含非目标总体单元
      • 复合连接
      • 不正确的辅助信息
    • 应答误差
      • 接受调查时给出的答案与实际不符
    • 无回答误差
      • 没有参与或拒绝接受调查
    • 计量误差
      • 登记错误、数据录入错误
• 数据搜集
  • 数据来源
    • 直接来源
      • 原始数据
        • 统计调查
          • 观测数据
        • 实验法
          • 实验组和对照组的产生应当是随机的
          • 实验组和对照组应当是匹配的
    • 间接来源
      • 次级数据
        • 公开出版的统计数据
        • 尚未公开发表的统计数据
      • 优点
        • 节约时间和费用，取得较好的成果和效益
      • 缺点
        • 注意适用性和时效性
  • 搜集方法
    • 统计调查方式
      • 普查
        • 为某一特定目的而专门组织的一次性的全面调查，用来调查属于一定时点上或一定时期内的社会现象总量
        • 适用搜集某些不能或不适宜于定期的全面统计报表搜集的统计资料， 摸清重大国情国力
        • 优点
          • 全面调查，资料范围全面、详尽、系统
          • 一次性调查，准确性和标准化程度较高
        • 缺点
          • 时间周期长，耗资较多，不宜经常举行
      • 抽样调查
        • 非全面调查，按照一定程序从总体中抽取一部分单位作为样本进行调查， 根据样本调查结果来推断总体特征的数据调查方法
        • 优点
          • 经济性-节省人力物力财力
          • 时效性强
          • 适应面广
          • 准确性高
        • 概率抽样
          • 定义
            • 随机抽样，遵循随机原则，总体中每个单位都有一定的机会被选入样本
          • 特点
            • 按照随机原则抽取样本
            • 用样本统计量推断总体参数
            • 可以计算并控制抽样误差的大小
          • 分类
            • 简单随机抽样
              • 纯随机，直接从总体单位中抽选样本单位，每个个体被选入样本的概率都相等
              • 简单、直观，用样本统计量对目标量进行估计及计算估计量误差均比较方便
            • 分层抽样
              • 类型抽样，将抽样单位按某种特征或某种规则划分为不同的层/组，按照等比例或最优比例方式从每层中独立、随机的抽取样本，最后将各层的样本结合起来对总体的目标量进行估计
              • 保证了样本中包含有各种特征的抽样单位，样本的结构与总体的结构比较相近，提高估计精度
              • 既可以对总体参数进行估计，又可以对各层的目标量进行估计
            • 整群抽样
              • 将总体分R个群，每个群包含若干个单位，随机抽取r个群，再对抽中的群中所有单位都进行调查
              • 优点
                • 简化了编制抽样框的工作量
                • 调查地点集中，节省了调查费用方便调查实施
              • 缺点
                • 估计精度较差
            • 系统抽样
              • 等距抽样/将总体N个单位按某种顺序排列，按规则确定一个随机起点，再每隔一定间隔逐个抽取样本单位
              • 优点
                • 操作简便，有效的提高估计精度
              • 缺点
                • 对估计量方差的估计比较困难
        • 非概率抽样
          • 方便抽样
            • 纯粹以方便为着眼点
            • 优点
              • 容易实施，调查成本低
            • 缺点
              • 样本单位的确定带有随意性，样本无法代表有明确定义的总体
          • 判断抽样
            • 根据主观经验和判断从总体中选取有代表性的单位构成样本
            • 适用于总体单位极不相同而样本容量又很小的情况
            • 不能获得估计值的精度，其精度取决于抽样者的经验
          • 配额抽样
            • 研究人员认为较重要的一些变量把总体单位分类，制定每一类中的样本数额
            • 在每一类中使用方便抽样或判断抽样的方法抽选指定数量的样本
          • 雪球抽样
            • 先找到最初的样本单位，根据信息获得新样本，持续不断
            • 适用于对稀少的特定群体的调查
      • 统计报表
        • 按国家统一规定的调查要求，自上而下的统一布置、自下而上逐级提供基本统计资料的一种调查方式
        • 全面报表
          • 要求调查对象中的每一个单位均要填报
        • 非全面报表
          • 只要求一部分调查单位填报
        • 周期
          • 月报、季报、年报
        • 内容
          • 表式
          • 填表说明
      • 重点调查
        • 在调查对象中选择一部分重点单位进行的一种非全面调查
        • 选择对总体能起主要或决定作用的因素
        • 研究现象的总量在总体中占据绝大部分的特点
        • 适用于调查任务只要求掌握事物的基本情况
      • 典型调查
        • 非全面的专门调查/有意识的选择若干具有典型意义的或有代表性的单位进行调查
        • 作用
          • 补充全面调查的不足
          • 在一定条件下可以验证全面调查数据的真实性
        • 优点
          • 灵活机动，通过少数典型即可取得深入、详实的统计资料
        • 缺点
          • 受主观认识影响
    • 搜集数据方法
      • 询问调查
        • 面访调查
        • 邮寄调查
          • 标准化调查
        • 电话调查
        • 电脑辅助电话调查
        • 座谈会
        • 个别深入访谈
      • 观察实验
        • 观察法
          • 直接观察
          • 间接观察
        • 实验法