测量信度

心理与教育测量第四章测量信度，讲述了信度概述、信度的估计方法、分半信度、同质性信度、评分者信度、提高测量信度的方法。

第 四 章 测 量 信 度

• 信度概述
  • 信度概念
    • 测量结果的稳定性程度，也是一致性可靠性；用同一测量工具反复测量某人的同一种特质多次测量的结果间的一致性程度，有时也叫测量的可靠性
  • 信度系数
    • 定义
      • 描述测量信度的数量指标，以相关系数来表示；即用同一被试样本所得的两组资料的相关系数作为测量一致性的指标，用 rxx 表示
    • 注意
      • 第一，在不同情况下，对不同样本，采用不同方法会得到不同的信度系数，因此一个测验可能不止一个信度系数；
      • 第二，信度系数只是对测量分数不一致程度的估计，并没有指出不一致的原因
      • 第三，获得较高的信度系数并不是心理测量追求的最终目的，它只是迈向目标的一步，是使测验有效的一个必要条件
    • 应用： 多高可以接受？
      • 一般能力与学绩测验的信度系数在0.90 以上；人格测验的信度系数通常在0.80 以上。
      • 当rxx＜0.70时，不能用测验对个人作评价，也不能在团体间作比较；rxx≥0.70时，可用于团体间比较；rxx≥ 0.85 时，可用于鉴别个人。
  • 信度指数
    • 信度系数的平方根
  • 信度定义
    • 1、信度（信度系数）是一个被测团体的真分数的变异数与实得分数的变异数之比， 即 rxx =
    • 2、信度是一个被试团体的真分数与实得分数的相关系数的平方， 即 rXY =ρxT的平方
    • 理论意义
    • 3、信度是一个测验x（A卷）与它的任意一个“平行测验”x’（B卷）的相关系数， 即 rXY =ρxx’
      • 实际意义
  • 信度作用
    • 1、信度是测量过程中所存在的随机误差大小的反映
      • 公式： SE=SX√1-rxx’ （SE是标准误，SX是实得分标准差，rxx’ 是信度）
      • 标准误：每个人两次测量的分数之差可以构成一个新的分布，这个分布的标准差就是测量的标准误
    • 2、信度可以用来解释个人测验分数的意义
    • 3、信度有助于不同测验分数的比较
• 信度的估计方法
  • 重测信度
    • 含义：用同一个量表对同一组被试施测两次所得结果的一致性程度。其大小等于同一组被试在两次测验上所得分数的皮尔逊积差相关系数
    • 公式：x：第一次测量的实得分数；x-实得分数的平均值；y：第二次测量的实得分数；y-实得分数的平均值，rXY是重测信度。
    • 误差来源
      • 1. 测验本身：测验所测的特性本身就不稳定，例如情绪。
      • 2. 被试方面：成熟、知识的发展并非人人都等量增长，且练习因素、记忆效果也存在个体差异。
      • 3. 施测情境：偶发因素的干扰，如计时错误，情绪波动，健康状况，动机变化等。
      • 重测信度高，说明分数受被试状况和测验情境变化影响小； 预测人在短期内的情况比较好
    • 前提条件
      • 1、所测量的心理特质必须是稳定的，成年人和小孩
      • 2、遗忘和练习的效果基本上相互抵消，第一次和第二次测验需要有间隔时间
      • 3、在两次实测的间隔期内，被试在所要测查的心理特质方面没有获得更多的学习和训练
    • 优缺点
      • 能提供测验结果是否随时间而变化的资料，可作为预测被试特定行为的依据。
      • 易受练习和记忆的影响
    • 意义
      • 1、反应的是在测验时间上的等值性；2、适用于速度测验与人格测验，不适用于难度测验
    • 在使用重测法计算稳定性系数时，应注意以下问题： • 1、信度的取值范围为[0，1]，当信度值较大时，说明 前后两次测量结果比较一致； • 2、两次测验之间的时间间隔要适宜。应由测验的性质、测题类型、测题数量和被试特点所决定； • 3、重测法适用于速度测验而不适用于难度测验； • 4、应注意提高被试者的积极性。
  • 复本信度
    • 含义：指两个平行的测验测量同一批被试所得结果的一致性程度。其大小等于同一批被试在两个副本测验上所得分数的皮尔逊积差相关系数。（同上面）
    • 等值性系数：两个复本测验是同时连续施测的。
    • 稳定性与等值性系数：两个复本测验相距一段时间分两次施测。
    • 平衡设计：为低效施测的顺序效应，随机地选出一半被试先做A卷后再做B卷，另一半被试先做B卷再做A卷。
    • 前提条件
      • 1.首先要构造出两份或两份以上真正平行的测验（即A、B卷）；2.被试要有条件接受两个测验
    • 优缺点
      • 优点：代表性强，信度准，避免练习、记忆效应；缺点：编制复本难，影响积极性，被试容易触类旁通
    • 意义
      • 反应的是在测验内容上的等值性
  • 内部一致性信度
    • 含义：指的是测验内容的一致性或测验内部所有题目的一致性程度，又称同质性信度
    • 方法：估计同质性信度的方法——分半法、库德-理查逊方法、α系数
• 分半信度
  • 含义：将一个测验分成对等的两半后，所有被试在这两半上所得分数的一致性程度。
  • 拓展：由于描述的是两半题目间的一致性，所以有时也称内部一致性系数。
  • 公式
    • 方法与复本信度的类似，但是被试在两半测验上的得分的相关系数只是半个测验的信度，所以还要用斯皮尔曼-布朗公式矫正：
      • • 是两个分数间的相关系数
        • 是整个测验的信度值
    • 上式只有在两半测验分数的变异数（即总体方差）相等时才能使用，否则，就用弗朗那根公式或卢伦公式
      • • 表示所有被试在两半测验上的得分的变异数
        • 表示全体被试在整个测验上总得分的变异数
      • • 表示同一组被试在两半测验上得分之差的变异数
  • 前提条件
    • 在只能施测一次或没有复本的情况下使用
    • 当一个测验无法分成对等的两半时，不宜使用
    • 常用的分半方法有奇偶分半、按题目难度分半等——因此，同一个测验会有多个分半信度
    • 速度测验不适合分半信度
• 同质性信度
  • 定义：也叫做内部一致性系数，是指测验内部所有题目间的一致性程度。
  • 一致性
    • 所有题目测的都是同一种心理特质
    • 所有题目得分之间都具有较高的正相关
    • 当一个测验具有较高的同质性信度时，说明测验主要测的是某一单个心理特质，实验结果就是该特质水平的反映。如果不高，则说明是几种心理特质的综合反映；所以结果不好解释。一种好的方法就是把一个异质的测验分解成多个具有同质性的测验，再根据被试在分测验上的得分分别做出解释。
  • 注意
    • 同质性高才是测验测的单一特质的充分条件。即一些表面上看起来是测量同一种心理特质的题目，如果其题目间不具有较高的正相关，则不能认为它们具有同质性。
  • 目的：判断一个测验能否测到单一特质，以及估计所测到特质的一致性程度
  • 公式
    • • 是所有被试在第i题上的方差；
      • 是测验总分的方差，K代表题目数
• 评分者信度
  • 定义：多个评分者给同一批人的答卷进行评分的一致性程度
  • 公式
    • 当评分者人数多于两个时，评分者信度可用肯德尔和谐系数进行估计
      • • K是评分者人数，N是被评的对象数
        • 是第i个被评对象的水平等级之和
    • 若评分中有相同等级出现
      • • n为相同等级的个数
• 提高测量信度的方法
  • 影响因素
    • 1、被试方面
      • ①单个被试--身心健康状况、应试动机、注意力、耐心、求胜心、态度； ②被试团体--整个团体内部水平的离散程度以及团体的平均水平
    • 2、主试方面；3、施测情境方面；4、测量工具方面；5、两次施测的间隔时间
  • 方法
    • 1、适当增加测验的长度：①新增项目必须与试卷中原有的项目同质②新增项目的数量必须适度
    • 2、使测验中所有的试题的难度接近正态分布，并控制在中等水平；3、努力提高测验试题区分度；4、选取恰当的被试团体；5、主试者严格执行实测规程，评分者严格按标准给分。