测量效度

心理与教育测量第五章测量效度，讲述了效度的概念及公式、测量效度的前提、内容效度、结构效度、时政效度、效度验证的举证模式。

第 五 章 测 量 效 度

• 在原测量工具之外寻求新的证据来肯定或否定某一测量工具准确性的做法就是在研究测量的效度问题
• 效 度
  • 概念及公式
    • 指一个测验或量表实际能测出其所要测的心理特质的程度。也就是说,这个测验能在多大程度上反映出我们所测量的东西（准确性+有效性）
      • 在测量理论中，效度被定义为：在一列测量中，与测量目的有关的真实变异数（由所要测量的变因引起的有效变异）与总变异数（实得变异数）的比率，即
        • • 是效度系数
          • 是有效变异数
          • 是总变异数
  • 定义
    • （1）效度是一个相对的概念
      • ①效度是相对于一定的测量目的而言的—一个测验是否有效，看其是否达到目的
      • ②心理测量只能达到某种程度上的准确—效度不会为0
    • （2）效度是测量的随机误差和系统误差的综合反映
    • （3）判断一个测量是否有效要从多方面搜集证据
    • 效度所要回答的问题是： （1）一个测验测量了什么特性？或者说，测验测到了它所要测量的东西吗？ （2）它对所要测量的特性测得有多准？
  • 与信度的关系
    • 1、信度高是效度高的必要而非充分条件，即效度高一定信度高，反之不一定。（比如，用标准米尺来量身高是有效也是可信的，但是如果用英文来考一批母语为中文孩子的数学，虽然多次测量的结果可能很一致（即信度高），但是它的测量效度未必高，因为考生的英文水平会影响数学水平的发挥。
    • 2、测验的效度受它的信度制约。信度总是大于效度的。
  • 影响效度的误差来源
    • 1、测验题目不能反应要测量的特征
    • 2、实施过程偏离了标准化的程序
    • 3、被试不如实回答
• 效 度 的 评 估
  • 测量效度的前提
    • 测量效度的评估主要取决于人们对测量目的的解释
      • – 用测量的内容来解释目的
      • – 用心理学上的某种理论结构来解释目的
      • – 用工作实效来解释目的
  • 内容效度
    • 定义
      • 指一个测验实际测到的内容与所要测量的内容之间的吻合程度. 指测验内容在多大程度上反映或代表了所要测量的构念（Haynes, et al., 1995）。
      • 内容效度的判断通常依赖研究者的主观判断
    • 测量内容
      • 1、欲测的知识范围
      • 2、该范围内各知识点所要求掌握的程度
      • 内容效度需要注意： – 无遗漏指标 – 无与构念无关的指标 – 各成分比
    • 适用与不适用
      • 1、适合于测验所要测量的内容总体能够明确界定的情况
        • 教育测验的效度的考察\成就测验\某些用于选拔和分类的职业测验
      • 2、不适用于能力倾向测验和人格测验
        • 因为要测量的是抽象的特质，范围难以界定，没有明确的内容范围就无法考证是否有代表性
    • 与表面效度的关系
      • 表面效度不能算是一种效度，它不反应测验实际测量的东西，它是外行人对某个测验从表面上好像是测某种心理特质的一种现象。当外行人认为某测验能有效地测得某种心理特质时，该测验就被认为有较高的表面效度。一般来说，最佳行为测验（答案有正误之分、主试与被试目的一致，如高考）往往表面效度高，其他测验则希望表面效度低。
    • 确定方法
      • 1、逻辑分析法 或专家判断法
        • （1）明确欲测内容的范围，包括知识范围和能力要求两个方面
        • （2）确定每个题目所要测的内容，并与双向细目表（考试蓝图）对照，逐题比较自己的分类与制卷者的分类，并做记录
        • （3）制定评定量表，对整个测验的有效性做出总的评价
      • 2、统计分析法——克龙巴赫提出，从同一个教学内容总体中抽取两套独立的平行测验，用着两个测验来测同一批被试，求其相关
      • 3、再测法——在被试学习某种知识之前做一次测验，在学过该知识后再做同样的测验
    • 优缺点
      • 优点
        • 内容效度不但是评价学绩测验的最适合的方法，而且是编制任何测验都要加以考虑的基本方面。
      • 缺点
        • 缺乏理想的数量指标，因而妨碍了信息交流和各测验间的相互比较。
  • 结构效度
    • 定义
      • 一个测验实际测到所要测量的理论结构和特质的程度，或者说它是指测验分数能够说明心理学理论的某种结构或特质的程度。（也就是测验结果是否能够证实或解释某一理论、术语或构想，其解释的程度如何）
    • 特点
      • 结构效度的大小首先取决于事先假定的心理特质理论
      • 当实际测量的资料无法证实我们的理论假设时，并不一定就表明该测验结构效度不高
      • 不可能有单一的数量指标来描述结构效度。主要应用于智力测验和人格测验
      • 考察构想效度的宗旨是要回答下面一些问题： 一个测验测量的是什么心理构想？ 对这个构想测得有多好？ 测验分数中有多少变异数是来自测验所欲测量的构想
    • 确定结构效度的三个步骤 （以韦氏量表为例）
      • 1）提出理论假设，并拆分成一些细小的纲目
        • • 智力是一个人去理解和应付他的周围世界的总的才能。
      • 2）依据理论框架，推演出有关测验成绩的假设。
        • • 编制了11个分测验，测量智力的各个方面
      • 3）用逻辑和实证的方法来验证假设。
        • • 因素分析法（言语理解、知觉组织、记忆和注意
    • 估计方法
      • 测验内部寻找证据法
        • 1）首先考察该测验的内容效度；2）分析被试答题过程；3)考察测验的同质性
      • 测验之间寻找证据法
        • 相容效度法-考查新编测验与某个已知的能有效测量相同特质的旧测验之间的相关，若相关高，则新测验有较高效度。
        • 区分效度法-考查新编测验与某个已知的能有效测量不同特质的旧测验之间的相关，若相关高，则新测验效度不高。
        • 因素分析法-通过对一组测验进行因素分析，找出影响测验的共同因素，每个测验在共同因素上的负荷量（即测验与各因素的相关）就是测验的因素效度，测验分数总变异中来自有关因素的比例就是该测验结构效度的指标。
      • 考查测验的实证效度法
      • 多种特质--多种方法矩阵法
      • 因素分析法--探索性因素分析和验证性因素分析
  • 实证效度
    • 定义：一个测验对于特定情境中的个体的行为进行估计的有效性。即一个测验是否有效，应该以实践的效果作为检验的标准。也叫校标关联效度。
    • 效标
      • 定义
        • 衡量一个测验是否有效的外在标准，它是独立于测验并可以从实践中直接获得我们所感兴趣的行为。但我们所感兴趣的行为往往是一个观念上的东西（观念校标），它必须用一个数字或等级来表达（效标测量）
      • 特性
        • 多样性、复杂性、特殊性和时间性
      • 好的效标测量的前提
        • （1）有效性：效标测量与观念效标必须是高度一致（2）可靠性（3）客观性（4）经济实用性
      • 常用校标
        • 学业成就、等级评定、临床诊断、专门的训练成绩、实际的工作表现、产量、治愈率、违规次数、对团体的区分（人口统计学变量
    • 分类
      • 同时效度-校标资料与测验分数同时搜集的
      • 预测效度-校标资料是在测验之后根据实际工作成绩来确定的
    • 确定方法
      • 明确观念校标→确定校标测量→考查测验分数与校标测量的关系
      • 相关法：计算测验分数与校标测量的相关系数
      • 区分法-被试接受测验后，让他们工作一段时间，再根据工作成绩（校标测量）的好坏分成两组。再回头分析这两组被试原先接受测验的分数差异，若差异显著，则说明测验的效度较高。
      • 命中率--a正命中率-被测验选出来的人真正被选对的人数的比率 b负命中率-测验所淘汰的人中真正应该被淘汰的人数的比率 c总命中率-测验选对了的人数和被淘汰了的人数之和与总人数之比
      • 其他---a基础率-符合筛选要求的群体在整个人群总体中所占的比率 b灵敏度-所有真正符合要求的人能被测验鉴别出来的人数的比率 c确认度-所有不合要求的人能被测验真正淘汰的人数的比率 d当基础率较低时，选用灵敏度高的测验才能比较有效。当基础率很高时，选用确认度高的测量工具比较有效。 e功利率-使用测验所带来的好处应大大高于使用测验所耗费的时间、精力和经费。
  • 效度验证的举证模式
• 提高测量效度的方法
  • 影响因素
    • A测验的构成；B测验的实测过程；C接受测验的被试；D所选校标的性质；E测量的信度
  • 提高方法
    • A精心编制测验量表，避免出现较大的系统误差； B妥善组织测验，控制随机误差 C创设标准的应试情境，让每个被试都能发挥正常水平 D选好正确的校标，定好恰当的校标测量，正确使用有关公式。
• 其他效度概念
  • 一、表面效度（外行人看测验题目与测验目的是否一致）二、内部效度（变量间是否存在一定的关系；是否确是自变量的变化引起了因变量变化）；三、外部效度（分总体效度和生态效度）