教育测量——效度

关于教育测量——效度的思维导图，效标关联效度又称为准则关联效度、实证效度。指测量分数与某一外部效标间的一致性程 度，即测量结果能够代表或预测效标行为的有效性和准确性程度。

效度

• 效度的类型 与估计
  • 内容效度
    • 定义：指测评项目对需要测量的内容或行为范围取样的适当程度， 即实际测评到的内容与期望测评的内容的一致性程度
    • 计算方法：专家评定法（定性分析）；复本法；重测法
    • 适用范围：主要用于评价标准参照测验。例如，成就测验和选拔或分类测验 Q：为什么不适用于能力倾向测验或人格测验 A: 对于能力倾向测验或人格测验很难去把握，普遍认可的标准不强， 没有恒定的标准。而学业测评一般测评内容有固定标准，有知识重点和关键内容
    • 相关概念：表面效度
      • 定义：指表面看起来测验内容与测验目的的一致性程度， 是被试或其他未受过专门训练的观察者对测量的有效性的估计
      • 对表面效度的要求
        • 最高水平测验：高
        • 典型行为测验：低
  • 效标关联效度
    • 定义：又称为准则关联效度、实证效度。指测量分数与某一外部效标间的一致性程 度，即测量结果能够代表或预测效标行为的有效性和准确性程度。
    • 效标
      • 定义：希望做出推断的行为或被预测的行为是检验测验有效性的标准，简称效标。 测验=预测源 行为=效标
      • 两种效标关联效度
        • 同时效度：测验对目前表现预测得有多好；在时间上同时获得测验结果和行为结果 ——用于诊断现状，例如”他被录取了吗“
        • 预测效度：测验对未来表现预测得有多好；当前测量和未来行为效标不同时 ——用于预测未来，例如”他能被录取吗“
      • 效标的选择：效标关联效度分析的关键——常见的效标，如学业成就、先前被证明是有效的测评结果、等级评定结果、临床诊断、实际工作表现与成绩、特殊训练成绩、学业成就
      • 估计方法
        • 相关法（效度系数）
          • 定义：实施预测源测验，同时或一段时间后收集效标资料，计算预测源分数与效标测量的相关系数。比如自编测验与标准测验相关度。
          • 影响因素：预测源与效标信度
        • 区分法
          • 定义：根据效标分数把被试分成两组，对这两组被试在预测源上的平均数进行差异显著性检验。
          • 检验方法：Z检验；T检验
        • 命中率
          • 基础率
            • 定义：在未经选择的团体中某一现象的出现率，或自然发生率。 例如，重庆的交通事故率
            • 基础率=实际成功人数/总人数
            • 测验要有效，必须比单纯依靠基础率做出更多的正确决定
          • 总命中率
            • 定义：根据测验正确录取和正确拒绝的人数之和（命中）与总人数之比
            • 总命中率=命中人数/总人数
          • 正命中率
            • 定义：根据测验录取的人中合格者（正确录取）所占的比例
            • 正命中率=正确录取/录取人数
  • 构想效度
    • 定义：又称为结构效度、构念效度，是指测验能够测量到理论上的构想和特质的程度，即测验的结果是否能证实或解释某一理论的假设、术语或构想，解释的程度如何。
    • 计算方法
      • 相关法
        • 测验内——测验的内部一致性（同质性）； 库德-理查逊公式；克伦巴赫α系数
        • 测验间
          • 相容效度：编测验与已知的某个测量相同特质的效度高的旧测验相比较，若二者相关高，则新测验效度较高。如，自编智力测验和韦氏智力量表
          • 聚合效度：测量相同特质的测验之间相关要高，若相关系数高，聚合效度高。
          • 区分效度：测量不同特质的测验相关要低，相关系数越低，区分效度越好。
      • 因素分析法
        • 定义：有20个艺术能力测验，但这些测验只测量了艺术能力的两个共同特质：创造力和灵巧性，这些共同特质称为因素。即用更少的因素概括解释许多相互关联的变量。
        • 计算步骤
          • 计算各测验分数间的相关，列出相关矩阵
          • 抽取一定数目的共同因素，列出因素矩阵
          • 对因素进行辨认和命名
          • 将每个测验的因素构成与测验预测的构想相对照， 就可以判断各测验是否具有构想效度
  • 小结
    • 同一测验用于不同的目的时，应该使用不同的效度分析方法
    • 内容效度、效标关联效度、构想效度不是性质不同或逻辑并列的类型
    • 构想效度是一个综合的概念，包括其他两类效度
• 影响效度的因素
  • 测验本身的因素
    • 测验的长度
    • 项目的质量：如难度、区分度
    • 项目的取样：与内容效度有关
  • 施策因素：测时限和指导语、评分标准与评分、施测环境
  • 被试因素
  • 效标因素
  • 信度的影响：信度是效度的必要条件