导图社区 测验效度、测验的项目分析
测验效度、测验的项目分析,效度是指一个测验或量表实际能测出其所要测的心理特质的程度,简单地说就是一个测验的准确性/有效性。
编辑于2024-11-27 12:35:35测量效度、测验的项目分析
测验效度
效度概述
效度的定义
是指一个测验或量表实际能测出其所要测的心理特质的程度,简单地说就是一个测验的准确性/有效性。 在测验理论中,效度被定义为在一组测量中,与测量目的有关的方差(或称有效方差)与总方差的比率,即:r2xy=S2V/S2X
信度与效度的关系
1.信度高是效度高的必要而非充分条件; 2.效度受信度制约
效度的评估
内容效度
内容效度含义
是指一个测验实际测到的内容与所要测量的内容之内的吻合程度,即该测验是否是所要测量的行为领域的代表性取样。 所要测量的内容或行为领域是依据测量目的而定的,通常包括欲测的知识范围和该范围内各知识点所要求掌握的程度两个方面。
内容效度的评估方法
逻辑分析法/专家判断法
请有关专家对测验题目与原定内容的符合性做出判断,看测验的题目是否代表了规定的内容。因此,内容效度有时又称逻辑效度
统计分析法
1.计算两个评分者之间评定的一致性,即评分者信度。 2.克隆巴赫提出,内容效度可由一组受测者在独立取自同样内容范围的两个复本测验上得分的相关来进行估计——复本信度。(注意虚假相关!) 3.重测信度/再测法(学习前后测验):在学习某一知识前后各做一次测验,进行比较。
经验推测法
即通过实践来检验效度。 不同的被试团体在测验上的得分和对每题的反应有较大差异,一般总分和各题通过率随年级和年龄上升。(成长发展性变化证据) 如儿童发展量表是否有效,经过对不同年龄阶段的儿童进行调查分析,如果通过率随着年龄的增加而增加,就可以推测该测验有内容效度。
内容效度的优缺点
优点:对测验内容的详细描述是编制任何测验都应借鉴的
缺点:缺乏可靠的数量指标,不便于测验间的比较
结构效度
含义
也称构想效度、构思效度,是指一个测验实际测到所要测量的理论结构和特质的程度,或者说测验的结果是否能证实或解释某一理论的假设、术语或构想的程度。
基本特征
①结构效度的大小取决于事先假定的心理结构理论; 具有不同理论构思的测验,其结构效度是无法进行比较的。 ②结构效度有时很难获得。无法证实时,有可能理论有问题或者该实验设计不能对该假设进行适当的检验; ③结构效度没有单一的数量指标,是由各方面的证据累积起来进行评价的。 ④有些测验对所测内容或行为范围的定义或解释类似于理论构想的解释,所以内容效度高实质上也说明结构效度高。
结构效度的确定方法
1、测验内部寻找证据法 2、测验之间寻找证据法 3、考查测验的实证效度法 4、多种特质-多种方法矩阵法 5、实验操作法
测验内部寻找证据法
1.内容效度 2.被试对题目的反应特点 3.同质性信度
测验之间寻找证据法
相容效度:考查新编测验与某个已知效度较高的、能有效测量相同特质的旧测验之间的相关,越高越好
区分效度:也叫求异效度,如果两个测验测量的是不同的特质,即使使用相同的方法进行测量,它们之间的相关也应该很低。
会聚效度:也叫求同效度、聚合效度,如果两个测验测量同一特质,即使使用不同的测量方法,它们之间的相关也应该是高的。
因素分析法:通过对一组测验进行因素分析,找出影响测验的共同因素,每个测验在共同因素上的负荷量(即测验与各因素的相关)就是测验的因素效度,这些因素可能就是我们要测量的心理特质/构想。 测验分数总变异中来自有关因素的比例就是该测验结构效度的指标。
考查测验的实证效度法
将测验所预测的效标的性质与种类作为分析测验的结构效度指标
多种特质-多种方法矩阵法(MTMM)
同时测量两种或以上心理特质,且每种心理特质都使用两种或以上方法来测量。 假设多种特质(如A、B、C)都接受了多种方法(如1、2、3、4)的测量。
实验操作法
适用于易受某些条件影响的测验,如焦虑。根据所要测量特质的理论构想,我们可以预测在某种情况下或经过某种处理,受测者的得分将会有所变化。
结构效度的优缺点
优点:使研究者把测验的目标放在提出假设、验证假设上,重视其理论研究工具的作用,而不仅仅是辅助决策的作用,从而为测验提供了更广阔的发展前景。
缺点:有些构想概念模糊,没有获得一致的定义,无法明确其操作步骤和唯一、客观地指标来确定效度。(操作上的难度)
实证效度
含义
也称效标关联效度(简称效标效度),是指一个测验对处于特定情境中的个体的行为进行估计的有效性,即以实践的效果作为检验标准。 效标:被估计的行为是检验测验效度的标准。
效标
含义
是衡量一个测验是否有效的外在标准,它独立于测验并可以从实践中直接获得的被试的行为特征表现
特征
多样性;复杂性;特殊性和时间性
好效标
相关性;有效性;可靠性;客观性/抗偏性;实用性;无污染
防止校标污染
(1)评定者应综合评定,将评定细节或规则细化,才能尽可能客观; (2)尽量不让评定者知道以前的测验结果,防止评定时产生主观倾向。
实证效度的确定方法
相关法: 计算测验分数与效标测量的相关系数,这一相关系数称为效度系数。 最常用的是积差相关法,因为测验分数和效标测量通常都是连续变量。
区分法; 区分法是检验测验分数能否有效地区分由效标所定义的团体的一种方法。 具体做法是分成高分组与低分组,分析两组被试的测验分数差异是否显著。
命中率法: 命中率法是当测验用来做取舍的依据时,用其正确决定的比例作为效度指标的一种方法。 ①正命中率 指被测验选出来的人中真正被选对了的人数的比率。 ②负命中率 指被测验所淘汰的人中真正应该被淘汰的人数的比率。 ③总命中率 指被测验选对了的人数和被淘汰对了的人数之和与总人数之比。
提高效度的方法
1、测验的构成 2、测验实施中的干扰因素 3、样本团体的性质 4、效标的性质 5、测量的信度
测验的项目分析
测验项目的难度
含义:指被试完成测验项目任务时所遇到困难的程度,通常以P来表示。
项目难度的计算
二分法记分
通过率
极端分组法
非二分法记分
测验难度水平的确定
进行项目难度分析的主要目的是为了筛选项目,项目难度水平多高合适,取决于测验的目的和性质
难度的等距变换
难度对测验的影响
1.测验分数的分布形态:一般中等难度的测验其分数分布呈正态,难度过难或过易都会导致分数分布的偏态。
2. 测验分数的离散程度:测验难度在0.5左右时,分数分布的离散程度最大;难度过大或过小,分数分布的离散程度变小。
3. 测验难度影响测验的信度:测验难度在0.5左右时,分数的分布范围最广,以相关系数为基础的信度也变得相对较高。
4. 测验项目的区分度
测验项目的区分度
含义:又叫鉴别力,指测验项目对被试心理品质水平差异的区分能力或鉴别能力,通常以D来表示
项目区分度的意义
D值在-1~+1之间。 D值为正值,称为积极区分。+1表示项目对被试的心理特质能完全区分。 D值为0,称为无区分,表示项目与被试心理特质水平无关。 D值为负值,称为消极区分。-1表示项目与被试心理水平相反。
项目区分度的计算
项目鉴别指数法
鉴别指数的计算:D=PH-PL D:项目鉴别指数 PH:高分组通过率 PL:低分组通过率
极端组的划分
方差法
相关法
1.点二列相关:适用范围:项目是0、1记分(或二分变量),而效标分数或测验总分是连续变量。
2.二列相关:适用范围:两个都是连续变量,但其中一个变量被人为地分成两类。 项目分数是连续的,而效标分数或测验总分被分为高、低或及格、不及格两类; 效标分数或测验总分是连续的,而项目分数被分成对、错或通过、未通过两类。
3.φ相关:适用范围:两个变量都是二分变量。 四格表:效标分数或测验总分的高分组与低分组,项目分数的通过与未通过。
4.积差相关:适用范围:两个变量都是连续变量。 如果采用测验总分,则项目分值越大,其区分度越大
差异检验法
检验测验总分高分组与低分组的被试在各项目上的得分是否有显著差异,若差异显著,则该项目的区分度较好。
区分度与难度的关系
假如某项目的通过率为1或0,表明高分组或低分组全部通过或者没有人通过,那么此时D=0。 假如某项目的通过率为0.50,有可能是高分组都通过了,而低分组无人通过,那么此时D=1。 难度为1或0时,项目的潜在区分度越小,接近于0;难度为0.50时,项目的潜在区分度越大,接近于1。
区分度的相对性
不同的计算方法,所得区分度不同; 样本容量大小影响相关法区分度值的大小; 分组标准影响鉴别指数值(D); 被试样本的同质性程度影响区分度值的大小。
猜测与项目功能差异分析
猜测与难度猜测校正
多重选择题的项目分析
项目功能差异
在统计学中,项目功能差异表示两组被试在某项目上的表现差异。 出现项目功能差异,意味着一个项目在不同团体中的功能是不一样的或对不同团体是不公平的。
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题
浮动主题