林 喆 陈 平 辛 涛 ,

    (1北京师范大学发展心理研究所, 北京 100875) (2中国基础教育质量监测协同创新中心, 北京 100875)

    1 引言

    计算机化自适应测验(

    Computerized Adaptive Testing

    , CAT)克服了传统测验存在的一些局限, 不仅能够为被试选择与其能力相匹配的测验, 比较这些被试的能力水平, 还能用更少的题目达到相同的估计精度(Weiss, 1982)。因此, 很多大型评价项目(比如, 美国医生护士资格考试 NCLEX、美国商学院研究生入学考试 GMAT和美国军事服役职业能力测验倾向成套测验 ASVAB)均采用了 CAT的形式(陈平, 张佳慧, 辛涛, 2013)。

    题目检查是传统测验非常重要的组成部分。在传统的纸笔测验中, 被试可以在测验的过程中随时回看检查, 如果出现漏答、笔误、曲解题意等情况,可以及时修改作答(McMorris, 1991); 被试还可以采取跳过题目等合理的答题策略来提高测验综合表现(Vispoel, Hendrickson, & Bleiler, 2000)。题目检查已经成为被试的一种习惯和默许的权利。然而,目前绝大多数的 CAT测验不允许被试返回检查。测验开发者为了保证选题策略的精准定位、能力估计的精度、某些作弊策略的规避、时间效率以及题库安全性等问题不允许被试进行题目检查(Wise,1996)。因此, 允许 CAT题目检查成了传统纸笔测验向CAT发展过程中需要解决的一个关键问题。

    在 CAT中提供题目检查的功能是有必要的。不允许题目检查使被试无法采用纸笔测验中常用的答题策略, 会额外增加紧张和焦虑等负面因素,导致被试出现本不应该出现的错误, 最终影响被试真实能力的估计(Lunz, Bergstrom, & Wright, 1992;Wise, 1996; Vispoel, 1998; Vispoel et al., 2000;Vispoel, Clough, & Bleiler, 2005)。一方面, 不允许题目检查使CAT的效度受到测验无关因素的影响,阻碍纸笔测验向CAT的转化, 影响CAT在实际中的应用(Stocking, 1997)。另一方面, 被试也希望能够检查题目, 并通过检查获得更高的分数(Waddell& Blankenship, 1994; Wise, 1996)。如果题目修改是源于被试自身的认知加工, 那么被试应当获得题目检查和修改的机会。这样才能使他们的能力得到真正的展示, 并且更加准确估计他们的真实能力(Benjamin, Cavell, & Shallenberger, 1987; McMorris,1991) ......