彭亚风 罗照盛 喻晓锋 高椿雷 李喻骏

    (1江西师范大学心理学院, 南昌 330022) (2华南师范大学心理应用研究中心/心理学院, 广州 510631)

    1 前言

    认知诊断评价(Cognitive Diagnose Assessment,CDA, Leighton & Gierl, 2007)是对个体知识结构、加工技能或认知过程的诊断评价。相对于为考生提供单一能力估计值的项目反应理论(Item Response Theory, IRT), CDA充分吸收认知心理学对人类认知加工过程内在机制的研究成果, 结合相应的心理计量学模型——认知诊断模型(Cognitive Diagnosis Models, CDMs), 实现了对考生细粒度认知技能或属性(Attribute)掌握情况的诊断, 有助于教师开展补救教学, 学生进行自我学习。

    CDA的一个核心要素和基础是Q矩阵。Q矩阵表征了CDA中测验(如无特别说明, 本文中的测验均指认知诊断测验)编制的属性蓝图(Leighton,Gierl, & Hunka, 2004), 反映的是研究者对于测验构想的一种设计, 是测验构念和内容设计的直观体现, 矩阵元素用0和1表示每一个项目是否测量了相应的属性。它将不可观察的知识状态(Knowledge State, KS)或属性掌握模式(Attribute Master Pattern,AMP)与观察作答反应模式(Observed Response Pattern, ORP)联系起来, 从而完成对被试是否掌握特定技能或属性的诊断评估。因此, 作为中间媒介的Q矩阵对诊断效果有着直接的影响。

    有效的Q矩阵是CDA中关注的焦点问题。Q矩阵的获取方法主要有两种：第一种是事后分析法,即：先编制测验项目, 再由相关专家来确定测验项目所考核的属性, 进而得到Q矩阵; 第二种,Leighton等人(2004)建议在测验之前就由专家给出欲测属性及这些属性间的层级关系(hierarchy relation), 并据此设计Q矩阵, 再依据Q矩阵编制测验项目。Gierl等研究者认为事后分析法导出Q矩阵的方法逻辑性不强(Gierl, Leighton, & Hunka,2000)。因为对CDA来说, 诊断被试对特定属性的掌握情况是其目的, 测验项目是用来对事先确定的属性进行精准诊断的“工具”。而事后分析法在诊断目标确定之前, 先编制诊断工具, 即测验项目。因此, 第二种方法比事后分析法更符合CDA的逻辑。

    根据第二种方法的逻辑, 在测验编制时应预先确立属性及其层级关系, 然后设计Q 矩阵, 命题专家依据所设计的Q矩阵编制测验项目 ......