游晓锋 杨建芹 秦春影 刘红云

    认知诊断测评中缺失数据的处理：随机森林阈值插补法*

    游晓锋1杨建芹1秦春影1刘红云2, 3

    (1南昌师范学院数学与信息科学学院, 南昌 330032) (2应用实验心理北京市重点实验室;3北京师范大学心理学部, 北京 100875)

    认知诊断测评中缺失数据的处理是理论和实际应用者非常关注的研究主题。借鉴随机森林插补法(RFI)不依赖于缺失机制假设的特点, 对已有的RFI方法进行改进, 提出采用个人拟合指标(RCI)确定插补阈值的新方法: 随机森林阈值插补方法(RFTI)。模拟研究表明, RFTI在插补正确率上明显高于RFI方法; 与RFI和EM方法相比, RFTI在被试属性模式判准率和边际判准率上表现出明显优势, 尤其是非随机缺失和混合缺失机制, 以及缺失比例较高的条件下, 其优势更加明显。但对项目参数的估计, RFTI方法与EM方法相比不具有优势。

    缺失数据, 认知诊断测评, 随机森林阈值插补, 随机森林插补, EM算法

    1 引言

    近年来, 教育与心理评估的实践越来越关注测评结果的应用, 随着信息技术的发展和精准测评服务的需求, 测评日益融入日常的教学和学习过程(Bennett, 2010)。认知诊断测评(cognitive diagnosis assessment, CDA)通过被试在测验上的反应模式对其特定的知识结构(knowledge structure)和加工技能(processing skills)进行评价, 而推知被试的知识状态(knowledge state, KS), 从而对其优势和劣势提供更具诊断性的信息。认知诊断测评由于其在测评结果反馈上的优势备受研究者和实践应用者的青睐, 然而, 实际测验中往往不可避免存在缺失数据。造成数据缺失的原因有多种, 一方面测验设计上可能带来作答数据缺失, 例如, 国际大规模PISA测试、分层教学等个性化学习的测试, 每个学生只完成全部测试的部分题目; 另一方面, 除设计造成的缺失数据外, 由于其他原因产生的缺失数据也很常见, 例如, 由于测验时间限制或测验安全方面的考虑, 以及测试者有意忽略测验中某些题目等(Cheema, 2014; Mislevy & Wu, 1988; Pohl et al., 2014; Rose et al., 2010)。大量的研究证实不同缺失值处理方法会对个体知识状态的估计精度带来不同影响(Dai, 2017; Pan & Zhan, 2020)。因此, 在实际 CDA 测验中应重视缺失数据问题, 并选用合适方法处理, 以提升诊断精度(宋枝璘等, 2022) ......