教师效能的有效评价：路在何方？(2)
在理想条件下，VAM所使用的测试内容应该在广度和深度上完整测量学生成就。然而，在实践中没有测验满足这个严格的标准。增值评价最终能否改善或者破坏教师评价效果取决于VAM指标能否精确识别个别教师对学生学习的影响并因此提供教师效能的可靠测量。在技术和实施方面，VAM能够做到这一点必须满足几个条件。
(1)反映出学生成绩的测验能够很好地测量学生的学习，学生的实际成就沿着一个垂直量表，能够全面表现出测量相等时间间隔的可能成就。
(2)校内或校际间学生随机分配给教师，即分配给一名教师的学生群体的学习条件及特征和分配给其他教师的没有本质区别。
(3)用来测量增长的这段时期教师是惟一影响学生学习的因素。
当然，这样的假设不成立，测量学习增长的误差的程度和把他们归因于一个特定教师的程度取决于他们多大程度上违反了这些条件以及统计方法多大程度上能够补救这些问题。一个学生一段时期给定一个科目的学生成绩除了和个别教师有关外，还和很多因素都有关系：学校因素，例如班级规模、所选课程、教学时间、可用的专家、导师、书籍、计算机、实验室和其他资源；之前的教师和学校，其他现在的教师之间专业学习和协同计划的机会；同伴文化和成绩；家庭因素，例如父母协助家庭作业、保障饮食和住宿的能力、身体或者精神上的支持或虐待等；个体学生需要、健康和出勤率。鉴于所有这些对学习影响的因素，教师在学生成就变化中只占很小的比例也不足为奇了，一般估计低于10%。
, 百拇医药
2.模型调整不足引起的误差
ASA指出从班级差异水平计算VAM分数，在回归模型中通过背景变量是无法解释的。这些班级差异水平可能是来自不包括在模型中的其他因素(例如，班级规模、教授特殊需求學生或者有接受课外辅导的学生)。作为教师贡献的一种测量，VAM分数的效度取决于采用的特定的回归模型多大程度上能够调整那些产生系统影响的其他因素、偏差和教师的VAM分数。例如，天才学生或者在测验分数中表现收益更少的残疾人，如果模型不能准确地考虑到他们的情况，可能导致有偏差的VAM分数。
即使使用连续几年的数据计算并且在最好的条件下建模，VAM分数本身还是有很大的标准误，从而使排名不稳定。一方面结合连续几年的VAM可以减少VAM得分的标准误。另一方面，当一个模型系统地低估那些工作在特定的环境或者服务特定类型学生的教师效能时，多年的数据对引起的问题并不起作用，因为系统低估将会出现在每一年的数据中。
3.随机误差
, 百拇医药
随机误差意味着增值测量随时间的不同而产生的不稳定性。例如，假期前的分数不能预测学生假期后的分数(假期是否学习)。如果VAM偏差很大或者不可靠，可能导致错误的人事决策和资源分配，可能阻止有教师择业意向的人进入这个行业。尽管从统计学家的观点来看VAM测量有可接受的属性，对从业人员而言其复杂的计算和固有的变化性能够降低表面效度。以Corcoran 为代表的悲观主义论认为，VAM测量缺乏透明度并且不精确，所以关于VAM测量显著提高教学效能和专业质量的潜能显然是被夸大了。信度是指研究的方法、条件和结果的可重复性、可验证性。一些偶然误差，例如标准化考试测量误差、学生考试期间生病、某一年分配给教师的生源差别大等可以解释教师增值的不稳定。研究发现，学校增值在不同学科间一致性程度较低，基于同一届学生计算的学校增值在不同年份中缺乏稳定性。
(二)问责制下的增值评价
1.滥用的后果
Margaret Wu在针对把学生的测验分数和教师问责联系起来这种现象明确指出了统计滥用的后果。他指出教师问责制不能通过学生测验分数来建立，因为推断是猜想而不是证据，而且推断总是有误差的。即使控制了学生的社会经济地位，仍然有学校控制之外的其他因素。对于一个有学习困难的学生，即使它的误差很小，但是用于评价教师也是无效的，因为与教师表现关系不大。单独使用统计推断不能用作任何高利害决策，因为测量得到的是团体效应而不是个体效应，且统计推断并不意味着采用大量的例子，而是在缺乏其他证据的时候来提供支持的证据。
, http://www.100md.com
2.用于决策还是筛选
VAM可能是表现得相对有用的指标，能够分离出非常高或非常低表现的教师。校长可以充分利用这种信息作为一个早期预警信号或者在极端情况下作为解雇的理由。然而对大量教师来说，VAM作为工作绩效指标的使用又是另外一件事情。鉴于VAM固有的不稳定性，在高利害系统使用VAM需要保守的设计，比如惩罚和奖励只针对那些明显非常高或非常低的表现，以及统计一个不确定性的可接受的低水平。一个满足这些保守标准的VAM系统最后只用在极端的案例中，而对大部分的教师只能提供很小的反馈。这就引出一个问题：除了能够识别出最差的教师外，VAM还能为校长和其他教育工作者做什么[7]？
三、质量改进和增值模型
(一)加强公众对增值评价的统计数据的了解
对于VAM分数是怎么来的，为什么能够用来评价教师对学生成绩增长的贡献，我们要让被评价的教师理解这种评价方式。可以通过开发和改进用于教育的统计模型，在设计实验和解释统计结果中提供指导，应用专业知识帮助指导存在不确定性时的判断。VAM是复杂的统计模型，需要高水平的统计专业知识，尤其是当VAM成为高利害问责制的一部分时需要使用良好的统计实践进行解释，包括模型假设，模型与数据的吻合程度如何，模型各方面估计的灵敏性以及报告估计精度的方法，如置信区间或标准误等。当然不能完全单纯依赖于统计数据，VAM分数在统计特性上足够良好不代表就是完美的，我们也要结合使用其他工具。
, http://www.100md.com
(二)结合使用其他评价工具
增值使用的一个重大转变是作为一个“筛选过程”。增值测量可以用来最初识别表现有问题的教师，但是最后决定表现则应该是基于收集的其他信息(例如课堂观察)。筛选方法能够避免数据缺失问题和解决教育者对增值测量的其他担忧，比如增值可以作为防止无度和可提高信度的制衡系统的一部分[8]。教师增值可能不能完全考虑学生追踪数据(学生转入和转出班级)，这样结果就更不稳定。因此可以把教师作为教师团队中的一员来评价，即合作教学的增值评价方法，因其包含更多的学生信息而避免了数据追踪问题，能够减少系统和随机误差，还可促进每一个团队内的教师之间的合作和协调。另外还可以结合使用学校校长观察和同行评议[9]，或者选择能得到及时的反馈信息从而有助于提高教学质量的课堂观察。, 百拇医药(刘铁川 王闪闪 尤晨晨)
(1)反映出学生成绩的测验能够很好地测量学生的学习，学生的实际成就沿着一个垂直量表，能够全面表现出测量相等时间间隔的可能成就。
(2)校内或校际间学生随机分配给教师，即分配给一名教师的学生群体的学习条件及特征和分配给其他教师的没有本质区别。
(3)用来测量增长的这段时期教师是惟一影响学生学习的因素。
当然，这样的假设不成立，测量学习增长的误差的程度和把他们归因于一个特定教师的程度取决于他们多大程度上违反了这些条件以及统计方法多大程度上能够补救这些问题。一个学生一段时期给定一个科目的学生成绩除了和个别教师有关外，还和很多因素都有关系：学校因素，例如班级规模、所选课程、教学时间、可用的专家、导师、书籍、计算机、实验室和其他资源；之前的教师和学校，其他现在的教师之间专业学习和协同计划的机会；同伴文化和成绩；家庭因素，例如父母协助家庭作业、保障饮食和住宿的能力、身体或者精神上的支持或虐待等；个体学生需要、健康和出勤率。鉴于所有这些对学习影响的因素，教师在学生成就变化中只占很小的比例也不足为奇了，一般估计低于10%。
, 百拇医药
2.模型调整不足引起的误差
ASA指出从班级差异水平计算VAM分数，在回归模型中通过背景变量是无法解释的。这些班级差异水平可能是来自不包括在模型中的其他因素(例如，班级规模、教授特殊需求學生或者有接受课外辅导的学生)。作为教师贡献的一种测量，VAM分数的效度取决于采用的特定的回归模型多大程度上能够调整那些产生系统影响的其他因素、偏差和教师的VAM分数。例如，天才学生或者在测验分数中表现收益更少的残疾人，如果模型不能准确地考虑到他们的情况，可能导致有偏差的VAM分数。
即使使用连续几年的数据计算并且在最好的条件下建模，VAM分数本身还是有很大的标准误，从而使排名不稳定。一方面结合连续几年的VAM可以减少VAM得分的标准误。另一方面，当一个模型系统地低估那些工作在特定的环境或者服务特定类型学生的教师效能时，多年的数据对引起的问题并不起作用，因为系统低估将会出现在每一年的数据中。
3.随机误差
, 百拇医药
随机误差意味着增值测量随时间的不同而产生的不稳定性。例如，假期前的分数不能预测学生假期后的分数(假期是否学习)。如果VAM偏差很大或者不可靠，可能导致错误的人事决策和资源分配，可能阻止有教师择业意向的人进入这个行业。尽管从统计学家的观点来看VAM测量有可接受的属性，对从业人员而言其复杂的计算和固有的变化性能够降低表面效度。以Corcoran 为代表的悲观主义论认为，VAM测量缺乏透明度并且不精确，所以关于VAM测量显著提高教学效能和专业质量的潜能显然是被夸大了。信度是指研究的方法、条件和结果的可重复性、可验证性。一些偶然误差，例如标准化考试测量误差、学生考试期间生病、某一年分配给教师的生源差别大等可以解释教师增值的不稳定。研究发现，学校增值在不同学科间一致性程度较低，基于同一届学生计算的学校增值在不同年份中缺乏稳定性。
(二)问责制下的增值评价
1.滥用的后果
Margaret Wu在针对把学生的测验分数和教师问责联系起来这种现象明确指出了统计滥用的后果。他指出教师问责制不能通过学生测验分数来建立，因为推断是猜想而不是证据，而且推断总是有误差的。即使控制了学生的社会经济地位，仍然有学校控制之外的其他因素。对于一个有学习困难的学生，即使它的误差很小，但是用于评价教师也是无效的，因为与教师表现关系不大。单独使用统计推断不能用作任何高利害决策，因为测量得到的是团体效应而不是个体效应，且统计推断并不意味着采用大量的例子，而是在缺乏其他证据的时候来提供支持的证据。
, http://www.100md.com
2.用于决策还是筛选
VAM可能是表现得相对有用的指标，能够分离出非常高或非常低表现的教师。校长可以充分利用这种信息作为一个早期预警信号或者在极端情况下作为解雇的理由。然而对大量教师来说，VAM作为工作绩效指标的使用又是另外一件事情。鉴于VAM固有的不稳定性，在高利害系统使用VAM需要保守的设计，比如惩罚和奖励只针对那些明显非常高或非常低的表现，以及统计一个不确定性的可接受的低水平。一个满足这些保守标准的VAM系统最后只用在极端的案例中，而对大部分的教师只能提供很小的反馈。这就引出一个问题：除了能够识别出最差的教师外，VAM还能为校长和其他教育工作者做什么[7]？
三、质量改进和增值模型
(一)加强公众对增值评价的统计数据的了解
对于VAM分数是怎么来的，为什么能够用来评价教师对学生成绩增长的贡献，我们要让被评价的教师理解这种评价方式。可以通过开发和改进用于教育的统计模型，在设计实验和解释统计结果中提供指导，应用专业知识帮助指导存在不确定性时的判断。VAM是复杂的统计模型，需要高水平的统计专业知识，尤其是当VAM成为高利害问责制的一部分时需要使用良好的统计实践进行解释，包括模型假设，模型与数据的吻合程度如何，模型各方面估计的灵敏性以及报告估计精度的方法，如置信区间或标准误等。当然不能完全单纯依赖于统计数据，VAM分数在统计特性上足够良好不代表就是完美的，我们也要结合使用其他工具。
, http://www.100md.com
(二)结合使用其他评价工具
增值使用的一个重大转变是作为一个“筛选过程”。增值测量可以用来最初识别表现有问题的教师，但是最后决定表现则应该是基于收集的其他信息(例如课堂观察)。筛选方法能够避免数据缺失问题和解决教育者对增值测量的其他担忧，比如增值可以作为防止无度和可提高信度的制衡系统的一部分[8]。教师增值可能不能完全考虑学生追踪数据(学生转入和转出班级)，这样结果就更不稳定。因此可以把教师作为教师团队中的一员来评价，即合作教学的增值评价方法，因其包含更多的学生信息而避免了数据追踪问题，能够减少系统和随机误差，还可促进每一个团队内的教师之间的合作和协调。另外还可以结合使用学校校长观察和同行评议[9]，或者选择能得到及时的反馈信息从而有助于提高教学质量的课堂观察。, 百拇医药(刘铁川 王闪闪 尤晨晨)
参见：首页 > 保健版 > 家庭健康 > 职业与健康 > 教师