情境判断测验的效度研究述评(1)
摘要：情境判断测验是一种为作答者呈现工作相关的典型情境以及该情境下可能的行为反应，要求根据指导语提示进行选择或评价的测验形式。随着其理论和实践的发展，研究者越来越关注情境判断测验的效度研究，包括对其构想效度、效标关联效度和递增效度的探讨，以及指导语类型、情境保真度以及计分方式等因素对其效度的影响。基于这些研究进展，未来情境判断测验实践领域可能的方向是：(1)开发针对特定构想的情境判断测验；(2)结合具体构想选用相应的指导语；(3)应用作假和培训对效度影响的研究结果指导实践。
关键词：情境判断测验；构想效度；效标关联效度；递增效度
分类号：B841
1、引言
情境判断测验(Situational Judgement Test)应用于人事选拔领域已经有较长时间的历史(e.g.，File，1945；Motowidlo，Dunnette，＆Carter，1990；Weekley＆Jones，1997，1999)。情境判断测验是用来评价个体对工作场所情境所做出的判断(Weekley＆Ployhan，2006)。它为个体呈现的是一些工作相关的典型情境以及该情境下可能的行为反应，要求作答者根据指导语提示进行选择或评价。由于事先给定某一刺激情境下具体的行为反应，来供作答者选择或评定，而不是像评价中心那样，观察、评价作答者在刺激情境下真实的行为，因此，情境判断测验属于一种低保真度的模拟(Lievens，Peeters，＆Schollaert，2008)。早期，和其他用于军事、教育、商业等多个领域人员选拔的测验一样，人们关注的仅仅是情境判断测验的预测效度，即通过一个测验挑选出来的人是否能够很好地应对将来的实际工作。这就造成了对情境判断测验的研究应用走在了理论的前面：一方面，缺乏系统的理论基础，另一方面，测验的本质不是十分清楚。
, http://www.100md.com
近年来，随着整体效度观念的成熟(AmericanEducational Research Association，AmericanPsychological Association，＆National Council 0nMeasurement in Education，1999；Society forIndustrial and Organizational Psychology，Inc.，2003)以及人事测量构想导向(construct-oriented)(e.g.，Anastasi＆Urbina，1997；Arthur＆Villado，2008；Huffcutt，Conway，＆Stone，2001)的兴起，人们不再仅仅关注情境判断测验的预测效度，也对其测量的实质即构想效度的研究提出了更高的要求。同样，在测验的实际开发过程中，人们也不再满足于传统的基于工作分析的开发模式，希望能够针对实际需要开发更加具体化的情境判断测验。
无论是理论发展还是实际需要，都对情境判断测验的进一步研究提出了迫切要求。一些制约情境判断测验今后发展的关键问题被推到了研究者面前：情境判断测验究竟测量到的是什么?它为什么能够预测工作绩效?又有哪些因素会影响到其效度?本文试图在前人研究的基础上，围绕情境判断测验的效度，从相关理论、效度证据、影响效度因素等方面进行探讨。
, 百拇医药
2、相关理论进展
近几年，学者们开始重视对情境判断测验的理论基础和本质的研究。主要代表为，自上世纪90年代之后，Motowidlo等人提出情境判断测验遵循行为一致性原则和隐性特质理论，以及诸多学者围绕情境判断测验是一种方法还是构想的探讨。
Motowidlo等人(1990)基于关键事件分析和专家的判断编制了一套用于选拔电信行业初级经理的情境判断测验，结果显示，作答者在各个情境上的得分与其上级评定之间的相关为0.28到0.37 p<0.01)，即情境判断测验在一定程度上预测了个体的工作表现。为了解释这一结果，Motowidlo等人提出情境判断测验题目是基于实际工作情境中的行为反应并要求作答者根据其惯有行为模式进行评价或选择，它遵循行为一致性的原则(即过去的行为是将来行为最好的预测)。也就是说通过测量个体现在的行为，就可以预测他在将来的表现。
情境判断测验的结果除了可以在一定程度上预测工作绩效，还与认知能力测验和人格测验的结果存在较高的相关(Chan，2006；Ployhart＆Weekley，2006)。由Motowidlo，Hooper和Jackson(2006)提出的隐性特质理论(implicit trait policy)，在一定程度上解释了情境判断测验的结果和人格测验有较高相关的原因。隐性特质理论认为个体在人格特质上的差别影响了其对那些显示出这一人格特质的行为有效性的判断。如，表现出高宜人性的行为确实比低宜人性的行为更有效，那些宜人性高的个体较宜人性低的个体在评价行为有效性的时候，会赋予宜人性以更高的权重，即他们会给表现出高宜人性的行为反应更高的评价。而给低宜人性的反应更低的评价。
, 百拇医药
关于方法和构想之间的争论也是理解情境判断测验研究的关键所在。构想指的是测量的心理或行为维度(如一般智力、责任心、成就动机等)；方法指的是测量某一构想的特定过程或是技术(如面试、纸笔测试、基于情境的测验等)。一些研究者认为情境判断测验测量的是一种单一的构想。如，Steinberg和Wagner(1993)指出情境判断测验测量的是不同于一般智力的实践智力(pracdcalintelligence)，而Schmidt和Hunter(1993)则认为其主要测量的是工作知识(job knowledge)。然而，这些事后被证明是没有足够证据支持的(Gottfredson，2003；McDaniel＆Whetzel，2005)，因为情境判断测验测量的是多维构想而且往往与一般智力相关。很多多维构想的测验，如大五人格测验构想非常清晰，包含责任心、宜人性、情绪稳定性、外倾性和神经质五个维度，然而情境判断测验却往往很难被清晰地界定，这就带来了两个问题：一是很难从根本上解释情境判断测验能够较好预测工作绩效的原因；二是较难编制和已有测验测量相同构想的新测验。Schmitt和Chan(2006)指出，情境判断测验就像面试一样，是一种可以用来测量不同构想的方法，这一方法本身同时又限制了其可以测量的构想。这一观点自提出后在学术界逐渐被接受(Christian，Edwards，＆Bradley，2010；Whetzel＆McDaniel，2009)。
3、效度研究
教育和心理测量标准(The Standards forEducational and Psychological Testing)将效度定义, 百拇医药(刘晓梅 卞冉 车宏生 王丽娜 邵燕萍)
关键词：情境判断测验；构想效度；效标关联效度；递增效度
分类号：B841
1、引言
情境判断测验(Situational Judgement Test)应用于人事选拔领域已经有较长时间的历史(e.g.，File，1945；Motowidlo，Dunnette，＆Carter，1990；Weekley＆Jones，1997，1999)。情境判断测验是用来评价个体对工作场所情境所做出的判断(Weekley＆Ployhan，2006)。它为个体呈现的是一些工作相关的典型情境以及该情境下可能的行为反应，要求作答者根据指导语提示进行选择或评价。由于事先给定某一刺激情境下具体的行为反应，来供作答者选择或评定，而不是像评价中心那样，观察、评价作答者在刺激情境下真实的行为，因此，情境判断测验属于一种低保真度的模拟(Lievens，Peeters，＆Schollaert，2008)。早期，和其他用于军事、教育、商业等多个领域人员选拔的测验一样，人们关注的仅仅是情境判断测验的预测效度，即通过一个测验挑选出来的人是否能够很好地应对将来的实际工作。这就造成了对情境判断测验的研究应用走在了理论的前面：一方面，缺乏系统的理论基础，另一方面，测验的本质不是十分清楚。
, http://www.100md.com
近年来，随着整体效度观念的成熟(AmericanEducational Research Association，AmericanPsychological Association，＆National Council 0nMeasurement in Education，1999；Society forIndustrial and Organizational Psychology，Inc.，2003)以及人事测量构想导向(construct-oriented)(e.g.，Anastasi＆Urbina，1997；Arthur＆Villado，2008；Huffcutt，Conway，＆Stone，2001)的兴起，人们不再仅仅关注情境判断测验的预测效度，也对其测量的实质即构想效度的研究提出了更高的要求。同样，在测验的实际开发过程中，人们也不再满足于传统的基于工作分析的开发模式，希望能够针对实际需要开发更加具体化的情境判断测验。
无论是理论发展还是实际需要，都对情境判断测验的进一步研究提出了迫切要求。一些制约情境判断测验今后发展的关键问题被推到了研究者面前：情境判断测验究竟测量到的是什么?它为什么能够预测工作绩效?又有哪些因素会影响到其效度?本文试图在前人研究的基础上，围绕情境判断测验的效度，从相关理论、效度证据、影响效度因素等方面进行探讨。
, 百拇医药
2、相关理论进展
近几年，学者们开始重视对情境判断测验的理论基础和本质的研究。主要代表为，自上世纪90年代之后，Motowidlo等人提出情境判断测验遵循行为一致性原则和隐性特质理论，以及诸多学者围绕情境判断测验是一种方法还是构想的探讨。
Motowidlo等人(1990)基于关键事件分析和专家的判断编制了一套用于选拔电信行业初级经理的情境判断测验，结果显示，作答者在各个情境上的得分与其上级评定之间的相关为0.28到0.37 p<0.01)，即情境判断测验在一定程度上预测了个体的工作表现。为了解释这一结果，Motowidlo等人提出情境判断测验题目是基于实际工作情境中的行为反应并要求作答者根据其惯有行为模式进行评价或选择，它遵循行为一致性的原则(即过去的行为是将来行为最好的预测)。也就是说通过测量个体现在的行为，就可以预测他在将来的表现。
情境判断测验的结果除了可以在一定程度上预测工作绩效，还与认知能力测验和人格测验的结果存在较高的相关(Chan，2006；Ployhart＆Weekley，2006)。由Motowidlo，Hooper和Jackson(2006)提出的隐性特质理论(implicit trait policy)，在一定程度上解释了情境判断测验的结果和人格测验有较高相关的原因。隐性特质理论认为个体在人格特质上的差别影响了其对那些显示出这一人格特质的行为有效性的判断。如，表现出高宜人性的行为确实比低宜人性的行为更有效，那些宜人性高的个体较宜人性低的个体在评价行为有效性的时候，会赋予宜人性以更高的权重，即他们会给表现出高宜人性的行为反应更高的评价。而给低宜人性的反应更低的评价。
, 百拇医药
关于方法和构想之间的争论也是理解情境判断测验研究的关键所在。构想指的是测量的心理或行为维度(如一般智力、责任心、成就动机等)；方法指的是测量某一构想的特定过程或是技术(如面试、纸笔测试、基于情境的测验等)。一些研究者认为情境判断测验测量的是一种单一的构想。如，Steinberg和Wagner(1993)指出情境判断测验测量的是不同于一般智力的实践智力(pracdcalintelligence)，而Schmidt和Hunter(1993)则认为其主要测量的是工作知识(job knowledge)。然而，这些事后被证明是没有足够证据支持的(Gottfredson，2003；McDaniel＆Whetzel，2005)，因为情境判断测验测量的是多维构想而且往往与一般智力相关。很多多维构想的测验，如大五人格测验构想非常清晰，包含责任心、宜人性、情绪稳定性、外倾性和神经质五个维度，然而情境判断测验却往往很难被清晰地界定，这就带来了两个问题：一是很难从根本上解释情境判断测验能够较好预测工作绩效的原因；二是较难编制和已有测验测量相同构想的新测验。Schmitt和Chan(2006)指出，情境判断测验就像面试一样，是一种可以用来测量不同构想的方法，这一方法本身同时又限制了其可以测量的构想。这一观点自提出后在学术界逐渐被接受(Christian，Edwards，＆Bradley，2010；Whetzel＆McDaniel，2009)。
3、效度研究
教育和心理测量标准(The Standards forEducational and Psychological Testing)将效度定义, 百拇医药(刘晓梅 卞冉 车宏生 王丽娜 邵燕萍)