医学检验方法学研究的设计和文献评价原则
作者：吴泰相 刘关键 王家良
单位：华西医科大学附属第一医院临床流行病学教研室 成都，610041
关键词：
中华检验医学杂志000631 方法学研究在医学检验专业杂志所发表的文章中所占的比例，通常在50%以上。虽然，其中不乏优秀之作，但是，相当一部分文章从设计到指标的应用都有明显的缺陷。我们根据循证医学的原理，提出这类研究的设计和文献评价原则，并运用这些原则对我们认为有问题的典型文章进行分析，意在与同道们商榷，以促进我国医学检验方法学研究和论文水平的提高。
医学检验方法学研究的设计原则
1.确立金标准：新方法的研究，或两种方法以上的比较研究，首先应该确立金标准。如果无法采用直接证据作为金标准，则可采用公认较为准确的方法作为参照标准。
, 百拇医药
2.检测对象的选择：应包括(1)该方法能检测到的目标物，即阳性样本，比如考核乙型肝炎病毒标记物检测试剂必须包括各种类型乙肝病毒携带者；(2)无该方法所能检测到的目标物，即阴性样本。
3.样本大小(也称样本含量)的计算：样本含量大小并非任意确定。太小则不能证明该方法的有效性；太大则浪费人力财力。计算样本含量，首先估计样本中阳性与阴性样本的数量和比例，然后列出四格表(表1)：
表1 评价诊断试验的四格表 被评价方法
金标准
合计
阳性
阴性
阳性
, http://www.100md.com 真阳性a
假阳性b
a+b
阴性
假阴性c
真阴性d
c+d
合计
a+c
b+d
N
则样本含量可用下式估算
, http://www.100md.com
式中p，P0分别为样本率、总体率，p-P0为允许误差，常取总体率(P0)的可信区间间距的一半；Uα查u值表，有单双侧之分，如α取值为0.05，则单侧Uα=1.64，双侧Uα=1.96。
4.阳性判定标准：是指对检测结果认定为阴性或阳性采用的标准，如酶联免疫吸附试验的常用阳性标准为：
5.盲法测定 ：为了避免知情者带着倾向性检测样本，导致敏感性、特异性和一致性高于真实值，应采用盲法测定。
6.列表分析评价和评价指标：
(1)列表：将金标准和待评方法所检测的结果分别填入四格表(表1)。对于两种方法之间的比较，则将金标准改为方法A，被评价方法改为方法B即可。
, 百拇医药
(2)评价指标：
一致性：对于计数指标，采用Kappa值评价一致性；而对于计量指标，则采用相关系数进行评价(另文讨论)。Kappa值[2]：是评价不同方法间，校正机遇一致率后的观察一致率的指标，常用于比较两者间的一致性。简化的校正后Kappa值计算公式为：
其中γ1=a+b，C1=a+c,γ2=d+c，C2=b+d。
Kappa值在0～1之间，其值与一致性强度的关系虽有争议，但在0.75以上时，认为具有高度的一致性。
如果比较2个以上的观察者，则采用分别的两两比较方法，如A和B，B和C，C和A，等等。
, http://www.100md.com
比较两种方法的差异求χ2值，使用卡方校正公式：
查表求得P值，可比较两方法的差异。
7.成本-效益和成本-效果分析：医学检验方法是直接用于临床诊断的，临床医师在作诊断和治疗决策时，应为病人选择最经济有效的诊断和治疗方案。因此，当介绍一种新的检验方法时，如果能对这种方法按照卫生经济学原则作出成本-效益或成本-效果分析，则对临床医师选择诊断方法不无裨益。
8.新方法在实际应用中的效果：按照循证医学的原则，诊断试验应该在实际应用中进行验证；这是因为有时在小范围内的严格实验，在实际应用中可能会出现新的问题。只有在实际应用中也能获得稳定结果的方法，才具有实用价值。
评价原则和步骤
1.新方法是否设立了金标准？
, 百拇医药
2.新方法与金标准之间或不同方法之间的比较是否为盲法？
3.研究资料能否采用四格表进行分析？是否对方法的重复性、敏感性、特异性、一致性等指标进行了表述？(对于计量资料，可选择进行四格表分析。)
4.样本含量、所用标本组成和来源是否合理？是否包括了待测疾病的患者？
5.操作步骤是否清楚？
6.结果判断标准是否明确？
7.正常值的确定是否合理、可靠？
8.新方法在实际应用中能否获得可靠结果？
9.新方法的实用性评价(包括成本-效益分析)。
, 百拇医药 实际应用举例
运用本文提出的设计和文献评价原则，试对《丙型肝炎国产诊断试剂与第三代进口试剂的临床比较研究》[3]一文进行分析评价。
1.该研究是一个3种试剂的诊断一致性比较研究；没有采用金标准；研究目的是将国产试剂与两种国外主流试剂进行对照，指明了以A3、O3两试剂为参照。
2.虽然文中提到“将部分可疑样品送卫生部肝炎试剂中心用双盲法复核”，但对整个试验，即用三种不同的方法对同一批标本进行的检测，并未提到是否采用盲法。
3.研究资料不能采用四格表进行分析，也无评价指标。
为了帮助大家理解采用四格表的分析步骤，我们将原文的资料进行一些改动，假设将原文的判定标准作为金标准(注意：实际上是错误的)，那么，我们可以计算出三种试剂的各项指标如下：
, 百拇医药
表2 XWK试剂与金标准比较的四格表 新试剂XWK
金标准
合计
阳性
阴性
阳性
373
7
380
阴性
1
3 057
3 058
, http://www.100md.com
合计
374
3 064
3 438
表3 XWK试剂与A3试剂比较的四格表 XWK试剂
A3试剂
合计
阳性
阴性
阳性
373
7
380
, http://www.100md.com
阴性
2
3 056
3 058
合计
375
3 063
3 438
敏感性=a/(a+c)=373/(373+1)=0.9973
特异性=d/(b+d)=3057/(7+3057)=0.9977
准确性=(a+d)/N=(373+3057)/3438=0.9977
, 百拇医药
同理，可分别将A3、O3试剂与金标准进行比较，本文为节约篇幅，将其略去。
因此，新试剂(XWK)在一致性、敏感性、特异性和准确性等方面均已达到或超过国外同类试剂的水平。(敏感性和特异性都达到0.99以上的检测方法几乎是没有的，本文只是以此为例说明其计算过程。)
又假设，我们对数据进行一些改动，使该研究符合两两比较的条件，则可计算新试剂与国外同类试剂的差异如下：
两种试剂的差异无显著意义。同理，可比较XWK和O3试剂的差异。
4.样本含量：对于比较新试剂与国外试剂的性能差异是否需要如此大的样本量？这是一个值得商榷的问题。如果已经对样本组成进行了选择，已包括了目标疾病的各种患者，我们认为用不着再花如此大的功夫去筛查。
计算样本含量需对新试剂的敏感性和特异性进行估计，一般比实际估计得稍低一点。设新方法的敏感性为90%(p1)，特异性为80%(p2)，α=0.05(双侧)，δ＝0.08，则其样本含量应为：
, 百拇医药
即阳性样本只需54例(可扩大为60例)，阴性样本只需96例(可扩大为100例)；远远低于该文所采用的样本量。可见，盲目确定样本量，将造成多大的浪费。
标本组成和来源：包括了目标疾病的患者。
5.操作步骤清楚。
6.判定标准不正确。其判定标准为三种试剂检测结果均为阳性者则定为阳性样品；对于可疑标本，即三种试剂中只有一种或两种测为阳性，而另外试剂测为阴性时，则用RIBA HCV 3.0测定抗原种类和PCR法测其HCV RNA，如为阳性则判为阳性。这样作的问题是，其结果不独立于所评价的新试验，易使敏感性和特异性较真实值偏高。如将RIBA HCV 3.0或PCR法作为金标准，则应该用这种方法测定所有标本。既然这两种方法可以将可疑样品中的HCV抗原或RNA检测出来，当然也可能从前述三种试剂所测的阴性样品中找出漏检的HCV抗原和RNA来。所以，无法以RIBA HCV 3.0或PCR法为标准进行比较，只相当于又增加了第4种和第5种不完全的方法，给比较增加了复杂性。
, 百拇医药
7.一致率计算方法错误。该研究使用了“阳性符合率、阴性符合率，及总体符合率”来表示各种试剂之间的一致性。错误有两方面：(1)阳性符合率计算错误，忽略了实测中出现的假阳性的影响，应为：阳性符合率XWK＝373/380＝0.9816＝98.2%，其余类推。(2)计算“总体符合率”时，没有排除机遇一致率的影响。该文对各种试剂检测出的阳性率和阴性率进行比较的方法错误，虽然各种方法测出的阳性率完全或基本一样，但是，不同方法所测出的阳性标本可能并不一致。例如：用甲、乙两方法测定50个标本，甲方法测定的阳性标本为1～20号，乙方法测定的阳性标本为10～30号，二者的阳性率完全一样，按照该文的计算方法，则其一致率＝20/20＝100%。一致率的计算应为：
本例中两法均测为阳性者为10～20号样品，测为阴性者为31～50号，所以，其一致率＝(10+20)/50＝60%，可见，两方法的符合率并不高。按此法计算该研究一致率如下：
, 百拇医药
一致率XWK＝(373+3057)/3438＝0.9977其余类推。
8.关于新试剂的实用性评价。该文报道的是将国产新研制试剂与国外同类试剂进行比较的研究，如果能对其成本-效果分析花上少许笔墨，则能使读者有更完全的印象，更利于新试剂的推广和应用。
参考文献
1，王家良，主编. 临床流行病学——临床科研设计、衡量与评价.上海:上海科学技术出版社,1989.
2，倪宗瓒. 判断的一致性. 见：倪宗瓒，主编.医学统计学. 第2版. 北京:人民卫生出版社,1998,190-193.
3，祁自柏，周诚，谷金莲，等. 丙型肝炎国产诊断试剂与第三代进口试剂的临床比较研究. 中华医学检验杂志，1998，6：348-352.
(收稿日期：2000-05-24), http://www.100md.com
单位：华西医科大学附属第一医院临床流行病学教研室 成都，610041
关键词：
中华检验医学杂志000631 方法学研究在医学检验专业杂志所发表的文章中所占的比例，通常在50%以上。虽然，其中不乏优秀之作，但是，相当一部分文章从设计到指标的应用都有明显的缺陷。我们根据循证医学的原理，提出这类研究的设计和文献评价原则，并运用这些原则对我们认为有问题的典型文章进行分析，意在与同道们商榷，以促进我国医学检验方法学研究和论文水平的提高。
医学检验方法学研究的设计原则
1.确立金标准：新方法的研究，或两种方法以上的比较研究，首先应该确立金标准。如果无法采用直接证据作为金标准，则可采用公认较为准确的方法作为参照标准。
, 百拇医药
2.检测对象的选择：应包括(1)该方法能检测到的目标物，即阳性样本，比如考核乙型肝炎病毒标记物检测试剂必须包括各种类型乙肝病毒携带者；(2)无该方法所能检测到的目标物，即阴性样本。
3.样本大小(也称样本含量)的计算：样本含量大小并非任意确定。太小则不能证明该方法的有效性；太大则浪费人力财力。计算样本含量，首先估计样本中阳性与阴性样本的数量和比例，然后列出四格表(表1)：
表1 评价诊断试验的四格表 被评价方法
金标准
合计
阳性
阴性
阳性
, http://www.100md.com 真阳性a
假阳性b
a+b
阴性
假阴性c
真阴性d
c+d
合计
a+c
b+d
N
则样本含量可用下式估算
, http://www.100md.com
式中p，P0分别为样本率、总体率，p-P0为允许误差，常取总体率(P0)的可信区间间距的一半；Uα查u值表，有单双侧之分，如α取值为0.05，则单侧Uα=1.64，双侧Uα=1.96。
4.阳性判定标准：是指对检测结果认定为阴性或阳性采用的标准，如酶联免疫吸附试验的常用阳性标准为：
5.盲法测定 ：为了避免知情者带着倾向性检测样本，导致敏感性、特异性和一致性高于真实值，应采用盲法测定。
6.列表分析评价和评价指标：
(1)列表：将金标准和待评方法所检测的结果分别填入四格表(表1)。对于两种方法之间的比较，则将金标准改为方法A，被评价方法改为方法B即可。
, 百拇医药
(2)评价指标：
一致性：对于计数指标，采用Kappa值评价一致性；而对于计量指标，则采用相关系数进行评价(另文讨论)。Kappa值[2]：是评价不同方法间，校正机遇一致率后的观察一致率的指标，常用于比较两者间的一致性。简化的校正后Kappa值计算公式为：
其中γ1=a+b，C1=a+c,γ2=d+c，C2=b+d。
Kappa值在0～1之间，其值与一致性强度的关系虽有争议，但在0.75以上时，认为具有高度的一致性。
如果比较2个以上的观察者，则采用分别的两两比较方法，如A和B，B和C，C和A，等等。
, http://www.100md.com
比较两种方法的差异求χ2值，使用卡方校正公式：
查表求得P值，可比较两方法的差异。7.成本-效益和成本-效果分析：医学检验方法是直接用于临床诊断的，临床医师在作诊断和治疗决策时，应为病人选择最经济有效的诊断和治疗方案。因此，当介绍一种新的检验方法时，如果能对这种方法按照卫生经济学原则作出成本-效益或成本-效果分析，则对临床医师选择诊断方法不无裨益。
8.新方法在实际应用中的效果：按照循证医学的原则，诊断试验应该在实际应用中进行验证；这是因为有时在小范围内的严格实验，在实际应用中可能会出现新的问题。只有在实际应用中也能获得稳定结果的方法，才具有实用价值。
评价原则和步骤
1.新方法是否设立了金标准？
, 百拇医药
2.新方法与金标准之间或不同方法之间的比较是否为盲法？
3.研究资料能否采用四格表进行分析？是否对方法的重复性、敏感性、特异性、一致性等指标进行了表述？(对于计量资料，可选择进行四格表分析。)
4.样本含量、所用标本组成和来源是否合理？是否包括了待测疾病的患者？
5.操作步骤是否清楚？
6.结果判断标准是否明确？
7.正常值的确定是否合理、可靠？
8.新方法在实际应用中能否获得可靠结果？
9.新方法的实用性评价(包括成本-效益分析)。
, 百拇医药 实际应用举例
运用本文提出的设计和文献评价原则，试对《丙型肝炎国产诊断试剂与第三代进口试剂的临床比较研究》[3]一文进行分析评价。
1.该研究是一个3种试剂的诊断一致性比较研究；没有采用金标准；研究目的是将国产试剂与两种国外主流试剂进行对照，指明了以A3、O3两试剂为参照。
2.虽然文中提到“将部分可疑样品送卫生部肝炎试剂中心用双盲法复核”，但对整个试验，即用三种不同的方法对同一批标本进行的检测，并未提到是否采用盲法。
3.研究资料不能采用四格表进行分析，也无评价指标。
为了帮助大家理解采用四格表的分析步骤，我们将原文的资料进行一些改动，假设将原文的判定标准作为金标准(注意：实际上是错误的)，那么，我们可以计算出三种试剂的各项指标如下：
, 百拇医药
表2 XWK试剂与金标准比较的四格表 新试剂XWK
金标准
合计
阳性
阴性
阳性
373
7
380
阴性
1
3 057
3 058
, http://www.100md.com
合计
374
3 064
3 438
表3 XWK试剂与A3试剂比较的四格表 XWK试剂
A3试剂
合计
阳性
阴性
阳性
373
7
380
, http://www.100md.com
阴性
2
3 056
3 058
合计
375
3 063
3 438
敏感性=a/(a+c)=373/(373+1)=0.9973
特异性=d/(b+d)=3057/(7+3057)=0.9977
准确性=(a+d)/N=(373+3057)/3438=0.9977
, 百拇医药
同理，可分别将A3、O3试剂与金标准进行比较，本文为节约篇幅，将其略去。
因此，新试剂(XWK)在一致性、敏感性、特异性和准确性等方面均已达到或超过国外同类试剂的水平。(敏感性和特异性都达到0.99以上的检测方法几乎是没有的，本文只是以此为例说明其计算过程。)
又假设，我们对数据进行一些改动，使该研究符合两两比较的条件，则可计算新试剂与国外同类试剂的差异如下：
两种试剂的差异无显著意义。同理，可比较XWK和O3试剂的差异。4.样本含量：对于比较新试剂与国外试剂的性能差异是否需要如此大的样本量？这是一个值得商榷的问题。如果已经对样本组成进行了选择，已包括了目标疾病的各种患者，我们认为用不着再花如此大的功夫去筛查。
计算样本含量需对新试剂的敏感性和特异性进行估计，一般比实际估计得稍低一点。设新方法的敏感性为90%(p1)，特异性为80%(p2)，α=0.05(双侧)，δ＝0.08，则其样本含量应为：
, 百拇医药
即阳性样本只需54例(可扩大为60例)，阴性样本只需96例(可扩大为100例)；远远低于该文所采用的样本量。可见，盲目确定样本量，将造成多大的浪费。
标本组成和来源：包括了目标疾病的患者。
5.操作步骤清楚。
6.判定标准不正确。其判定标准为三种试剂检测结果均为阳性者则定为阳性样品；对于可疑标本，即三种试剂中只有一种或两种测为阳性，而另外试剂测为阴性时，则用RIBA HCV 3.0测定抗原种类和PCR法测其HCV RNA，如为阳性则判为阳性。这样作的问题是，其结果不独立于所评价的新试验，易使敏感性和特异性较真实值偏高。如将RIBA HCV 3.0或PCR法作为金标准，则应该用这种方法测定所有标本。既然这两种方法可以将可疑样品中的HCV抗原或RNA检测出来，当然也可能从前述三种试剂所测的阴性样品中找出漏检的HCV抗原和RNA来。所以，无法以RIBA HCV 3.0或PCR法为标准进行比较，只相当于又增加了第4种和第5种不完全的方法，给比较增加了复杂性。
, 百拇医药
7.一致率计算方法错误。该研究使用了“阳性符合率、阴性符合率，及总体符合率”来表示各种试剂之间的一致性。错误有两方面：(1)阳性符合率计算错误，忽略了实测中出现的假阳性的影响，应为：阳性符合率XWK＝373/380＝0.9816＝98.2%，其余类推。(2)计算“总体符合率”时，没有排除机遇一致率的影响。该文对各种试剂检测出的阳性率和阴性率进行比较的方法错误，虽然各种方法测出的阳性率完全或基本一样，但是，不同方法所测出的阳性标本可能并不一致。例如：用甲、乙两方法测定50个标本，甲方法测定的阳性标本为1～20号，乙方法测定的阳性标本为10～30号，二者的阳性率完全一样，按照该文的计算方法，则其一致率＝20/20＝100%。一致率的计算应为：
本例中两法均测为阳性者为10～20号样品，测为阴性者为31～50号，所以，其一致率＝(10+20)/50＝60%，可见，两方法的符合率并不高。按此法计算该研究一致率如下：
, 百拇医药
一致率XWK＝(373+3057)/3438＝0.9977其余类推。
8.关于新试剂的实用性评价。该文报道的是将国产新研制试剂与国外同类试剂进行比较的研究，如果能对其成本-效果分析花上少许笔墨，则能使读者有更完全的印象，更利于新试剂的推广和应用。
参考文献
1，王家良，主编. 临床流行病学——临床科研设计、衡量与评价.上海:上海科学技术出版社,1989.
2，倪宗瓒. 判断的一致性. 见：倪宗瓒，主编.医学统计学. 第2版. 北京:人民卫生出版社,1998,190-193.
3，祁自柏，周诚，谷金莲，等. 丙型肝炎国产诊断试剂与第三代进口试剂的临床比较研究. 中华医学检验杂志，1998，6：348-352.
(收稿日期：2000-05-24), http://www.100md.com