医学技术评估中循证医学的后评估原理与方法
作者：董恒进 罗春燕 陈英耀 吕军 唐智柳 应向华
单位：200032 上海医科大学医院管理教研室
关键词：医学技术评估；循证医学；后评估
中华医院管理杂志991014
中华医院管理杂志
CHINESE JOURNAL OF
HOSPITAL ADMINISTRATION
1999年 第15卷 第10期 Vol.15 No.10 1999
, 百拇医药
医学技术评估中循证医学的后评估原理与方法
董恒进 罗春燕 陈英耀 吕军 唐智柳 应向华
摘要 笔者描写了医学技术评估中循证医学的后评估原理与方法，并阐明了后评估的内涵，即把相同的研究按照一定的科学原则综合在一起，得出结论或提出新的研究计划的一种过程。后评估有一个较完整的文献评阅框架，包括研究的背景、目的、文献检索、出版偏差、研究结果的测量、数据的质量，以及怎样处理研究结果的齐同性与多个研究结果的合并。
关键词 医学技术评估 循证医学 后评估
Post-evaluation principles and methods of
evidence-based medicine in medical technology evaluation
, 百拇医药
Dong Hengjin, Luo Chunyan, Chen Yingyao, et al.
Hospital Administration Section of Shanghai
Medical University, Shangh ai 200032
Abstract The writer describes the post-evaluation principles a nd methods of evidence-based medicine in medical technology evaluation and expo unds the implication of post-evaluation, viz.the process of synthesizing simila r studies according to certain scientific principles and then coming to conclusi ons or putting forward new research plans. There is a fairly integrated literatu re-review framework for post-evaluation, containing research background, objec tive, document retrieval, printing errors, determination of research results, qu ality of data, and ways of handling the homogeneity of research results and the combination of multiple research results.
, 百拇医药
Key Words Medical technology evaluation Evidence-based Medicine Post-evaluation
医学技术评估的内容包括医学技术的有效性、安全性、经济性与社会性等4个方面[1]。而专门评估医学技术的有效性与安全性则称为循证医学(evidence-based medicine)。有效性与安全性的评估除了自己做试验研究外，还可通过后评估方法得出相对可靠结论。
后评估是一种过程，这个过程把相同的研究按照一定的科学原则综合在一起，得出结论或提出新的研究计划[2]。评估的最终产品包含定性与定量的成份，因为它既考虑每个研究的样本量与量性结果，又考虑研究设计的质量与偏差程度。在不同研究的研究结果相互矛盾时、在研究的样本量很小时、在很难得出有统计显著性结论时以及在大样本试验费用昂贵与耗时长时，后评估则是一个很有用的研究方法。与传统的叙述性文献综述相比，后评估有一个较完整的文献评阅框架[2]。①目的：一般目的与特殊目的；②文献检索：确定录入与排除文献标准及列出录入与排除的文章；③记录研究特征：文献类型及出版日期、研究设计、样本量对照与试验的类型；④记录研究结果：临床死亡与并发症；⑤合并结果统计分析：图形表示、齐同性检验、各研究之间系统差别的检验、Mantel-Haenszel Logistic回归分析等；⑥敏感性分析：后评估之前的主要变量、后评估之后的主要变量；⑦结论与建议。
, 百拇医药
在框架中，按照一定的科学原则，将一些研究结果(证据)综合在一起。在后评估研究中，主要包括研究的设计与统计过程。设计包括研究的背景、目的、文献检索、出版偏差、研究结果的测量与数据的质量；统计包括研究结果齐同性与几个研究结果合并的技术。
一、设计方面
(一)目的：医学技术评估，特别是评估一个技术在临床应用时，后评估一般目的都是要达到一个结论，即这项技术诊断或治疗某种疾病的有效性与安全性怎样。除一般目的外，多数评估都有一些特殊目的，如这种技术有效性在不同年龄与性别之间是否有差别。
(二)文献检索：可以用人工或计算机进行文献检索。计算机文献检索收集的信息多，但要吃准关键词，不然会收集许多无关的文章。但通常文献检索收集到的都是一些已经发表的文献，而未包括没有发表的文献，这可能存在着一定的“出版偏倚”，因为发表的研究有可能在某些方面区别于没有发表的研究。应尽可能采取方法来缩小这个“出版偏倚”，包括仔细研究文章的参考文献，从中挖出未发表的文章等。
, 百拇医药
(三)录入与排除标准：录入与排除标准应该根据后评估的一般目的与特殊目的进行确定。在评阅所有搜集到的文献后也可对标准进行适当地修改。在后评估中，不可能制定一个通用标准，因为医学技术评估的范围很广，并且标准随着后评估目的的不同而不同。例如，分析的目的是评估某种干预措施对生命质量影响，这样仅仅收集那些测量生命质量文献；同样，如果分析的目的是评估某种新技术的副作用，仅仅那些有这项技术副作用研究的报告才被录入。在制定标准之前，先要有一个制定标准的原则。这个原则可以考虑研究设计、样本量大小、试验组与对照组类型、研究的结果是否已经发表以及感兴趣的结果是什么等[2]。如，临床研究者可能认为录入标准应是公开发表的随机临床试验，这就排除了队列(非随机)研究、病例-对照研究、以及未公开发表的研究。如规定每组样本量必须大于或等于20例，这样也就排除了20例以下的研究等。在制定标准时也应适当参考研究方法与提供证据强弱之间的关系。这种关系按强弱顺序排列如下：大样本随机临床试验、有对照的非随机临床试验、非试验性研究、连续多个单个案例研究与单个案例研究等[3]。
, 百拇医药
如果不设定严格的录入文献标准，只设定自由录入文献标准，后评估可以根据一个或多个特征进行分组研究。如可以按照随机与非随机分组以及试验剂量分组来研究这些特征对后评估结果的影响，这方法称为敏感性分析。
(四)收集资料：一旦确定录入与排除标准后，就可根据标准收集资料。每个研究只能录用一次。如果一个研究结果已用多篇文章发表，收集资料时应注意只收集一次，不能重复收集。收集资料的内容一般包括每组病人的数量、每组的试验结果、以及其它一些描述性特征。感兴趣的结果可以用一些连续性变量来测量，如血压水平、生命质量分数；也可用计数变量来测量，如死亡率或并发症发生率；也可用等级变量来测量，如肿瘤的发展阶段；以及用时间系列变量来测量，如寿命表与去死因寿命表。各组之间效果的测量(反映各组之间的效果差别)与资料的类型有关。但最好都记录实际数，而非相对数。在临床试验中计数资料占的比例较多，可用以下4种方法测量各组效果之间的差别(以两组为例)。设每组结果只有两种情况：死亡或生存。Pt表示试验组的死亡率，Pc表示对照组的死亡率。例如某种研究结果Pt=40/100=0.40，Pc=50/100=0.50。表示两组之间差别的第一种方法为反映它们之间的绝对差别，即Pc-Pt=0.50-0.40=0.10；第二种方法为反映相对危险度，即Pt/Pc=0.40/0.50=0.80；第三种方法为反映归因危险度，即(Pc-Pt)/Pc=(0.50-0.40)/0.50=0.20，相对危险度与归因危险度的关系为1-1/相对危险度=归因危险度；第四种方法为反映两组差别的倒数，即1/(Pc-Pt)=1/(0.50-0.40)=10，表示与对照组相比，试验组每增加多少个病人才能避免1例死亡(并发症发生)。
, 百拇医药
在资料收集时经常碰到的问题有两个，一是资料的丢失，二是资料摘录的质量。因为摘录资料是一个乏味的过程，经常会出现差错。
二、统计方面
(一)分析框架：以下几个问题构成了分析框架：不同的研究结果是否一致(这些结果可以合并在一起吗)?研究结果的变异是否与研究特征的变异有关?合并后的均值与可信限是多少?实际上后评估是把多中心的研究结果合并在一起。合并后的统计更具有强大的统计效力。
(二)齐同性与变异因素：后评估方法的假设是不同研究结果的差别来自随机误差(抽样误差)，所以，所有结果都是齐同的，它们都反映了同样的“真实”效果。换句话说，当合并后，各组之间的随机误差都消失，合并后的结果比单个研究结果更有价值。这种假设应该加以证实，如果变异不仅仅是由随机误差导致的，合并将会使结果变得更加复杂，有时会出现误导作用。可用图示法或统计检验方法检验结果的齐同性。
, 百拇医药
图示法，用图表示每个研究的归因危险度是否一致。具体做法为，先做一个标准图，如附图。
附图 归因危险度一致性
用X轴表示对照组的事件发生率，用Y轴表示试验组的事件发生率，X轴与Y轴都平分10等份，用0.1-1.0表示。做坐标为(0，0)、(1，1)两点直线，这条直线表示归因危险度为0，这条直线的上方表示归因危险度为负数，即试验组的事件发生率大于对照组的事件发生率；这条直线的下方表示归因危险度为正数，即试验组的事件发生率小于对照组的事件发生率。另外，再划分2个区域，即归因危险度等于0.25与0.50区域，它们的坐标分别为(0，0)、(1，0.75)与(0，0)、(1，0.50)。
统计检验方法用可Mantel-Haenszel方法进行一致性检验，也可用回归法进行一致性检验。
, 百拇医药
(三)合并结果：在过去的多年里，已经发展了多种方法进行不同研究结果的定量性合并[4]。最简单的一种方法是计票法，将所有的研究结果分成3类：结果有正向统计意义的，结果有负向统计意义的，结果无统计意义的。然后统计每类的研究数(票数)，票数最多的认为是最可信的。此种方法虽然简单，但这种方法没有考虑效果的量值与样本量的大小。当齐同性检验结果表示各组研究结果具有齐同性时，则可把结果进行合并，求出合并均数与可信限。通常使用Mantel-Haenszel合并相对危险度的方法[2，4]。这种方法计算简便，并且在临床研究中应用广泛。合并所有研究事件的发生率就象在一个多中心的研究中合并多中心的结果一样，简单的四格表检验方法可用来检验合并后效果，并可用估计标准误计算相对危险度的可信限。具体方法的计算参见由连氏主编的教科书[5]。复杂一点的方法是用Logistic回归公共比数比的最大似然估计。
(四)敏感性分析：如果改变某些因素，后评估的结果会出现哪些变化呢?要回答这个问题就要进行敏感性分析。例如，如果我们把随机临床试验与非随机临床试验合并在一起，与专门的临床随机试验合并结果进行比较，看看出现的变化。两者相比可能会出现研究类型(随机与非随机)对合并结果影响很小，这样对录入与排除标准的争论就显得不重要；也可能会出现研究类型对合并结果影响很大，这样对录入与排除标准的确定就显得非常重要。在后评估中，敏感性分析是一种解决争端的工具，可帮助解释得出不同结果的原因所在。对不同的研究类型、不同的录入与排除标准等都可以进行敏感性分析发现合并结果的差别，如对合并结果进行多因素分析，可了解不同研究类型、不同录入与排除标准对合并前后影响结果的因素(自变量)变化情况。
, 百拇医药
作者单位：200032 上海医科大学医院管理教研室
参考文献
1 董恒进，陈英耀，吕军，等.医学技术评估的内容与方法.中华医院管理杂志，1998，14：709-711.
2 Kristan AL, Allan SD， Keith O. Meta-analysis in clinical rese arch. Annals of Internal Medicine, 1987, 107:224-233.
3 哥德曼.克利夫. 什么是卫生技术评估.全国医学技术评估研讨会资 料汇编.上海：1999，10-29.
4 Thacker SB. Meta-analysis a quantitative approach to researc h integration. JAMA, 1988,259:1685-1689.
5 连志浩.流行病学.第3版.北京：人民卫生出版社，1994：81-83.
(收稿：1999-03-19), http://www.100md.com
单位：200032 上海医科大学医院管理教研室
关键词：医学技术评估；循证医学；后评估
中华医院管理杂志991014
中华医院管理杂志
CHINESE JOURNAL OF
HOSPITAL ADMINISTRATION
1999年 第15卷 第10期 Vol.15 No.10 1999
, 百拇医药
医学技术评估中循证医学的后评估原理与方法
董恒进 罗春燕 陈英耀 吕军 唐智柳 应向华
摘要 笔者描写了医学技术评估中循证医学的后评估原理与方法，并阐明了后评估的内涵，即把相同的研究按照一定的科学原则综合在一起，得出结论或提出新的研究计划的一种过程。后评估有一个较完整的文献评阅框架，包括研究的背景、目的、文献检索、出版偏差、研究结果的测量、数据的质量，以及怎样处理研究结果的齐同性与多个研究结果的合并。
关键词 医学技术评估 循证医学 后评估
Post-evaluation principles and methods of
evidence-based medicine in medical technology evaluation
, 百拇医药
Dong Hengjin, Luo Chunyan, Chen Yingyao, et al.
Hospital Administration Section of Shanghai
Medical University, Shangh ai 200032
Abstract The writer describes the post-evaluation principles a nd methods of evidence-based medicine in medical technology evaluation and expo unds the implication of post-evaluation, viz.the process of synthesizing simila r studies according to certain scientific principles and then coming to conclusi ons or putting forward new research plans. There is a fairly integrated literatu re-review framework for post-evaluation, containing research background, objec tive, document retrieval, printing errors, determination of research results, qu ality of data, and ways of handling the homogeneity of research results and the combination of multiple research results.
, 百拇医药
Key Words Medical technology evaluation Evidence-based Medicine Post-evaluation
医学技术评估的内容包括医学技术的有效性、安全性、经济性与社会性等4个方面[1]。而专门评估医学技术的有效性与安全性则称为循证医学(evidence-based medicine)。有效性与安全性的评估除了自己做试验研究外，还可通过后评估方法得出相对可靠结论。
后评估是一种过程，这个过程把相同的研究按照一定的科学原则综合在一起，得出结论或提出新的研究计划[2]。评估的最终产品包含定性与定量的成份，因为它既考虑每个研究的样本量与量性结果，又考虑研究设计的质量与偏差程度。在不同研究的研究结果相互矛盾时、在研究的样本量很小时、在很难得出有统计显著性结论时以及在大样本试验费用昂贵与耗时长时，后评估则是一个很有用的研究方法。与传统的叙述性文献综述相比，后评估有一个较完整的文献评阅框架[2]。①目的：一般目的与特殊目的；②文献检索：确定录入与排除文献标准及列出录入与排除的文章；③记录研究特征：文献类型及出版日期、研究设计、样本量对照与试验的类型；④记录研究结果：临床死亡与并发症；⑤合并结果统计分析：图形表示、齐同性检验、各研究之间系统差别的检验、Mantel-Haenszel Logistic回归分析等；⑥敏感性分析：后评估之前的主要变量、后评估之后的主要变量；⑦结论与建议。
, 百拇医药
在框架中，按照一定的科学原则，将一些研究结果(证据)综合在一起。在后评估研究中，主要包括研究的设计与统计过程。设计包括研究的背景、目的、文献检索、出版偏差、研究结果的测量与数据的质量；统计包括研究结果齐同性与几个研究结果合并的技术。
一、设计方面
(一)目的：医学技术评估，特别是评估一个技术在临床应用时，后评估一般目的都是要达到一个结论，即这项技术诊断或治疗某种疾病的有效性与安全性怎样。除一般目的外，多数评估都有一些特殊目的，如这种技术有效性在不同年龄与性别之间是否有差别。
(二)文献检索：可以用人工或计算机进行文献检索。计算机文献检索收集的信息多，但要吃准关键词，不然会收集许多无关的文章。但通常文献检索收集到的都是一些已经发表的文献，而未包括没有发表的文献，这可能存在着一定的“出版偏倚”，因为发表的研究有可能在某些方面区别于没有发表的研究。应尽可能采取方法来缩小这个“出版偏倚”，包括仔细研究文章的参考文献，从中挖出未发表的文章等。
, 百拇医药
(三)录入与排除标准：录入与排除标准应该根据后评估的一般目的与特殊目的进行确定。在评阅所有搜集到的文献后也可对标准进行适当地修改。在后评估中，不可能制定一个通用标准，因为医学技术评估的范围很广，并且标准随着后评估目的的不同而不同。例如，分析的目的是评估某种干预措施对生命质量影响，这样仅仅收集那些测量生命质量文献；同样，如果分析的目的是评估某种新技术的副作用，仅仅那些有这项技术副作用研究的报告才被录入。在制定标准之前，先要有一个制定标准的原则。这个原则可以考虑研究设计、样本量大小、试验组与对照组类型、研究的结果是否已经发表以及感兴趣的结果是什么等[2]。如，临床研究者可能认为录入标准应是公开发表的随机临床试验，这就排除了队列(非随机)研究、病例-对照研究、以及未公开发表的研究。如规定每组样本量必须大于或等于20例，这样也就排除了20例以下的研究等。在制定标准时也应适当参考研究方法与提供证据强弱之间的关系。这种关系按强弱顺序排列如下：大样本随机临床试验、有对照的非随机临床试验、非试验性研究、连续多个单个案例研究与单个案例研究等[3]。
, 百拇医药
如果不设定严格的录入文献标准，只设定自由录入文献标准，后评估可以根据一个或多个特征进行分组研究。如可以按照随机与非随机分组以及试验剂量分组来研究这些特征对后评估结果的影响，这方法称为敏感性分析。
(四)收集资料：一旦确定录入与排除标准后，就可根据标准收集资料。每个研究只能录用一次。如果一个研究结果已用多篇文章发表，收集资料时应注意只收集一次，不能重复收集。收集资料的内容一般包括每组病人的数量、每组的试验结果、以及其它一些描述性特征。感兴趣的结果可以用一些连续性变量来测量，如血压水平、生命质量分数；也可用计数变量来测量，如死亡率或并发症发生率；也可用等级变量来测量，如肿瘤的发展阶段；以及用时间系列变量来测量，如寿命表与去死因寿命表。各组之间效果的测量(反映各组之间的效果差别)与资料的类型有关。但最好都记录实际数，而非相对数。在临床试验中计数资料占的比例较多，可用以下4种方法测量各组效果之间的差别(以两组为例)。设每组结果只有两种情况：死亡或生存。Pt表示试验组的死亡率，Pc表示对照组的死亡率。例如某种研究结果Pt=40/100=0.40，Pc=50/100=0.50。表示两组之间差别的第一种方法为反映它们之间的绝对差别，即Pc-Pt=0.50-0.40=0.10；第二种方法为反映相对危险度，即Pt/Pc=0.40/0.50=0.80；第三种方法为反映归因危险度，即(Pc-Pt)/Pc=(0.50-0.40)/0.50=0.20，相对危险度与归因危险度的关系为1-1/相对危险度=归因危险度；第四种方法为反映两组差别的倒数，即1/(Pc-Pt)=1/(0.50-0.40)=10，表示与对照组相比，试验组每增加多少个病人才能避免1例死亡(并发症发生)。
, 百拇医药
在资料收集时经常碰到的问题有两个，一是资料的丢失，二是资料摘录的质量。因为摘录资料是一个乏味的过程，经常会出现差错。
二、统计方面
(一)分析框架：以下几个问题构成了分析框架：不同的研究结果是否一致(这些结果可以合并在一起吗)?研究结果的变异是否与研究特征的变异有关?合并后的均值与可信限是多少?实际上后评估是把多中心的研究结果合并在一起。合并后的统计更具有强大的统计效力。
(二)齐同性与变异因素：后评估方法的假设是不同研究结果的差别来自随机误差(抽样误差)，所以，所有结果都是齐同的，它们都反映了同样的“真实”效果。换句话说，当合并后，各组之间的随机误差都消失，合并后的结果比单个研究结果更有价值。这种假设应该加以证实，如果变异不仅仅是由随机误差导致的，合并将会使结果变得更加复杂，有时会出现误导作用。可用图示法或统计检验方法检验结果的齐同性。
, 百拇医药
图示法，用图表示每个研究的归因危险度是否一致。具体做法为，先做一个标准图，如附图。
附图 归因危险度一致性
用X轴表示对照组的事件发生率，用Y轴表示试验组的事件发生率，X轴与Y轴都平分10等份，用0.1-1.0表示。做坐标为(0，0)、(1，1)两点直线，这条直线表示归因危险度为0，这条直线的上方表示归因危险度为负数，即试验组的事件发生率大于对照组的事件发生率；这条直线的下方表示归因危险度为正数，即试验组的事件发生率小于对照组的事件发生率。另外，再划分2个区域，即归因危险度等于0.25与0.50区域，它们的坐标分别为(0，0)、(1，0.75)与(0，0)、(1，0.50)。
统计检验方法用可Mantel-Haenszel方法进行一致性检验，也可用回归法进行一致性检验。
, 百拇医药
(三)合并结果：在过去的多年里，已经发展了多种方法进行不同研究结果的定量性合并[4]。最简单的一种方法是计票法，将所有的研究结果分成3类：结果有正向统计意义的，结果有负向统计意义的，结果无统计意义的。然后统计每类的研究数(票数)，票数最多的认为是最可信的。此种方法虽然简单，但这种方法没有考虑效果的量值与样本量的大小。当齐同性检验结果表示各组研究结果具有齐同性时，则可把结果进行合并，求出合并均数与可信限。通常使用Mantel-Haenszel合并相对危险度的方法[2，4]。这种方法计算简便，并且在临床研究中应用广泛。合并所有研究事件的发生率就象在一个多中心的研究中合并多中心的结果一样，简单的四格表检验方法可用来检验合并后效果，并可用估计标准误计算相对危险度的可信限。具体方法的计算参见由连氏主编的教科书[5]。复杂一点的方法是用Logistic回归公共比数比的最大似然估计。
(四)敏感性分析：如果改变某些因素，后评估的结果会出现哪些变化呢?要回答这个问题就要进行敏感性分析。例如，如果我们把随机临床试验与非随机临床试验合并在一起，与专门的临床随机试验合并结果进行比较，看看出现的变化。两者相比可能会出现研究类型(随机与非随机)对合并结果影响很小，这样对录入与排除标准的争论就显得不重要；也可能会出现研究类型对合并结果影响很大，这样对录入与排除标准的确定就显得非常重要。在后评估中，敏感性分析是一种解决争端的工具，可帮助解释得出不同结果的原因所在。对不同的研究类型、不同的录入与排除标准等都可以进行敏感性分析发现合并结果的差别，如对合并结果进行多因素分析，可了解不同研究类型、不同录入与排除标准对合并前后影响结果的因素(自变量)变化情况。
, 百拇医药
作者单位：200032 上海医科大学医院管理教研室
参考文献
1 董恒进，陈英耀，吕军，等.医学技术评估的内容与方法.中华医院管理杂志，1998，14：709-711.
2 Kristan AL, Allan SD， Keith O. Meta-analysis in clinical rese arch. Annals of Internal Medicine, 1987, 107:224-233.
3 哥德曼.克利夫. 什么是卫生技术评估.全国医学技术评估研讨会资 料汇编.上海：1999，10-29.
4 Thacker SB. Meta-analysis a quantitative approach to researc h integration. JAMA, 1988,259:1685-1689.
5 连志浩.流行病学.第3版.北京：人民卫生出版社，1994：81-83.
(收稿：1999-03-19), http://www.100md.com