如何评价METa-分析的统计分析结果
http://www.100md.com
中医循证医学
康德英 洪旗
(四川大学华西医院临床流行病学教研室 中国循证医学/Cochrane中心 成都 610041)
[摘要] 医学科研资料Meta-分析所获得的有效真实的结果，对临床医疗和卫生决策有重要的参考价值。评价Meta-分析结果的真实性，主要从以下几方面考虑:统计分析纳入文献的覆盖范围及比例，数据质量，发表性偏倚及其影响程度，异质性检验结果，统计方法的选用是否合适，以及合并效应量的临床意义和外部真实性，随着新文献的纳入，Meta-分析结论应加以更新。
[关键词] Meta-分析 统计 评价
How to evaluate the results of Meta-analysis
, 百拇医药
KANG De-ying，HONG Qi
Departmentof Clinical Epidemiology，West China Hospital，Sichuan University，Chengdu 610041，China
ABSTRACT： The valid results of Meta-analysis on biomedical data，Will have an important value to clinical practice and health policy making.To review the validity of meta-analysis results，one should consider the following issues：The coverage ratio of included studies，quality of data，publication bias and its effect，heterogeneity，the correct selection of statistical methods as well as clinical significance and external validity of overall effect size.The results of Meta-analysis will keep on updating as new related studies are located and included.
, 百拇医药
Key words：Meta-analysis；statistic；evaluate
医学科研资料Meta-分析所获得的有效真实的结果，对临床医疗和卫生决策有重要的参考价值；而不真实可靠的Meta-分析结果则又可能引起误导。因此，在评价Meta-分析研究的结果时，应重点考虑以下问题。
1 统计分析是否包括了与题目相关的所有文献数据
Meta-分析研究中应具备完整的检索策略。检索范围应包括公开发表与未公开发表的文献，确定查阅文献的时间跨度，文献数据库源，并通过交叉检索，以确保查全、查新。检索质量的高低将直接影响纳入的研究是否全面、客观、真实，并最终影响Meta-分析的有效性。所有与题目相关的文献均纳入统计分析，这种情况在实际上比较少见，而大多数只能对部分研究进行统计分析。对于那些研究方案效能较低，或者数据资料不全者，只能进行定性描述。文献的纳入与排除标准的制定应与研究目的结合，当要求内部真实性较高时，可制定较为严格的纳入与排除标准，纳入分析研究间的同质性好；当要求外部真实性好，强调推广应用时，可适当放宽标准，但增加了Meta-分析的难度。
, http://www.100md.com
若考察文献检索的质量，还可以从收集到文献的发表年代、语种、杂志级别等的分布状况考虑。
2 纳入研究的数据质量如何，是否完整？
Meta-分析旨在通过综合多个同类研究结果，增大样本含量，从而提高了检验效能。单个纳入研究质量的高低，将直接影响Meta-分析成败。试想若纳入的研究普遍较差，那么就不可能得到高质量的合并效应估计值。所以考察Meta-分析的有效性，还应对纳入分析的研究逐个进行严格评价(critical appraisal)，如设计方案的论证强度如何，是否随机，样本含量是否足够，有无盲法及是否采取隐藏措施，病人的依从性如何，有无混杂和偏倚，有无失访，在数据录入、资料整理过程中有无质量控制措施，统计方法是否合适，结果解释是否合理等方面。单个研究具体评价标准，详见临床流行病学专著中相关内容。
准确可靠的数据资料是Meta-分析的基础，否则即使再先进的统计学方法，也不可能弥补数据本身的缺陷。
, 百拇医药
数据信息来源主要有个体病人资料(individual patient data，IPD)、公开发表数据、以及图表等，其中以IPD资料最佳。数据的表达格式有时会不一致，如对于连续性变量资料，有的研究统计描述用均数(标准差，而有的研究用均数(标准误；有时数据不完整，如只报告了均数，没有报告例数(样本含量)和标准差等，应尽量与作者联系，并收集详细资料。
结果终点观察指标可以为长效观察指标(如病死率，脑血管意外发生率等)，也可以是短效观察指标(如血压、血脂改变情况等)，均可对每一个终点观察指标进行Meta-分析，因此在一个系统评价中，可以包含多个Meta统计分析。
目前尽管Meta-分析方法学发展较快，其中仅以二分类变量资料和连续性变量资料Meta-分析方法较为成熟，数据类型是等级资料或多分类资料时，需要转换成上述两种资料类型；当研究间同一观察指标的数据类型不同时，也需要进行数据类型的转换，如将连续性性变量资料转化为二分类变量资料。但由于数据转换损失了信息，降低了检验效能，固应慎重。
, 百拇医药
3 发表性偏倚是否存在，并影响了统计分析结果
发表性偏倚可使Meta-分析过分夸大治疗效应或危险因素的关联强度，可能导致临床个体治疗与卫生决策的失误。发表性偏倚主要是指因为杂志编辑、语种等原因，致使反映真实度高的研究结果难以发表的一种偏倚，如像结果差异有统计学意义的研究较无统计学意义的研究易发表；知名度高的作者写的论文较知名度低的易发表；熟人写的论文较生人写的文章易发表。
出现发表性偏倚的另一种情况是一些作者为提高知名度而一稿多投，或者作为多中心研究的参研单位，分别报告同一研究的各自结果；与发表有关的偏倚除发表性偏倚外，还有补救性偏倚(在试图获取未发表性研究结果时出现矫枉过正)等。
因发表性偏倚，会影响Meta-分析质量，在进行Meta-分析之前，必须评估有无发表性偏倚及其可能影响。方法有相关检验或绘制漏斗(funnel)图等。若发表性偏倚对Meta-分析影响较大，则只需新增几个无统计学意义的研究，就能使合并效应量检验结果无统计学意义，而发表性偏倚影响较小时，则需新增很多个研究，才可能改变检验结果。例如某Meta-分析中需新增70个无统计学意义的研究，才可能改变合并效应的结论，说明发表性偏倚的影响较小；相反若发表性偏倚较大时，只需新增3、4个无统计学意义的研究，就能改变合并效应的结论。此时应采取措施，如与原文作者或研究组联系，查询有无阴性结果的研究，若有，则请他们尽可能的提供相关资料等。以减少发表性偏倚造成的影响。但有时因论文发表年代久远，不易与原作者联系；若不能把发表性偏倚减少到一定程度，则应考虑放弃Meta-分析。
, http://www.100md.com
4 是否报告了异质性检验结果
异质性检验是Meta-分析前进行的必要工作。根据异质性检验结果来选择统计分析模型(固定效应模型、随机效应模型、混合效应模型)。文献的纳入/排除标准的制定，客观上在很大程度上保证了研究间的同质性。异质性检验只是检验研究间效应量、研究质量与样本含量等方面的差别是否有统计学意义，若有，则表明纳入研究结果间存在异质性，应考察异质性来源，如在设计质量、干预措施、测量时点、分析表达方法等方面是否不同；当异质性检验无统计学意义时，应视具体情况区别对待，由于异质性检验方法检验效能往往较低，特别是在纳入研究数目较少时，可能出现假阴性结果(即确实存在异质性时，未能检验出)；但有时还会出现另外一种情况，当纳入分析的研究数目较大时，又可能出现假阳性结果(即使不存在异质性，检验结果有统计学意义)。所以Meta-分析时，应综合考虑异质性检验与图形法结果，并作出评价。
出现异质性时，可做以下处理：(1)亚组分析，如按照不同设计方案、研究质量高低、发表年代等进行亚组分析。(2)选用随机效应模型及混合效应模型，控制混杂因素，降低异质性程度；若个体研究资料比较完整，还可考虑Meta回归分析。(3)若异质性过大，则应放弃Meta-分析，只进行一般的统计描述。
, http://www.100md.com
5 统计分析方法的选用是否合适
Meta-分析比较的目的可以是一个或者多个，同一比较目的又可设置多个终点观察指标。根据资料的类型和异质性大小选用合适的分析模型及效应量。结果应同时报告合并效应量的假设检验(P值)、95%的可信区间和异质性检验结果。若有可能除报告疗效的合并效应量外，还应报告副反应结果。
很多情况下，统计方法被误用是由于未考虑方法本身的应用条件，如对于连续性变量资料，要求资料服从正态分布，度量尺度相同等。当条件不满足时，可以通过数据转换，使之符合要求。如度量衡单位或度量尺度不一致时，可以进行标准化处理，若资料是偏态分布，如标准差过大，则最好获得IPD资料，再进行分析；对于二分类变量资料，效应量常用OR或RR表示，当OR或RR等于1时，表示干预与结果无关，当OR或RR小于1时，表示干预有保护作用，当OR或RR大于1时，表示干预措施有害。这些结论也是有一定的条件的。在分析时，每个纳入研究应统一规定干预为1，未干预为0；有恶性不良结果为1，无恶性不良结果为0，否则得出的结论刚好与实际相反。如纳入分析的研究的赋值不一致，而直接计算合并效应量，则合并效应量会被低估。
, http://www.100md.com
合并效应量是否真实可靠，还可以进行敏感性分析，敏感性分析是指在排除异常结果的研究(比如低质量、小样本、或样本含量过大的研究)后，重新进行Meta-分析的结果与未排除异常结果研究的结果进行比较，探讨异常结果研究对合并效应量的影响程度。若敏感性分析的前后结果没有本质上改变，说明Meta-分析结果较为可信；若敏感性分析得到不同结果，提示存在与干预措施效果有关的、潜在的重要因素，在解释结果和下结论时应非常慎重。
6 合并效应量有无统计学意义，临床意义及外部真实性如何
Meta-分析结果除要考虑是否有统计学意义外，还应结合专业知识判断结果有无临床意义。若结果仅有统计学意义，但合并效应量小于最小的有临床意义的差值时，结果不可取；若合并效应量有临床意义，但无统计学意义时，不能定论，需进一步收集资料。不能推荐没有Meta-分析证据支持的建议。在无肯定性结论时，应注意区别两种情况，是证据不充分而不能定论，还是有证据表明确实无效。
, http://www.100md.com
Meta-分析的结果的外部真实性如何？在推广应用时，应结合该Meta-分析的文献纳入/排除标准，考虑其样本的代表性如何，特别应注意研究对象特征及生物学或文化变异、研究场所、干预措施及研究对象的依从性、有无辅助治疗等方面是否与自己的具体条件一致。 理想的Meta-分析应纳入当前所有相关的、高质量的同质研究，无发表性偏倚，并采用合适的模型和正确统计方法。
Meta-分析的结论不是一成不变的，它只是对现有资料综合分析的结果，随着新的研究资料不断的收集，其结论应加以更新。
参考文献
1 Maria Blettner，Willi Seuerbrei，Brigitte Schlehofer，etal.Traditional reviews，Meta-analyses and pooled analyses in epidemiology[J].International Journal of Epidemiology1999；28：1-9.
, 百拇医药
2 Colditz G.A，Burdick E，Mosteller F.Heterogeneity in meta-analysis of data from epidemiologic studies：commentary[J].Am J Epidemiology1995；142：371-82.
3 Dickersin K，Berlin J.A.Meta-analysis：state-of-science(review)[J].Epidemiol Rev1992；14：154-76.
4 Hedges L.V，Olkin I.Statistical methods for Meta-analysis[M].London：Academic Press，1985.
5 Hedges L.V.Modeling publication selection effects in meta-analysis[J].Stat Sci 1992；7：246-55.
6 Thompson S.G，Pocock S.J.Can Meta-analyses be trusted [J]？Lancet 1991；338：1127-30.
(原载于：中国循证医学 2001, 1(2)106-108), 百拇医药
(四川大学华西医院临床流行病学教研室 中国循证医学/Cochrane中心 成都 610041)
[摘要] 医学科研资料Meta-分析所获得的有效真实的结果，对临床医疗和卫生决策有重要的参考价值。评价Meta-分析结果的真实性，主要从以下几方面考虑:统计分析纳入文献的覆盖范围及比例，数据质量，发表性偏倚及其影响程度，异质性检验结果，统计方法的选用是否合适，以及合并效应量的临床意义和外部真实性，随着新文献的纳入，Meta-分析结论应加以更新。
[关键词] Meta-分析 统计 评价
How to evaluate the results of Meta-analysis
, 百拇医药
KANG De-ying，HONG Qi
Departmentof Clinical Epidemiology，West China Hospital，Sichuan University，Chengdu 610041，China
ABSTRACT： The valid results of Meta-analysis on biomedical data，Will have an important value to clinical practice and health policy making.To review the validity of meta-analysis results，one should consider the following issues：The coverage ratio of included studies，quality of data，publication bias and its effect，heterogeneity，the correct selection of statistical methods as well as clinical significance and external validity of overall effect size.The results of Meta-analysis will keep on updating as new related studies are located and included.
, 百拇医药
Key words：Meta-analysis；statistic；evaluate
医学科研资料Meta-分析所获得的有效真实的结果，对临床医疗和卫生决策有重要的参考价值；而不真实可靠的Meta-分析结果则又可能引起误导。因此，在评价Meta-分析研究的结果时，应重点考虑以下问题。
1 统计分析是否包括了与题目相关的所有文献数据
Meta-分析研究中应具备完整的检索策略。检索范围应包括公开发表与未公开发表的文献，确定查阅文献的时间跨度，文献数据库源，并通过交叉检索，以确保查全、查新。检索质量的高低将直接影响纳入的研究是否全面、客观、真实，并最终影响Meta-分析的有效性。所有与题目相关的文献均纳入统计分析，这种情况在实际上比较少见，而大多数只能对部分研究进行统计分析。对于那些研究方案效能较低，或者数据资料不全者，只能进行定性描述。文献的纳入与排除标准的制定应与研究目的结合，当要求内部真实性较高时，可制定较为严格的纳入与排除标准，纳入分析研究间的同质性好；当要求外部真实性好，强调推广应用时，可适当放宽标准，但增加了Meta-分析的难度。
, http://www.100md.com
若考察文献检索的质量，还可以从收集到文献的发表年代、语种、杂志级别等的分布状况考虑。
2 纳入研究的数据质量如何，是否完整？
Meta-分析旨在通过综合多个同类研究结果，增大样本含量，从而提高了检验效能。单个纳入研究质量的高低，将直接影响Meta-分析成败。试想若纳入的研究普遍较差，那么就不可能得到高质量的合并效应估计值。所以考察Meta-分析的有效性，还应对纳入分析的研究逐个进行严格评价(critical appraisal)，如设计方案的论证强度如何，是否随机，样本含量是否足够，有无盲法及是否采取隐藏措施，病人的依从性如何，有无混杂和偏倚，有无失访，在数据录入、资料整理过程中有无质量控制措施，统计方法是否合适，结果解释是否合理等方面。单个研究具体评价标准，详见临床流行病学专著中相关内容。
准确可靠的数据资料是Meta-分析的基础，否则即使再先进的统计学方法，也不可能弥补数据本身的缺陷。
, 百拇医药
数据信息来源主要有个体病人资料(individual patient data，IPD)、公开发表数据、以及图表等，其中以IPD资料最佳。数据的表达格式有时会不一致，如对于连续性变量资料，有的研究统计描述用均数(标准差，而有的研究用均数(标准误；有时数据不完整，如只报告了均数，没有报告例数(样本含量)和标准差等，应尽量与作者联系，并收集详细资料。
结果终点观察指标可以为长效观察指标(如病死率，脑血管意外发生率等)，也可以是短效观察指标(如血压、血脂改变情况等)，均可对每一个终点观察指标进行Meta-分析，因此在一个系统评价中，可以包含多个Meta统计分析。
目前尽管Meta-分析方法学发展较快，其中仅以二分类变量资料和连续性变量资料Meta-分析方法较为成熟，数据类型是等级资料或多分类资料时，需要转换成上述两种资料类型；当研究间同一观察指标的数据类型不同时，也需要进行数据类型的转换，如将连续性性变量资料转化为二分类变量资料。但由于数据转换损失了信息，降低了检验效能，固应慎重。
, 百拇医药
3 发表性偏倚是否存在，并影响了统计分析结果
发表性偏倚可使Meta-分析过分夸大治疗效应或危险因素的关联强度，可能导致临床个体治疗与卫生决策的失误。发表性偏倚主要是指因为杂志编辑、语种等原因，致使反映真实度高的研究结果难以发表的一种偏倚，如像结果差异有统计学意义的研究较无统计学意义的研究易发表；知名度高的作者写的论文较知名度低的易发表；熟人写的论文较生人写的文章易发表。
出现发表性偏倚的另一种情况是一些作者为提高知名度而一稿多投，或者作为多中心研究的参研单位，分别报告同一研究的各自结果；与发表有关的偏倚除发表性偏倚外，还有补救性偏倚(在试图获取未发表性研究结果时出现矫枉过正)等。
因发表性偏倚，会影响Meta-分析质量，在进行Meta-分析之前，必须评估有无发表性偏倚及其可能影响。方法有相关检验或绘制漏斗(funnel)图等。若发表性偏倚对Meta-分析影响较大，则只需新增几个无统计学意义的研究，就能使合并效应量检验结果无统计学意义，而发表性偏倚影响较小时，则需新增很多个研究，才可能改变检验结果。例如某Meta-分析中需新增70个无统计学意义的研究，才可能改变合并效应的结论，说明发表性偏倚的影响较小；相反若发表性偏倚较大时，只需新增3、4个无统计学意义的研究，就能改变合并效应的结论。此时应采取措施，如与原文作者或研究组联系，查询有无阴性结果的研究，若有，则请他们尽可能的提供相关资料等。以减少发表性偏倚造成的影响。但有时因论文发表年代久远，不易与原作者联系；若不能把发表性偏倚减少到一定程度，则应考虑放弃Meta-分析。
, http://www.100md.com
4 是否报告了异质性检验结果
异质性检验是Meta-分析前进行的必要工作。根据异质性检验结果来选择统计分析模型(固定效应模型、随机效应模型、混合效应模型)。文献的纳入/排除标准的制定，客观上在很大程度上保证了研究间的同质性。异质性检验只是检验研究间效应量、研究质量与样本含量等方面的差别是否有统计学意义，若有，则表明纳入研究结果间存在异质性，应考察异质性来源，如在设计质量、干预措施、测量时点、分析表达方法等方面是否不同；当异质性检验无统计学意义时，应视具体情况区别对待，由于异质性检验方法检验效能往往较低，特别是在纳入研究数目较少时，可能出现假阴性结果(即确实存在异质性时，未能检验出)；但有时还会出现另外一种情况，当纳入分析的研究数目较大时，又可能出现假阳性结果(即使不存在异质性，检验结果有统计学意义)。所以Meta-分析时，应综合考虑异质性检验与图形法结果，并作出评价。
出现异质性时，可做以下处理：(1)亚组分析，如按照不同设计方案、研究质量高低、发表年代等进行亚组分析。(2)选用随机效应模型及混合效应模型，控制混杂因素，降低异质性程度；若个体研究资料比较完整，还可考虑Meta回归分析。(3)若异质性过大，则应放弃Meta-分析，只进行一般的统计描述。
, http://www.100md.com
5 统计分析方法的选用是否合适
Meta-分析比较的目的可以是一个或者多个，同一比较目的又可设置多个终点观察指标。根据资料的类型和异质性大小选用合适的分析模型及效应量。结果应同时报告合并效应量的假设检验(P值)、95%的可信区间和异质性检验结果。若有可能除报告疗效的合并效应量外，还应报告副反应结果。
很多情况下，统计方法被误用是由于未考虑方法本身的应用条件，如对于连续性变量资料，要求资料服从正态分布，度量尺度相同等。当条件不满足时，可以通过数据转换，使之符合要求。如度量衡单位或度量尺度不一致时，可以进行标准化处理，若资料是偏态分布，如标准差过大，则最好获得IPD资料，再进行分析；对于二分类变量资料，效应量常用OR或RR表示，当OR或RR等于1时，表示干预与结果无关，当OR或RR小于1时，表示干预有保护作用，当OR或RR大于1时，表示干预措施有害。这些结论也是有一定的条件的。在分析时，每个纳入研究应统一规定干预为1，未干预为0；有恶性不良结果为1，无恶性不良结果为0，否则得出的结论刚好与实际相反。如纳入分析的研究的赋值不一致，而直接计算合并效应量，则合并效应量会被低估。
, http://www.100md.com
合并效应量是否真实可靠，还可以进行敏感性分析，敏感性分析是指在排除异常结果的研究(比如低质量、小样本、或样本含量过大的研究)后，重新进行Meta-分析的结果与未排除异常结果研究的结果进行比较，探讨异常结果研究对合并效应量的影响程度。若敏感性分析的前后结果没有本质上改变，说明Meta-分析结果较为可信；若敏感性分析得到不同结果，提示存在与干预措施效果有关的、潜在的重要因素，在解释结果和下结论时应非常慎重。
6 合并效应量有无统计学意义，临床意义及外部真实性如何
Meta-分析结果除要考虑是否有统计学意义外，还应结合专业知识判断结果有无临床意义。若结果仅有统计学意义，但合并效应量小于最小的有临床意义的差值时，结果不可取；若合并效应量有临床意义，但无统计学意义时，不能定论，需进一步收集资料。不能推荐没有Meta-分析证据支持的建议。在无肯定性结论时，应注意区别两种情况，是证据不充分而不能定论，还是有证据表明确实无效。
, http://www.100md.com
Meta-分析的结果的外部真实性如何？在推广应用时，应结合该Meta-分析的文献纳入/排除标准，考虑其样本的代表性如何，特别应注意研究对象特征及生物学或文化变异、研究场所、干预措施及研究对象的依从性、有无辅助治疗等方面是否与自己的具体条件一致。 理想的Meta-分析应纳入当前所有相关的、高质量的同质研究，无发表性偏倚，并采用合适的模型和正确统计方法。
Meta-分析的结论不是一成不变的，它只是对现有资料综合分析的结果，随着新的研究资料不断的收集，其结论应加以更新。
参考文献
1 Maria Blettner，Willi Seuerbrei，Brigitte Schlehofer，etal.Traditional reviews，Meta-analyses and pooled analyses in epidemiology[J].International Journal of Epidemiology1999；28：1-9.
, 百拇医药
2 Colditz G.A，Burdick E，Mosteller F.Heterogeneity in meta-analysis of data from epidemiologic studies：commentary[J].Am J Epidemiology1995；142：371-82.
3 Dickersin K，Berlin J.A.Meta-analysis：state-of-science(review)[J].Epidemiol Rev1992；14：154-76.
4 Hedges L.V，Olkin I.Statistical methods for Meta-analysis[M].London：Academic Press，1985.
5 Hedges L.V.Modeling publication selection effects in meta-analysis[J].Stat Sci 1992；7：246-55.
6 Thompson S.G，Pocock S.J.Can Meta-analyses be trusted [J]？Lancet 1991；338：1127-30.
(原载于：中国循证医学 2001, 1(2)106-108), 百拇医药