診斷準(zhǔn)確性試驗Meta分析軟件的比較研究與選擇

陶圓，何倩，許楊鵬，喻亞宇，付文杰，吳君怡，牛玉明，張超

· 循證理論與實踐 ·

診斷準(zhǔn)確性試驗Meta分析軟件的比較研究與選擇

陶圓1,2，何倩3，許楊鵬3，喻亞宇3，付文杰3，吳君怡3，牛玉明1,4，張超1

目的 比較各種診斷準(zhǔn)確性試驗（diagnostic test accuracy，DAT）Meta分析軟件的特征及功能，為使用者選擇軟件提供參考。方法 計算機檢索PubMed、EMBase、Cochrane Library、CNKI、Stata軟件官網(wǎng)、R軟件官網(wǎng)及Google搜索等，收集具有DAT Meta分析功能的軟件及程序包，檢索時限截至2016年7月。下載軟件和程序包及其使用說明，用示例對軟件的基本特征、功能和計算結(jié)果進行比較分析。結(jié)果 共納入9款軟件，包括編程軟件和非編程軟件，主要基于貝葉斯學(xué)派和頻率學(xué)派研發(fā)。大多數(shù)軟件已具備操作簡單、易掌握、計算準(zhǔn)確及圖形繪制優(yōu)良等優(yōu)點，但無一款同時具備較佳計算能力與繪圖功能的軟件，必需多款軟件聯(lián)合來實現(xiàn)。結(jié)論 建議使用者首先依據(jù)自身編程基礎(chǔ)與習(xí)慣等選取，可考慮選用兩種軟件相互配合來實現(xiàn)DAT Meta分析，如單獨使用Meta-Disc軟件或聯(lián)合使用Bayesian Inference Using Gibbs Sampling（BUGS）與R軟件。

診斷準(zhǔn)確性Meta分析；BUGS軟件；R軟件；Meta-Disc軟件；Meta-Test軟件；Revman軟件

疾病的治療建立在對疾病正確診斷的基礎(chǔ)之上，科技的發(fā)展帶來了大量的診斷方法和手段。診斷準(zhǔn)確性試驗（diagnostic test accuracy，DTA）Meta分析的提出，旨在于評估診斷手段對某一疾病診斷的準(zhǔn)確性，為臨床醫(yī)生選擇最佳診斷方法提供參考和最新證據(jù)[1,2]。隨著計算機語言的快速發(fā)展，各種統(tǒng)計學(xué)軟件應(yīng)運而生，這在很大程度上節(jié)省了科研工作者時間與精力，同時提高了工作效率，其中也包括DTA Meta分析。盡管，當(dāng)前已有10多款軟件可以用于實現(xiàn)DTA Meta分析且隨著方法學(xué)更新軟件仍在不斷被研發(fā)，然而，當(dāng)前軟件在使用中仍各有優(yōu)缺點，且多數(shù)DTA Meta分析軟件往往在圖形的繪制及方法學(xué)更新方面均存在一定的功能性缺失。本文通過對當(dāng)前DTA Meta分析使用的軟件作比較分析，為讀者選取制作DTA Meta軟件提供相關(guān)參考。

1 對象與方法

1.1 DTA Meta分析軟件的選擇標(biāo)準(zhǔn) 可以實現(xiàn)DTA Meta分析的軟件與程序包。

1.2 軟件獲取 計算機檢索PubMed、CNKI、Stata軟件官網(wǎng)、R軟件官網(wǎng)和Google搜索，查看并記錄已發(fā)表DTA Meta分析中所使用的軟件與程序包及介紹軟件和程序包的方法學(xué)文獻[3,4]，檢索時限由建庫至2016年7月。下載所有相關(guān)軟件、程序包及其介紹說明文件。英文檢索詞為meta analysis of diagnostic test accuracy、diagnostic test accuracy、DTA及meta analysis。

1.3 研究方法 閱讀各軟件與程序包介紹內(nèi)容，比較軟件及程序包涉及的理論、模型、使用權(quán)限、是否編程、能否被調(diào)用及能否調(diào)用等功能。本文所有軟件均以《應(yīng)用R軟件meta4diag程序包實現(xiàn)診斷準(zhǔn)確性試驗的Meta分析》一文中有關(guān)肺結(jié)核診斷的數(shù)據(jù)為例[5]，并采用各種軟件及程序包進行統(tǒng)計分析比較其數(shù)據(jù)處理與圖形繪制等功能。

2 結(jié)果

2.1 納入軟件 最終共納入軟件9款，其具體特征詳見表1。其中免費軟件有R軟件（或稱R語言）、RevMan軟件、Meta-Disc軟件、Bayesian Inference Using Gibbs Sampling（BUGS）軟件、Meta-Analyst軟件及Meta-Test軟件；收費軟件有Stata軟件、EmpowerStats軟件及SPSS軟件[6-11]。

按是否需要編程來分，軟件又可以分為編程軟件與非編程軟件，編程軟件僅有Stata軟件、R軟件和BUGS軟件。R軟件包含meta4diag、metamisc、bamdit、HSROC、Metatron、mada及CopulaREMADA等7個程序包[12]，以上程序包都能完成DTA Meta分析且各具特色，各有優(yōu)勢。

2.2 涉及的方法

2.2.1 理論 制作的DTA Meta分析的基本理論目前主要分為貝葉斯理論與傳統(tǒng)理論[13,14]。與傳統(tǒng)理論相比，貝葉斯設(shè)計理論對結(jié)果可信區(qū)間的解釋更合理[15,16]，這對保證DTA Meta分析結(jié)果的準(zhǔn)確性及完整性很重要。

貝葉斯理論中的先驗設(shè)定不同將會直接導(dǎo)致結(jié)果不同，因此先驗設(shè)定的合理性在整個DTA Meta分析的制作中十分關(guān)鍵，也一直是眾多統(tǒng)計學(xué)家擔(dān)憂的問題之一。這也使得貝葉斯理論的復(fù)雜性使其在實際運用中較為局限。表1中就基于貝葉斯理論及傳統(tǒng)頻率學(xué)派理論給予相應(yīng)對比。

2.2.2 模型與實現(xiàn)方法 DTA Meta分析的制作方法基于雙變量模型、分層模型和回歸模型等[17-19]?；貧w模型在早期制作DTA Meta分析時，較為常見，如R軟件HSROC程序包。隨著方法學(xué)不斷更新，DTA Meta分析的敏感度與特異度已逐漸被方法學(xué)家們所關(guān)注，同時對于合并研究間混雜因素也提倡開始進行調(diào)整，因此，分層模型也逐漸被研發(fā)以及使用，如R軟件meta4diag程序包與Open Meta-Analysis軟件等均采用分層模型。當(dāng)進一步考慮到敏感度與特異度之間相互作用時，方法學(xué)家們將兩者作為獨立變量之外，也有充分考慮兩者相關(guān)性，因此兩者間引入?yún)f(xié)變量并嵌入到DTA Meta分析當(dāng)中，這也使得當(dāng)前較為推崇的雙變量模型被研發(fā)，并廣泛被操作者所接受。然而，該統(tǒng)計學(xué)方法對軟件要求、操作者素養(yǎng)及結(jié)果解讀等均有一定要求，因此，當(dāng)前能快速引入該方法學(xué)的軟件較少，如R軟件bamdit程序包可執(zhí)行雙變量模型。

2.3 軟件功能

2.3.1 計算功能 計算能力是統(tǒng)計軟件最基本要素之一。隨著DTA Meta分析方法學(xué)不斷創(chuàng)新，基于軟件自身特征及對最新方法學(xué)的植入等方面差別，使目前可供使用的軟件各具特色。如表1 所示，所有軟件均擁有自身獨立執(zhí)行DTA Meta分析計算的能力，同時，也有部分軟件提供可被外部軟件調(diào)用的端口，如R軟件就是當(dāng)前最受歡迎的被調(diào)用軟件。

2.3.2 繪圖功能 圖形能清楚直觀地反映各個研究的效應(yīng)量，這在結(jié)果展示中是必不可少，因此，軟件是否擁有繪制優(yōu)質(zhì)圖形的能力也成為衡量軟件質(zhì)量、功能和可操作性的指標(biāo)之一。DTA Meta分析常需繪制以下2種圖形：森林圖和受試者工作特征曲線（SROC）。由于這兩種圖形所承載的信息量不同，因此，其在DTA Meta分析中的作用亦不同。

敏感度及特異度被視為診斷標(biāo)準(zhǔn)兩個關(guān)鍵性指標(biāo)，其對于衡量診斷手段優(yōu)劣顯得尤為重要。對于這兩個指標(biāo)展示，操作者們往往會選擇敏感度及特異度森林圖，這不僅可很好地展示結(jié)果，還可簡易目測相應(yīng)的異質(zhì)性情況[20,21]。表1中，除BUGS軟件外，其他軟件自身或通過調(diào)用其他軟件皆可繪制森林圖。常用Meta-Test和R軟件，這與兩款軟件強大的繪圖功能及操作靈活有關(guān)。

SROC曲線可直觀地反映診斷方法的診斷效率。曲線下面積（AUC）是評價與衡量診斷手段優(yōu)劣的重要指標(biāo)之一[22]。除BUGS軟件外，其他軟件均可繪制SROC曲線及計算AUC。

2.4 計算結(jié)果比較 在待選軟件較多時，計算結(jié)果的精確度是選擇軟件的重要標(biāo)準(zhǔn)，結(jié)果的可讀性及提取的便利性也是選擇的關(guān)鍵。DTA Meta分析的準(zhǔn)確度可通過其相關(guān)合并指標(biāo)來進行評。表2分別顯示了合并的敏感度與特異度、診斷優(yōu)勢比（DOR）和AUC等[23,24]。

3 討論

如今，DTA Meta分析方法學(xué)上眾多難點已有不同程度的突破，相關(guān)軟件的研發(fā)層出不窮且各具特色。本文從方法學(xué)、統(tǒng)計數(shù)據(jù)處理與圖形繪制及軟件操作友好度等角度，系統(tǒng)匯總比較當(dāng)前具有DTA Meta分析功能的軟件優(yōu)缺點。與非編程軟件相比，編程軟件開放性更好、反應(yīng)及更新速度快、使用靈活，但較繁瑣。選擇編程軟件主要取決于使用者自身的編程基礎(chǔ)和習(xí)慣，而非編程軟件操作簡單，更易受到編程基礎(chǔ)欠佳的使用者及初學(xué)者的青睞。軟件操作簡捷、功能齊全及是否免費等因素將決定該軟件能否成為主流軟件，也是絕大多數(shù)軟件使用者關(guān)心的主要問題。軟件是否具有足夠的開放性將直接決定其被使用率。相比收費軟件，免費軟件數(shù)量多且功能更完善，代表了當(dāng)前的主流。

表1 診斷準(zhǔn)確性試驗Meta分析所用軟件

表2 常用軟件DTA Meta分析結(jié)果比較

經(jīng)過分析，大多數(shù)軟件已具備操作簡單、易掌握、計算準(zhǔn)確及圖形繪制優(yōu)良等優(yōu)點，但無一款同時具備當(dāng)前優(yōu)質(zhì)方法學(xué)與繪圖功能的軟件，仍需多款軟件聯(lián)合實現(xiàn)。作為統(tǒng)計工具，優(yōu)良的統(tǒng)計軟件主要取決于其數(shù)據(jù)與圖形處理能力，即數(shù)據(jù)計算與圖形繪制能力。計算準(zhǔn)確性直接關(guān)乎最終結(jié)果的可靠度，這主要與軟件自身內(nèi)嵌的方法學(xué)有關(guān)，而優(yōu)質(zhì)、全面、簡潔且易懂的圖形展示結(jié)果信息在DTA Meta分析中的作用不可或缺。

綜上，我們在選擇DTA軟件時，建議綜合考慮以下兩個方面：①首選集計算與繪圖功能于一體的軟件，如Meta-Disc軟件、Meta-Test軟件或R軟件，可依據(jù)自身編程基礎(chǔ)與習(xí)慣等情況來選?。虎谶x取2種軟件相互配合來實現(xiàn)DTA Meta分析時，首選軟件BUGS與R軟件（或/及Stata軟件）的配合或使用R軟件不同程序包的配合。另外，為了更好地完成DTA Meta分析，我們期待一款具備操作便捷、融入優(yōu)質(zhì)方法學(xué)、功能齊全及免費獲?。ɑ蚴召M低廉）等特點的軟件的出現(xiàn)。

[1] Leeflang MM. Systematic reviews and meta-analyses of diagnostic test accuracy[J]. Clin Microbiol Infect,2014,20(2):105-13.

[2] Ferrante di Ruffano L,Hyde CJ,McCaffery KJ,et al. Assessing the value of diagnostic tests: a framework for designing and evaluating trials[J]. BMJ,2012,344:e686.

[3] Leeflang MM,Deeks JJ,Takwoingi Y,et al. Cochrane diagnostic test accuracy reviews[J]. Syst Rev,2013,2:82.

[4] Campbell JM,Klugar M,Ding S,et al. Diagnostic test accuracy: methods for systematic review and meta-analysis[J]. Int J Evid Based Healthc,2015,13(3):154-62.

[5] Walusimbi S,Bwanga F,de Costa A,et al. Meta-analysis to compare the accuracy of GeneXpert, MODS and the WHO 2007 algorithm for diagnosis smear-negative pulmonary tuberculosis[J]. BMC Infect Dis,2013,13:507.

[6] 何倩,王曉娜,喻亞宇,等. 應(yīng)用R軟件meta4diag程序包實現(xiàn)診斷準(zhǔn)確性試驗的Meta分析[J]. 中國循證心血管醫(yī)學(xué)雜志,2016,8(2):138-41.

[7] 王權(quán),何倩,吳君怡,等. 應(yīng)用R軟件bamdit程序包實現(xiàn)診斷準(zhǔn)確性試驗的Meta分析[J]. 中國循證心血管醫(yī)學(xué)雜志,2016,8(3):260-72.

[8] 何倩,孫艷玲,陶圓,等. 應(yīng)用R軟件Metatron程序包實現(xiàn)診斷準(zhǔn)確性試驗Meta分析及程序包匯總比較[J]. 中國循證心血管醫(yī)學(xué)雜志,2016,8(5):517-9.

[9] 陶圓,孫艷玲,何倩,等. Meta-Test軟件在診斷準(zhǔn)確性試驗Meta分析中運用[J]. 中國循證心血管醫(yī)學(xué)雜志,2016,8(6):652-5.

[10] 陶圓,何倩,桂裕亮,等. SPSS軟件調(diào)用R軟件實現(xiàn)診斷準(zhǔn)確性試驗Meta分析[J]. 中國循證心血管醫(yī)學(xué)雜志,2016,8(7):773-6.

[11] 陶圓,何倩,喻亞宇,等. 應(yīng)用EmpowerStats軟件實現(xiàn)診斷準(zhǔn)確性試驗的Meta分析[J]. 中國循證心血管醫(yī)學(xué)雜志,2016,8(8):In Press.

[12]王權(quán),楊廉潔,何倩,等. 應(yīng)用R軟件metamisc程序包及CopulaREMADA程序包實現(xiàn)診斷準(zhǔn)確性試驗的Meta分析[J]. 中國循證心血管醫(yī)學(xué)雜志,2016,8(4):392-5.

[13] Menten J,Lesaffre E. A general framework for comparative Bayesian meta-analysis of diagnostic studies[J]. BMC Med Res Methodol,2015,15:70.

[14] Kuss O,Hoyer A,Solms A. Meta-analysis for diagnostic accuracy studies: a new statistical model using beta-binomial distributions and bivariate copulas[J]. Statist Med,2014,33(1):17-30.

[15] Novielli N,Cooper NJ,Sutton AJ,et al. Bayesian model selection for meta-analysis of diagnostic test accuracy data: Application to Ddimer for deep vein thrombosis[J]. Res Synth Methods,2010,1(3-4):226-38.

[16] Jaramillo D,Dürr S,Hick P,et al. Bayesian estimation of diagnostic sensitivity and specificity of a nervous necrosis virus antibody ELISA[J]. Prev Vet Med,2016,1(123):138-42.

[17] Doebler P,Holling H,B?hning D. A Mixed Model Approach to Meta-Analysis of Diagnostic Studies With Binary Test Outcome[J]. Psychol Methods,2012,17(3):418-36.

[18] Zhou Y,Dendukuri N. Statistics for quantifying heterogeneity in univariate and bivariate meta-analysesof binary data: The case of meta-analyses of diagnostic accuracy[J]. Statist Med, 2014,33(16):2701-17.

[19] Valle D,Lima JM,Millar J,et al. Bias in logistic regression due to imperfect diagnostic test results and practical correction approaches[J]. Malar J,2015,14:434.

[20] van Enst WA,Ochodo E,Scholten RJ,et al. Investigation of publication bias in meta-analyses of diagnostic test accuracy: a metaepidemiological study[J]. BMC Med Res Methodol,2014,14:70.

[21] Lee J,Kim KW,Choi SH,et al. Systematic Review and Meta-Analysis of Studies Evaluating Diagnostic Test Accuracy: A Practical Reviewfor Clinical Researchers Part II. Statistical Methods of Meta-Analysis[J]. Korean J Radiol,2015,16(6):1188-96.

[22] Tang LL,Zhang W,Li Q,et al. Least squares regression methods for clustered ROC data with discrete covariates[J]. BMJ,2016,58(4):747-65.

[23] Leeflang MM,Deeks JJ,Gatsonis C,et al. Systematic reviews of diagnostic test accuracy[J]. Annals of Internal Medicine,2008,149 (12):889-97.

[24] Doebler P,Holling H. Meta-analysis of Diagnostic Accuracy and ROC Curves with Covariate Adjusted Semiparametric Mixtures[J]. Psychometrika,2015,80(4):1084-104.

本文編輯：姚雪莉

A comparative study and selection based on used Meta-analysis software of diagnostic test accuracy

TAO Yuan*, HE Qian, XU Yang-peng, YU Ya-yu, FU Wen-jie, WU Jun-yi, NIU Yu-ming, ZHANG Chao.*Center for Evidence-based Medicine, Taihe Hospital, Hubei University of Medicine, Shiyan 442000, China.

Objective To compare the characteristics and functions of different Meta-analysis software of diagnostic test accuracy (DTA) for providing references for users. Methods The databases of PubMed, EMbase, Cochrane Library, CNKI, official websites of Stata software and R software, and Google were retrieved with computer to collect the software and packages with DAT Meta-analysis function up to Jul. 2016. After downloading the software, packages and their user guides, the basic characteristics, functions and computed results were compared and analyzed based on typical examples. Results Finally, there were 9 types of software included, including programming and non-programming software. They were developed mainly based on Bayesian or frequentist. Most types of software have the characteristics of easy to operate, easy to master, exactitude calculation, or good graphing; however, there is no software that has the exactitude calculation and good graphing at the same time, which needs two or more kinds of software combined to achieve. Conclusion It is suggested that users choose the software at first according to personal programming basis and custom, and users can consider choosing two kinds of software combined to finish the objective Meta-analysis of DTA. For example, users can apply Meta-Disc software singly or the combination of Bayesian Inference Using Gibbs Sampling (BUGS) and R software.

Meta-analysis of diagnostic test accuracy; BUGS software; R software; Meta-Disc software; Meta-Test software; Revman software

R4

A

1674-4055(2016)11-1284-04

十堰市太和醫(yī)院院級項目課題(2016JJXM070)

1442000 十堰,十堰市太和醫(yī)院(湖北醫(yī)藥學(xué)院附屬醫(yī)院)循證醫(yī)學(xué)中心;2442000 十堰,湖北醫(yī)藥學(xué)院醫(yī)學(xué)影像系12級;3442000 十堰,湖北醫(yī)藥學(xué)院口腔醫(yī)學(xué)院12級;4442000 十堰,十堰市太和醫(yī)院(湖北醫(yī)藥學(xué)院附屬醫(yī)院)口腔科

張超,E-mail:zhangchao0803@126.com

共同第一作者：陶圓，何倩

10.3969/j.issn.1674-4055.2016.11.02