Meta分析的綜合評價

沈 寧，胡良平,2*

(1.軍事醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)統(tǒng)計學(xué)咨詢中心，北京 100850；2.世界中醫(yī)藥學(xué)會聯(lián)合會臨床科研統(tǒng)計學(xué)專業(yè)委員會，北京 100029

Meta分析的綜合評價

沈 寧1，胡良平1,2*

(1.軍事醫(yī)學(xué)科學(xué)院生物醫(yī)學(xué)統(tǒng)計學(xué)咨詢中心，北京 100850；2.世界中醫(yī)藥學(xué)會聯(lián)合會臨床科研統(tǒng)計學(xué)專業(yè)委員會，北京 100029

本文旨在提出一種新的評價方式對meta分析方法及相關(guān)文章進(jìn)行綜合評價，即對大量的單個meta分析研究進(jìn)行匯總評價。古人云：萬變不離其宗。國內(nèi)外眾多不同領(lǐng)域的學(xué)者應(yīng)用meta分析這種方法發(fā)表了大量的學(xué)術(shù)論文，這些文章在研究設(shè)計、實施和寫作思路等方面都有相通之處。然而，“循證而行”的眾多meta分析類文章，呈現(xiàn)出在“設(shè)計”“實施”“分析”和“結(jié)論”等環(huán)節(jié)方面良莠不齊，其中有些還存在嚴(yán)重的瑕疵。筆者從研究設(shè)計、文獻(xiàn)來源和提取信息三個角度對meta分析類文章進(jìn)行分析，指出其存在的要害問題，以期為提升單個meta分析類研究課題質(zhì)量提供對策與建議。

系統(tǒng)評價；Meta分析；綜合評價；研究設(shè)計；數(shù)據(jù)庫；文獻(xiàn)檢索

1 概 述

1.1 五大類研究課題

當(dāng)今世界，人類所開展的科學(xué)研究非常之多，所涉獵的領(lǐng)域和范圍非常之廣，學(xué)者們很難用簡短的語言將其全部囊括進(jìn)去。但是，按研究的手段或課題的類型劃分，不外乎有以下五大類。

第一類，試驗性研究課題。即研究者通過設(shè)定某些特定的環(huán)境或條件，按一定的操作規(guī)程和質(zhì)量控制手段，去實施某些特定的處理，從而發(fā)現(xiàn)已經(jīng)呈現(xiàn)出來的現(xiàn)象或揭示出事物內(nèi)在的固有的變化和規(guī)律；或者制造或加工出具有某種功能或作用的物件，如藥物、儀器設(shè)備、武器、糧食、蔬菜等。

第二類，觀察性研究課題。研究者通過謀劃某些希望了解或探究的內(nèi)容、事物或現(xiàn)象，按一定的操作規(guī)程和質(zhì)量控制手段，去調(diào)查、打聽、采訪、觀察或測量，以期獲得必要的信息或資料，再通過對其整理、歸納、分析與提煉，得出對所關(guān)心的事物或現(xiàn)象的認(rèn)識和評價。

第四類，文獻(xiàn)性研究課題?；谖墨I(xiàn)資料，對已發(fā)表的多項同類研究課題進(jìn)行歸納、整合、總結(jié)、分析和推理，期望得出關(guān)于所探究問題的一個基于“更大樣本量、集成更多信息”且在更大范圍內(nèi)具有“高度概括性、重現(xiàn)性和可信性結(jié)論”的一類研究課題?！跋到y(tǒng)評價”[2]是此類課題的“廣義通用名稱”，而“meta分析”是此類課題的“狹義通用名稱”。

第五類，真實世界研究課題。采用類似于“觀察性研究”的手法，但沒有系統(tǒng)完善的“調(diào)查設(shè)計方案”指導(dǎo)，僅對與研究者關(guān)心的某些事物或現(xiàn)象有關(guān)且自然產(chǎn)生或發(fā)生的過程或結(jié)果進(jìn)行記錄、描述、呈現(xiàn)、總結(jié)、分析和推理，得出近乎關(guān)于“總體”的結(jié)果和結(jié)論。近年來，關(guān)于“大數(shù)據(jù)”[3]的研究熱潮或許是此類研究課題的“代名詞”。

1.2 何為meta分析的綜合評價

文獻(xiàn)[2]第3頁上指出，meta分析最早于1861年由英國皇家天文學(xué)家George Biddell Airy提出。自此至今，全世界的學(xué)者已經(jīng)發(fā)表的有關(guān)meta分析的學(xué)術(shù)論文不計其數(shù)。

人們不禁要問：系統(tǒng)評價/meta分析提供的“證據(jù)”一定是真實、重要、絕對可信的嗎？答案是否定的！理由很簡單：不同的研究者所做的meta分析研究課題，由于受其學(xué)問深淺、知識結(jié)構(gòu)、設(shè)計方案的科學(xué)和嚴(yán)謹(jǐn)程度、制定的標(biāo)準(zhǔn)操作規(guī)程的質(zhì)量、質(zhì)量控制的實時和嚴(yán)格程度、數(shù)據(jù)搜集和管理的質(zhì)量、資料統(tǒng)計分析的精準(zhǔn)和全面程度等的影響，所得結(jié)果和結(jié)論的精準(zhǔn)程度與可信度可能參差不齊。于是，證據(jù)質(zhì)量分級和推薦強(qiáng)度系統(tǒng)(簡稱GRADE系統(tǒng))于2004年應(yīng)運(yùn)而生[2]。

筆者腦海中迸發(fā)出一個新的問題：誰會采用前述提及的“GRADE系統(tǒng)”對每一篇擬發(fā)表的“meta分析研究論文”進(jìn)行評價呢？事實上，“GRADE系統(tǒng)”只是一面業(yè)已存在的“鏡子”或“標(biāo)準(zhǔn)”，為每一位擬發(fā)表“meta分析論文”的作者提供了一定的參考。但是，對全世界擬做這方面課題研究者的科學(xué)研究素養(yǎng)和技能的提高，其影響力微乎其微。因為很多已發(fā)表的meta分析方面的論文，在許多環(huán)節(jié)和細(xì)節(jié)上存在較為嚴(yán)重、甚至非常嚴(yán)重的瑕疵。

正因如此，筆者認(rèn)為：有必要對迄今為止的所有“meta分析”類學(xué)術(shù)論文做一下全面“掃描”和“透析”，從頭至尾，從其“表現(xiàn)型”找出其“原型”，并進(jìn)行系統(tǒng)全面地梳理、分析與論證，呈現(xiàn)其“標(biāo)準(zhǔn)型”[4-5]，從而為人們開展此類課題研究提供一個可資借鑒或模仿的標(biāo)準(zhǔn)模板，這就是對“meta分析”的綜合評價，取名為“meta分析的meta分析”。顯然，它屬于“廣義綜合評價”之一[6]。

GOLD指南推薦對于有呼吸道癥狀和危險因素接觸史的人群進(jìn)行肺功能檢查確診慢阻肺，但不推薦對無危險因素接觸史和無癥狀的人群進(jìn)行肺功能篩查，主要是基于在癥狀出現(xiàn)前診斷慢阻肺并沒有影響疾病病程和患者預(yù)后［24］。然而，這一推薦可能存在爭議。隨訪發(fā)現(xiàn)，對于未確診的慢阻肺患者，不管有無呼吸道癥狀，其急性加重和罹患肺炎的風(fēng)險都增加［25］。而我國研究顯示慢阻肺知曉率及肺功能檢查普及率極低，特別需要引起關(guān)注的是，60%的慢阻肺患者沒有明顯的咳嗽、咳痰、喘息等癥狀［2］，對無癥狀或癥狀不明顯的慢阻肺難以實現(xiàn)早期診斷，說明普及肺功能檢查對實現(xiàn)慢阻肺早診早治的重要性。

2 實施單個meta分析的關(guān)鍵要素

2.1 選題

閱讀每篇meta分析的論文，首先映入讀者眼簾的是關(guān)于“XXXX的meta分析”。這里的“XXXX”就是研究者希望回答的科學(xué)問題，通常都是生物醫(yī)藥學(xué)或臨床上的熱點問題或尚無定論的專業(yè)問題。事實上，它就是一個“meta分析研究課題”。選題非常重要，因為它涉及到該項研究是否有價值，應(yīng)具有新穎性、重要性、實用性。

2.2 設(shè)計

有人認(rèn)為：開展meta分析課題研究，不同于試驗或調(diào)查研究，就是把別人所獲得的試驗研究資料拿來，運(yùn)用統(tǒng)計分析軟件將它們進(jìn)行合并計算即可。因此，不存在“設(shè)計的問題”。這是被“meta分析”的“表現(xiàn)型”蒙蔽了眼睛。事實上，即便是常規(guī)的統(tǒng)計分析方法，如差異性檢驗、相關(guān)與回歸分析等，在使用之前也應(yīng)當(dāng)考察“資料是否值得分析”，而不是盲目地選擇某種統(tǒng)計分析方法去直接處理。

驗證所收集的資料是否值得進(jìn)行meta分析的關(guān)鍵在于考察從定下“選題”到“準(zhǔn)備開始進(jìn)行meta分析”的全過程是否存在“瑕疵”，嚴(yán)格地說，只有在前述的“全過程”無懈可擊的前提下，所收集到的資料才是值得進(jìn)行meta分析的。然而，做到這一點的依據(jù)或保證就是meta分析之前的“設(shè)計”。

“設(shè)計”一詞聽起來很“玄乎”，其實，“設(shè)計”就是普通人最容易理解的“安排”。研究者怎樣“安排”，才能把與“題目”有關(guān)的文獻(xiàn)“找準(zhǔn)找全”；才能把收集到的文獻(xiàn)中所包含的全部與完成好“課題”有關(guān)的信息都呈現(xiàn)出來。

2.3 實施

所謂實施，就是按照“設(shè)計”去具體落實。涉及到檢索數(shù)據(jù)庫的種類、檢索策略(包括時間范圍、語種、關(guān)鍵詞等)、納入與排除文獻(xiàn)的標(biāo)準(zhǔn)、從文獻(xiàn)中提取信息的人員素質(zhì)、所使用統(tǒng)計分析軟件的功能和權(quán)威性、實際實施meta分析人員的統(tǒng)計分析水平及解讀統(tǒng)計分析結(jié)果人員的統(tǒng)計與專業(yè)水平等。

3 從多種不同角度考察單個meta分析的質(zhì)量

3.1 從研究設(shè)計角度對meta分析原始文獻(xiàn)的分析

可以從八個方面來展開：①對原始文獻(xiàn)中處置倫理學(xué)問題的分析；②對原始文獻(xiàn)中處置研究類型問題的分析；③對原始文獻(xiàn)中處置設(shè)計類型問題的分析；④對原始文獻(xiàn)中處置比較類型問題的分析；⑤對原始文獻(xiàn)中處置三要素問題的分析；⑥對原始文獻(xiàn)中處置四原則問題的分析；⑦對原始文獻(xiàn)中處置標(biāo)準(zhǔn)操作規(guī)程問題的分析；⑧對原始文獻(xiàn)中處置質(zhì)量控制問題的分析。

在上述八個方面是否做得到位、高質(zhì)量，是體現(xiàn)單個meta分析研究課題在實施meta分析之前的“整體質(zhì)量”的“命脈”。

3.2 從文獻(xiàn)來源角度對meta分析的分析

可以從三個方面來展開：①對meta分析文獻(xiàn)檢索涉及數(shù)據(jù)庫的分析；②對meta分析中原始文獻(xiàn)所用語種的分析；③對檢索文獻(xiàn)策略的分析。

在以上三個方面是否考慮得盡可能全面、細(xì)致，是體現(xiàn)單個meta分析研究課題在實施meta分析之前的“文獻(xiàn)質(zhì)量”的“命脈”。

3.3 從原始文獻(xiàn)提取信息角度對meta分析的分析

可以從三個方面來展開：①對meta分析文章中數(shù)據(jù)提取者資質(zhì)和提取方式的呈現(xiàn)分析；②對meta分析文章中信息提取方案的內(nèi)容分析；③對meta分析文章中原始研究質(zhì)量分析的呈現(xiàn)內(nèi)容分析。

以上三個方面是否考慮得盡可能全面、細(xì)致，是體現(xiàn)單個meta分析研究課題在實施meta分析之前的“資料質(zhì)量”的“命脈”。

綜上所述，從以上三個大的視角來考察或?qū)徱晢蝹€meta分析的質(zhì)量，筆者可以謹(jǐn)慎地得出如下基本判斷：在國內(nèi)外已發(fā)表的meta分析類論文中，存在的問題還是相當(dāng)普遍和嚴(yán)重的，值得未來meta分析類研究課題的作者們引以為戒。

例如，在文獻(xiàn)[7-8]中，對于倫理學(xué)問題的考慮就不夠到位(具體地說，漏掉了倫理委員會名稱以及文件批號)；在文獻(xiàn)[9]中，缺乏對倫理問題的聲明；在文獻(xiàn)[10]中，未明確交代對照組是如何設(shè)置的。

在文獻(xiàn)[11]中，涉及了五種試驗研究類型，其中在納入與排除標(biāo)準(zhǔn)中提到納入的試驗類型不限，包括隨機(jī)對照試驗、非隨機(jī)的同期對照試驗、病例對照研究、隊列研究和病例系列報告。這樣的meta分析是把“薈萃”當(dāng)作“大雜燴”了，其意義和價值也就可想而知了。

由于篇幅有限，不能將存在的問題逐一舉例并輔以全面、細(xì)致剖析。筆者將選擇合適的時機(jī)或場合予以闡釋，此處從略。

4 從多種不同角度提升單個meta分析的質(zhì)量

4.1 注重提升實施meta分析之前的設(shè)計質(zhì)量

如同開展試驗研究(包括臨床試驗研究)和調(diào)查研究課題一樣，開展meta分析研究課題時，也必須高度重視“設(shè)計”。因為“具有高質(zhì)量的設(shè)計”是課題成功的“根基與保證”，其內(nèi)容十分豐富，但主要應(yīng)抓好八個方面，參見本文“3.1節(jié)”；還可參閱本刊自2016年第3期至2017年第2期“科研方法專題”中的所有文章(約24篇)。

4.2 注重提升實施meta分析之中的操作質(zhì)量

在具有高質(zhì)量“meta分析設(shè)計方案”的指導(dǎo)下，實施“文獻(xiàn)檢索”“信息提取”“信息整合”“數(shù)據(jù)分析”“結(jié)果呈現(xiàn)與解讀”和“結(jié)論陳述”，這是實施meta分析之中不可避免的一系列序貫操作。在前述的每一道“工序”中，都必須嚴(yán)格按照事先制訂好的系統(tǒng)、科學(xué)、全面且具有可操作性的“標(biāo)準(zhǔn)操作規(guī)程(SOP)”[12]具體實施，同時，從頭至尾都必須進(jìn)行嚴(yán)格、實時、精準(zhǔn)的“質(zhì)量控制”。確保各環(huán)節(jié)或工序之間“無縫銜接”，確保每個環(huán)節(jié)或工序上的“低質(zhì)率”降至為零(這就是曾經(jīng)風(fēng)靡一時的“六西格瑪管理理念[13-14])。

[1] 日本數(shù)學(xué)會. 數(shù)學(xué)百科辭典[M]. 北京: 科學(xué)出版社, 1984: 321-403.

[2] 羅杰, 冷衛(wèi)東. 系統(tǒng)評價/Meta分析理論與實踐[M]. 北京: 軍事醫(yī)學(xué)科學(xué)出版社, 2013: 3-178.

[3] 趙勇. 架構(gòu)大數(shù)據(jù)：大數(shù)據(jù)技術(shù)及算法解析[M]. 北京: 電子工業(yè)出版社, 2015: 1-19.

[4] 胡良平. 統(tǒng)計學(xué)三型理論在實驗設(shè)計中的應(yīng)用[M]. 北京: 人民軍醫(yī)出版社, 2006: 1-10.

[5] 胡良平, 張?zhí)烀? 新概念統(tǒng)計學(xué)：統(tǒng)計思維與三型理論在醫(yī)藥領(lǐng)域中的應(yīng)用[M]. 北京：中國中醫(yī)藥出版社, 2015: 1-274.

[6] 郭春雪, 沈?qū)? 胡良平. 整合科研設(shè)計與統(tǒng)計分析的方法: 廣義綜合評價[J]. 四川精神衛(wèi)生, 2017, 30(1): 16-21.

[7] 重組人腦利鈉肽多中心研究協(xié)作組. 重組人腦利鈉肽治療心力衰竭安全性和療效的開放性隨機(jī)對照多中心臨床研究[J]. 中華心血管病雜志, 2011, 39(4): 305-308.

[8] 武劍, 趙璟妍, 黃鏹, 等. 中國缺血性腦血管病患者腦動脈狹窄分布與危險因素的薈萃分析[J]. 中華醫(yī)學(xué)雜志, 2015, 95(29): 2396-2402.

[9] Moher D, Liberati A, Tetzlaff J, et al. Preferred reporting items for systematic reviews and meta-analyses: the PRISMA Statement[J]. Int J Surg, 2010, 8(5): 336-341.

[10] 周蔚然, 沈穎, 劉小梅. 喚醒療法與去氨加壓素治療兒童原發(fā)性遺尿癥的非隨機(jī)對照試驗[J]. 中國循證兒科雜志, 2015, 10(2): 155-159.

[11] 黃紫涵, 王小虎, 田金徽, 等. 早期乳腺癌保乳術(shù)后單導(dǎo)管球囊近距離加速部分乳腺放療單組率的Meta分析[J]. 中國循證醫(yī)學(xué)雜志, 2016, 16(11): 1298-1305.

[12] 胡良平. 課題設(shè)計與數(shù)據(jù)分析：關(guān)鍵技術(shù)與標(biāo)準(zhǔn)模板[M]. 北京: 軍事醫(yī)學(xué)科學(xué)出版社, 2014: 104-136.

[13] 張馳. 六西格瑪試驗設(shè)計[M]. 廣州: 廣東經(jīng)濟(jì)出版社, 2003: 1-30.

[14] 馬逢時, 周暐, 劉傳冰. 六西格瑪管理統(tǒng)計指南[M]. 北京: 中國人民大學(xué)出版社, 2007: 1-9, 535-650.

(本文編輯：吳俊林)

Comprehensive evaluation on the meta-analysis

ShenNing1,HuLiangping1,2*

(1.ConsultingCenterofBiomedicalStatistics,AcademyofMilitaryMedicalSciences,Beijing100850,China; 2.SpecialtyCommitteeofClinicalScientificResearchStatisticsofWorldFederationofChineseMedicineSocieties,Beijing100029,China*Correspondingauthor:HuLiangping,E-mail:lphu812@sina.com)

This paper aims to provide a new angle to evaluate the method of meta-analysis and the articles using this method, that is assessing large amount of individual articles in a comprehensive way. As the old saying goes while the appearances may vary the essence remains unchanged. Many scholars worldwide published a large number of academic papers in different fields by using the same method, meta-analysis. Therefore, we found similarities in the aspects of research planning, implementation and writing through these papers. However, we also found that, although, a lot of meta-analysis articles use this evidence-based approach, the standardization of design, implementation, analysis and conclusion presented in these papers seems uneven. Especially, some of the articles have serious flaws. We analyze the meta-analysis articles from the following three aspects: research design, literature source and information extraction, point out the critical problems and provide methods and suggestions in order to improve the quality of individual meta-analysis research.

Systemic review; Meta-analysis; Comprehensive evaluation; Study design; Database; Literature searching

R195.1

A

10.11886/j.issn.1007-3256.2017.03.004

國家高技術(shù)研究發(fā)展計劃課題資助(2015AA020102)

2017-06-04)

*通信作者：胡良平，E-mail：lphu812@sina.com)