推薦分級的評估、制訂與評價(GRADE)方法學(xué)家的培訓(xùn)與認證

王子君 姚 亮 劉 練 王 浩 周 奇 王小琴 陳耀龍

·循證醫(yī)學(xué)方法學(xué)·

推薦分級的評估、制訂與評價(GRADE)方法學(xué)家的培訓(xùn)與認證

王子君1，7姚 亮2，7劉 練1王 浩1周 奇3王小琴4,5,6陳耀龍4,5,6

推薦分級的評估、制訂與評價(GRADE)工作組正式成立于2000年，截至2017年初，包含循證醫(yī)學(xué)專家、指南方法學(xué)家、系統(tǒng)評價制作人員、醫(yī)務(wù)人員、期刊編輯、衛(wèi)生決策和管理人員等在內(nèi)的多學(xué)科的成員已超過300多名[1]。GRADE將證據(jù)質(zhì)量分為高(A)、中(B)、低(C)和極低(D)4級[2]。研究的偏倚風險、不一致性、不精確性、間接性和發(fā)表偏倚可能會降低證據(jù)的質(zhì)量，大效應(yīng)量、存在劑量-效應(yīng)關(guān)系和負偏倚可能會升高證據(jù)質(zhì)量。GRADE將推薦強度分為強(1)和弱(2)級[2]。對于證據(jù)質(zhì)量和推薦強度的關(guān)系，也從簡單的直接對應(yīng)(高質(zhì)量證據(jù)對應(yīng)強推薦，低質(zhì)量證據(jù)對應(yīng)弱推薦)到將二者分開，提出決定推薦強度的因素除了證據(jù)質(zhì)量外，還應(yīng)該考慮資源利用、利弊平衡和患者偏好與價值觀等。由于GRADE系統(tǒng)相對于之前的分級系統(tǒng)更加系統(tǒng)、全面、透明和具有可操作性[3]，全世界已經(jīng)有超過100多個機構(gòu)和組織將其作為指南制訂中證據(jù)分級的標準。本文對GRADE工作組提出的如何培養(yǎng)、培訓(xùn)和認證GRADE方法學(xué)家的原則、要求和規(guī)定進行解讀，進而為我國對GRADE感興趣或有志于成為GRADE方法學(xué)家的人員提供參考。

1 GRADE方法學(xué)家的角色與培訓(xùn)

1.1 GRADE方法學(xué)家在指南制訂中的角色 GRADE方法學(xué)家的主要職責是參與指南的制訂，一般會參與4個方面的工作：①結(jié)構(gòu)化指南關(guān)注的臨床問題，這些問題后期用來制定指南推薦意見，一般按照PICO的形式進行解構(gòu)。②對來自一個或多個系統(tǒng)評價的證據(jù)體進行證據(jù)質(zhì)量分級。③協(xié)助指南小組形成推薦意見。④進行GRADE教學(xué)。GRADE方法學(xué)家完成指南中GRADE的相關(guān)工作主要包括：核對和確保GRADE證據(jù)分級表無差錯；對每一個結(jié)局指標的結(jié)果進行合理總結(jié)；確保對GRADE每個升降級因素的分析均是在GRADE的理論框架內(nèi)進行，并且分級過程透明可靠。而在基于證據(jù)形成推薦意見環(huán)節(jié)，高質(zhì)量的工作包括應(yīng)用清晰的框架形成推薦意見，準確評價每個結(jié)局指標的證據(jù)質(zhì)量是否能夠支撐推薦意見，并確保推薦意見簡明、扼要和具有可操作性。此外，還需確保使用統(tǒng)一的GRADE符號，表明推薦意見的方向和推薦強度，以及對推薦意見進行合理的解釋。

1.2 GRADE方法學(xué)家培訓(xùn)與認證的必要性 研究表明，在應(yīng)用GRADE的過程中，接受過培訓(xùn)或有過相關(guān)背景人員的工作質(zhì)量更高。研究顯示[4]，通過GRADE培訓(xùn)，衛(wèi)生研究專業(yè)的研究生針對一些重要結(jié)局指標證據(jù)質(zhì)量分級結(jié)果的一致程度平均可達到0.66(95%CI：0.56～0.75)。此外，GRADE中國中心研究人員開展的一項預(yù)試驗結(jié)果顯示[5]，2名GRADE分級人員分級結(jié)果的一致性可達到0.75(95%CI：0.50～0.89)，隨著分級人員數(shù)量的增加，一致性也隨之增加。在另一項于指南制訂小組成員中進行的1 h GRADE培訓(xùn)的研究中也得出了類似的結(jié)果[6]。

此前并沒有機構(gòu)對GRADE方法學(xué)家進行資格認證，要求這些專業(yè)人員應(yīng)該具有特定的學(xué)術(shù)背景或培訓(xùn)，也沒有相應(yīng)的評價工具或標準來評價并遴選GRADE方法學(xué)家。而這些問題對依賴GRADE方法學(xué)家來協(xié)助系統(tǒng)評價制作和指南制訂的機構(gòu)而言至關(guān)重要，同時對系統(tǒng)評價和指南的使用者也有影響。為探索并解決該問題，WHO指南評審委員會聯(lián)合GRADE指導(dǎo)小組、GRADE中心和協(xié)作組織、Cochrane協(xié)作網(wǎng)共同研發(fā)了專門評價GRADE方法學(xué)家的資格認證量表(簡稱GRADE資格認證量表)[7]。其目的是為指南制訂者遴選具有一定GRADE知識和技能且具有相關(guān)經(jīng)驗的GRADE方法學(xué)家，并進一步為制訂者制訂高質(zhì)量指南提供指導(dǎo)。該量表的目的包括兩個方面：①為指南制訂者評價GRADE方法學(xué)家的知識水平提供判斷標準。②為從事指南、GRADE相關(guān)工作的專業(yè)人員水平設(shè)定最低標準，為指南制訂者根據(jù)自己的需求遴選合適的GRADE方法學(xué)家提供建議。需要注意的是，該量表的結(jié)果并不代表GRADE資歷證書。

2 GRADE方法學(xué)家認證方法

如果想要高質(zhì)量完成GRADE分級的相關(guān)工作，除了要求GRADE方法學(xué)人員掌握基本的統(tǒng)計學(xué)、研究設(shè)計和臨床流行病學(xué)的知識之外，還需要具備在GRADE具體工作過程中的其他技能(表1，表2)。GRADE資格認證量表包含3個環(huán)節(jié)：①研究人員自己報告GRADE培訓(xùn)和相關(guān)經(jīng)歷(自我報告)；②通過具體的案例評估研究人員對GRADE分級的熟練程度(案例評價)；③獨立評估研究人員的理論知識和熟練程度，提出作為合格GRADE方法學(xué)家的最低要求(正式評估)。這3個評估環(huán)節(jié)可以通過與資深GRADE方法學(xué)家或指南制訂小組中受過GRADE系統(tǒng)培訓(xùn)的研究人員進行郵件溝通或其他形式的交流實現(xiàn)。

2.1 自我報告 自我報告可以用來初步評價研究人員在GRADE方面的資歷。為了便于操作，研究人員開發(fā)了一個評估清單(表1)，用于對單個研究人員或者研究小組進行評估。用戶可以根據(jù)各自指南和系統(tǒng)評價關(guān)注的問題對清單中的一些問題進行修改，其中關(guān)于參加培訓(xùn)的條目需要通過參會證明或者結(jié)業(yè)證書來說明。研究人員不建議對每個條目賦以分值，因為每個條目的權(quán)重很難區(qū)分。

表1 GRADE方法學(xué)家資歷評估清單

注 X：該經(jīng)歷或技能是完成該項GRADE工作內(nèi)容必須具備的；-：該項經(jīng)歷或培訓(xùn)對完成GRADE工作內(nèi)容有幫助但不是必須的；a：如果和指南主題相關(guān)，則是需要的

2.2 案例評估 為了更好地評估GRADE方法學(xué)家結(jié)構(gòu)化PICO問題和評估證據(jù)質(zhì)量(包括相關(guān)教學(xué))的能力，指南制訂者可以要求提交之前完成的GRADE證據(jù)分級表。評估者也可以給出1個現(xiàn)有的系統(tǒng)評價并要求GRADE方法學(xué)家獨立完成證據(jù)表。這樣可以針對具體的研究問題或研究設(shè)計來考察GRADE方法學(xué)家。此時指南制訂者需要結(jié)合自己的GRADE知識評價分級結(jié)果，或者邀請1個外部資深GRADE專家參與評估。

表2 在指南中應(yīng)用GRADE相關(guān)工作需要的培訓(xùn)或相關(guān)經(jīng)驗

注 X：該經(jīng)歷或技能是完成該項GRADE工作內(nèi)容必須具備的；-：該項經(jīng)歷或培訓(xùn)對完成該項GRADE工作內(nèi)容是有幫助的但不是必須的；a：包含不同領(lǐng)域?qū)＜矣袔椭皇潜仨毜模籦：如果和指南主題相關(guān)；c：如果和學(xué)生的需求相關(guān)

2.3 正式評估 正式的GRADE資歷評估可以通過筆試、口試或根據(jù)他們在形成推薦意見的指南會議中的表現(xiàn)來評估。在正式評估前也可以對GRADE專業(yè)人員之前的證據(jù)分級案例進行評估。盡管這種評估可以反映一些問題，但是目前不推薦，主要原因有以下幾個方面：①研發(fā)一種適用于不同文化、語言、地區(qū)和不同類型指南的評價工具具有挑戰(zhàn)性。②建立專門評估并跟蹤結(jié)果的團隊存在困難。③在海量電子資源和即時通訊時代，筆試結(jié)果也難以反映研究人員的真實水平。④評估工具需要隨著GRADE方法的發(fā)展而持續(xù)更新，需要更多的人力。⑤測試可能會影響到研究人員學(xué)習(xí)GRADE的積極性，尤其對那些低收入國家和非英語國家的研究人員。⑥評估工具的產(chǎn)生可能會導(dǎo)致一些商業(yè)方面和其他幫助“通過測試”的利益沖突出現(xiàn)，其目的可能并不是學(xué)習(xí)和應(yīng)用GRADE方法學(xué)。

2.4 評價GRADE方法學(xué)家資歷的其他因素 評價GRADE方法學(xué)家資歷中的其他潛在因素也很重要。如該人員是否接受過臨床培訓(xùn)或具有臨床背景？是否具有公共衛(wèi)生、試驗設(shè)計實施以及項目評估方面的學(xué)位或研究背景？是否具有信息科學(xué)、生物統(tǒng)計、流行病、經(jīng)濟評估、系統(tǒng)評價和指南方面的培訓(xùn)或研究經(jīng)歷？以上因素的考慮主要取決于系統(tǒng)評價和指南關(guān)注的領(lǐng)域。正如表1所述，針對不同類型的研究、系統(tǒng)評價和指南的問題，需要有不同類型和不同研究背景的專業(yè)人員才能正確應(yīng)用GRADE方法。在某些研究領(lǐng)域，如診斷試驗或者非隨機研究中，GRADE有其獨特的應(yīng)用方法；但是在其他的研究領(lǐng)域，如病因、預(yù)后以及定性研究中，GRADE的應(yīng)用方法尚不成熟。這種情況下，指南制訂者和GRADE方法學(xué)家在應(yīng)用GRADE的過程中可能存在一些差異。在這些尚不成熟領(lǐng)域中的GRADE的理論框架完善之前，建議指南制訂者根據(jù)指南的需求選擇合適的GRADE方法學(xué)專家，并和GRADE方法學(xué)家討論如何在這些領(lǐng)域應(yīng)用GRADE，確保新提出的GRADE方案建立在現(xiàn)有GRADE方法學(xué)的框架之上。雖然公共衛(wèi)生、衛(wèi)生政策和衛(wèi)生系統(tǒng)中指南制訂需要的GRADE方法學(xué)家不一樣，但遴選GRADE方法學(xué)家的原則是一致的?？傊?，指南制訂機構(gòu)需要具有相應(yīng)研究背景的GRADE方法學(xué)家的協(xié)助來共同完成指南。

GRADE方法學(xué)家需要理解系統(tǒng)評價和指南關(guān)注的主題。如果GRADE方法學(xué)家不是相關(guān)領(lǐng)域的專家，那么他們需要了解這個領(lǐng)域的研究內(nèi)容，并需要快速了解這個領(lǐng)域的研究類型、結(jié)局指標以及潛在的偏倚、爭議和不確定的問題。這種了解對分析關(guān)鍵問題，解釋證據(jù)、證據(jù)質(zhì)量分級以及確保呈現(xiàn)結(jié)果的合理性很有必要。GRADE方法學(xué)家需要大致清楚哪些干預(yù)措施有效、哪些無效。而且就部分系統(tǒng)評價和指南而言，系統(tǒng)評價制作者和GRADE方法學(xué)家也可以從這些指南涉及的地域、文化和社會經(jīng)濟學(xué)方面獲益匪淺。此外，一些指南制訂機構(gòu)，如WHO，在制訂指南遴選GRADE方法學(xué)家的過程中還需要考慮不同地區(qū)人群的公平性以及性別平衡。最后，GRADE方法學(xué)家的其他能力對指南制訂也是至關(guān)重要的，如協(xié)作能力、達成共識的能力、尊重不同的價值體系(無論指南制訂機構(gòu)、指南制訂小組、指南使用者還是普通大眾均能夠從指南中獲益)、使用指南的意愿、改編新方法以及高效工作和按規(guī)定時間完成任務(wù)等，這些能力對指南項目均是必要的。

3 未來研究與展望

任何行業(yè)的專業(yè)資格認證，都需經(jīng)過數(shù)年的發(fā)展，才能建立起一套完整的體系。對于GRADE來說，在科學(xué)、準確認證方法學(xué)家方面目前仍然存在諸多挑戰(zhàn)，除了以上介紹的量表，未來還應(yīng)該關(guān)注應(yīng)用GRADE方法生產(chǎn)高質(zhì)量內(nèi)容(包括GRADE證據(jù)概要表以及從證據(jù)到推薦意見的轉(zhuǎn)化)所應(yīng)該具備的技能和經(jīng)歷。以下幾個方面可能是未來研究應(yīng)該關(guān)注的重點：①GRADE方法學(xué)家的哪些能力與證據(jù)表的完成質(zhì)量有關(guān)，這些相關(guān)的因素應(yīng)該在GRADE資格認證量表中涉及，如參加GRADE培訓(xùn)、有臨床流行病學(xué)、生物統(tǒng)計學(xué)和其他相關(guān)的培訓(xùn)。②指南制訂相關(guān)工作的質(zhì)量應(yīng)該如何評價，如指南制訂小組成員的滿意度、指南內(nèi)容的質(zhì)量，推薦意見類型(如基于低和極低質(zhì)量證據(jù)形成強推薦的比例)，尤其在中低收入國家、資源匱乏的國家以及非英語地區(qū)。③高效掌握GRADE相關(guān)技能的方法，以及如何評價和提高這些技能。④GRADE資格認證量表提出的參與GRADE相關(guān)工作的最低標準，是否可以完成高質(zhì)量的GRADE證據(jù)概要表、GRADE證據(jù)決策表和指南工作。具體評價的指標可能包括指南制訂小組和指南專家組的滿意度，系統(tǒng)評價和指南的質(zhì)量以及指南制訂效率等。

合格的GRADE方法學(xué)家是循證指南制訂成功的關(guān)鍵。GRADE資格認證量表對GRADE方法學(xué)家的相關(guān)知識、技能、培訓(xùn)和研究經(jīng)歷進行了說明，可幫助遴選合格的GRADE方法學(xué)家。其他信息，如之前完成的GRADE證據(jù)概要表和參考資料，也具有重要價值?？梢赃@樣理解，對于使用GRADE資格認證量表評價GRADE方法學(xué)家資歷的推薦強度為“弱”。此外，可根據(jù)具體環(huán)境和需求對GRADE資格認證量表進行適當改編。

此外，GRADE資格認證量表使用的目標人群還可擴展到從事指南工作之外的個人和組織，如期刊編輯也可以用GRADE資格認證量表評價同行評審專家。當然，為促進未來在指南制訂中應(yīng)用GRADE方法，還有很多工作需要完成，GRADE工作組仍需要開展更多的GRADE相關(guān)會議和培訓(xùn)，更新GRADE方法學(xué)資料和軟件，以及完善GRADE手冊等。

[1] 陳耀龍, 楊克虎, 姚亮. GRADE系統(tǒng)方法學(xué)進展. 中國循證兒科雜志, 2013, 8(1): 64-65

[2] Yoshida M, Kinoshita Y, Watanabe M, et al. JSGE clinical practice guidelines 2014: standards, methods, and process of developing the guidelines. J Gastroenterol. 2015, 50(1): 4-10

[3] 袁金秋, 劉雅莉, 楊克虎, 等. 系統(tǒng)評價再評價納入研究的質(zhì)量評價方法調(diào)查. 中國循證醫(yī)學(xué)雜志, 2012, 12(2):238-242

[4] Mustafa RA, Santesso N, Brozek J, et al. The GRADE approach is reproducible in assessing the quality of evidence of quantitative evidence syntheses. J Clin Epidemiol, 2013, 66(7): 736-742

[5] Shen X, Chen Y, Yang K. The agreement for grading the quality of evidence using GRADE system. 20th Cochrane Colloquium, Auckland, New Zealand: The Cochrane Collaboration, 2012

[6] Kumar A, Miladinovic B, Guyatt GH, et al. GRADE guidelines system is reproducible when instructions are clearly operationalized even among the guidelines panel members with limited experience with GRADE. J Clin Epidemiol, 2016, 75: 115-118

[7] Norris SL, Meerpohl JJ, Akl EA, et al. The skills and experience of GRADE methodologists can be assessed with a simple tool. J Clin Epidemiol, 2016, 79: 150-158

2017-09-14

2017-09-27)

(本文編輯：張崇凡)

國家自然科學(xué)基金-中西醫(yī)結(jié)合領(lǐng)域在線證據(jù)質(zhì)量分級系統(tǒng)的研發(fā)：81503459

1 蘭州大學(xué)第二臨床醫(yī)學(xué)院 甘肅蘭州，730000；2 甘肅省人民醫(yī)院臨床循證醫(yī)學(xué)研究所 甘肅蘭州，730000；3 蘭州大學(xué)第一臨床醫(yī)學(xué)院 甘肅蘭州，730000；4 蘭州大學(xué)醫(yī)學(xué)院循證醫(yī)學(xué)中心 甘肅蘭州，730000；5 GRADE中國中心 甘肅蘭州，730000；6 世界衛(wèi)生組織指南實施與知識轉(zhuǎn)化合作中心 甘肅蘭州，730000；7 共同第一作者

陳耀龍，E-mail:chenyaolong21@163.com

10.3969/j.issn.1673-5501.2017.05.014