康復臨床實踐指南：方法學質(zhì)量研究

魏莉莉，李浩冉，王子君，黃嘉駿，周奇3,6,7,，黃天相，陳佩瑤，李興杰，陳耀龍，楊克虎

1.蘭州大學第二醫(yī)院，甘肅蘭州市 730000；2.蘭州大學基礎醫(yī)學院循證醫(yī)學中心，甘肅蘭州市 730000；3.甘肅省循證醫(yī)學與臨床轉(zhuǎn)化重點實驗室，甘肅蘭州市 730000；4.世界衛(wèi)生組織國際分類家族中國合作中心，北京市 100068；5.中國ICF 研究院/濰坊醫(yī)學院，山東濰坊市 261053；6.世界衛(wèi)生組織指南實施與知識轉(zhuǎn)化合作中心，甘肅蘭州市 730000；7.GRADE中國中心，甘肅蘭州市 730000；8.蘭州大學第一臨床醫(yī)學院，甘肅蘭州市 730000

臨床實踐指南是基于系統(tǒng)評價的證據(jù)和平衡了不同干預措施的利弊，在此基礎上形成的能夠為患者提供最佳保健服務的推薦意見[1‐3]。作為臨床康復的指導性文件，康復臨床實踐指南為康復治療的實施和評價提供科學的證據(jù)基礎，幫助醫(yī)療機構(gòu)按照循證醫(yī)學支持的治療方案進行操作，提高康復療效，消除障礙并提高健康服務和規(guī)劃的可及性，使患者獲得最大限度的功能和自理能力改善，促進實現(xiàn)所有殘疾人的最佳健康、功能、福祉和人權[4‐6]。這些目標的實現(xiàn)需基于指南科學的設計、嚴格的制訂、規(guī)范的報告以及對高質(zhì)量證據(jù)、患者偏好和價值觀及經(jīng)濟因素的綜合考慮[7]。然而很多領域臨床實踐指南的質(zhì)量參差不齊，制訂過程差別較大[8‐10]。若采用有缺陷的指南很有可能導致預期之外或不良的臨床結(jié)局，給患者帶來危害和不必要的經(jīng)濟負擔，還會造成醫(yī)療資源的浪費[4,10]。因此，對康復醫(yī)學領域臨床實踐指南進行質(zhì)量評價可幫助醫(yī)務工作者明確指南的制訂過程是否嚴格、規(guī)范、透明，推薦意見是否基于當前最佳證據(jù)并值得在臨床推廣實踐。

指南研究與評價(Appraisal of Guidelines for Re‐search and Evaluation,AGREE)協(xié)作網(wǎng)于2003年制訂并發(fā)布AGREE 工具，將指南的質(zhì)量定義為“對指南制訂的潛在偏倚得以充分考慮，以及對指南推薦意見具有內(nèi)部真實性、外部真實性和實施可行性的信心”，對臨床指南的質(zhì)量保證和成功實施產(chǎn)生了重要影響[11]。2009 年AGREE更新為AGREE Ⅱ，2013 年AGREE Ⅱ進行再次修訂[12‐13]，目前已成為國際上應用最廣的指南評價工具。本研究旨在應用AGREE Ⅱ?qū)祻皖I域的指南做方法學質(zhì)量評價，同時，研究AGREE Ⅱ與康復臨床實踐指南的契合程度，為規(guī)范康復領域臨床指南的制訂提供參考。

1 資料與方法

1.1 一般資料

檢索方法、納入與排除標準及文獻篩選見袁濤等[14]的研究。

1.2 數(shù)據(jù)提取及評價方法

基于AGREE Ⅱ條目設計資料提取和評價表。數(shù)據(jù)提取及評價前，對小組內(nèi)4 名評價成員進行培訓，隨后進行2 次預試驗，以對AGREE Ⅱ各條目達成較一致的理解，形成評分參考標準，減小對各條目的理解偏倚。正式評價時各研究人員獨立進行數(shù)據(jù)提取并階段性交叉核對，出現(xiàn)分歧時通過協(xié)商解決。提取的基本信息包括：指南發(fā)表年份、發(fā)表雜志、針對的健康問題、方法學家、檢索證據(jù)、證據(jù)納入排除標準、證據(jù)分級工具、推薦分級工具、形成推薦意見的方法、患者意愿、指南版本、更新計劃、利益沖突、參考文獻、是否有附件及附件內(nèi)容等。

運用AGREE Ⅱ指南評價工具對納入指南進行綜合評價。此工具包括范圍和目的、參與人員、制訂嚴謹性、表達清晰性、應用性和編輯獨立性等6 個領域共23個條目。

范圍和目的是指指南在闡述總目的、所涵蓋的臨床問題及指南適用人群是否清晰，共3 個條目。參與人員是指指南制訂過程中是否納入所有相關專業(yè)的人員、收集目標人群(患者和公眾)的觀點及明確規(guī)定指南的使用者，共3 個條目。制訂嚴謹性是指證據(jù)檢索方法、證據(jù)選擇標準、描述證據(jù)強度和局限性、形成推薦意見的方法、形成推薦意見時的利弊分析、建議和證據(jù)之間是否有明確關系、是否經(jīng)過外部專家評審、是否提供指南更新步驟，共8 個條目。表達清晰性是指推薦意見是否明確、是否明確列出不同的選擇或臨床問題、是否容易識別重要的推薦意見，共3 個條目。應用性是指指南應用過程中的促進和障礙因素、提供如何應用于實踐的推薦建議和工具、可能需要的相關資源和監(jiān)測審查標準，共4 個條目。編輯獨立性是指贊助單位的觀點是否影響指南內(nèi)容、是否記錄并公開指南小組成員的利益沖突，共2個條目。

其中，每個條目1～7 分，1 分表示指南完全不符合該條目，2～6分代表指南不完全符合該條目，7分代表指南完全符合該條目。各領域最終得分(標準化百分比)=(實際分－最低分)/(最高分－最低分)×100%。得分越高，說明所評價的指南在本領域的方法學質(zhì)量越高。最低分=1(完全不符合)×該領域條目數(shù)×評價者數(shù)量；最高分=7(完全符合)×該領域條目數(shù)×評價者數(shù)量。

根據(jù)指南各領域得分情況將指南的推薦級別分為3 級。A 級(推薦)：指南6 個領域得分均≥60%，可不更改直接推薦。B 級(不同程度修改完善后推薦)：得分≥30%的領域數(shù)≥3，但有得分<60%的領域，需要不同程度的修改完善。C級(不推薦)：得分<30%的領域數(shù)≥3，由于指南制定方法較差或證據(jù)質(zhì)量差暫時不推薦[15]。

1.3 統(tǒng)計學分析

采用SPSS 22.0 對指南評價結(jié)果進行一致性檢驗，4 名評價者評價結(jié)果的一致性檢驗通過計算組內(nèi)相關系數(shù)(interclass correlation coefficient,ICC)。該方法可檢測評估者內(nèi)和評估者間的可靠性，ICC 值介于0～1.00。若ICC ≤0.20，說明評價者間一致性差；0.21 ≤ICC ≤0.60，說明一致性中等；0.61 ≤ICC ≤0.80 說明一致性良好；ICC ≥0.80 說明一致性非常好。國內(nèi)外與AGREE Ⅱ發(fā)布前后指南平均得分不符合正態(tài)分布，比較采用獨立樣本非參數(shù)Mann‐WhitneyU檢驗。顯著性水平α=0.05。

2 結(jié)果

根據(jù)納入與排除標準，本研究共納入康復臨床實踐指南84篇，其中英文67篇，中文17篇。

2.1 一致性檢驗結(jié)果

使用AGREE Ⅱ工具評價中，4 名評價人員針對范圍和目的、參與人員、制訂嚴謹性、表達清晰性、應用性和編輯獨立性共6 個領域進行評價的一致性檢驗結(jié)果分別為0.832 (95%CI 0.754～0.876)、0.929(95%CI 0.901～0.950)、0.964 (95%CI 0.950～0.975)、0.906 (95%CI 0.869～0.934)、0.790 (95%CI 0.708～0.854)和0.894 (95%CI 0.853～0.926)。4 名評價成員間AGREE Ⅱ評分的一致性均良好以上。

2.2 基于AGREE Ⅱ的指南評價結(jié)果

納入的84 篇康復臨床實踐指南AGREE Ⅱ整體評價平均得分為48.1%，其中，國外指南為49.9%，國內(nèi)指南為40.7%。

2.2.1 范圍和目的

該領域所有指南的平均得分為41.6%。國外指南平均得分高于國內(nèi)(P<0.05)。見表1。國外指南中得分最高為76.4%[16]，國內(nèi)最高為48.6%[17]。AGREE Ⅱ發(fā)布前后該領域指南平均得分無顯著性差異(P>0.05)。見表2。AGREE Ⅱ發(fā)布后的指南評分最高為76.4%[14]，發(fā)布前最高為61.1%[18]。

2.2.2 參與人員

該領域所有指南的平均得分為24.5%。國外指南平均得分明顯高于國內(nèi)(P<0.01)。見表1。國外指南中得分最高為58.3%[19]，國內(nèi)最高為33.3%[20‐27]。AGREE Ⅱ發(fā)布前后指南平均得分無顯著性差異(P>0.05)。見表2。AGREE Ⅱ發(fā)布后的指南評分最高為58.3%[28]，發(fā)布前最高為40.3%[29]。

2.2.3 制訂嚴謹性

該領域所有指南的平均得分為23.2%。國外指南平均得分高于國內(nèi)(P<0.05)。見表1。國外指南中評分最高為58.9%[30]，國內(nèi)最高為36.5%[31‐32]。AGREEⅡ發(fā)布前后指南平均得分無顯著性差異(P>0.05)。見表2。AGREE Ⅱ發(fā)布后的指南評分最高為58.3%[33]，發(fā)布前最高為45.3%[18]。

2.2.4 表達清晰性

該領域所有指南的平均得分為39.9%。國外指南平均得分高于國內(nèi)(P<0.05)。見表1。國外指南中評分最高為70.8%[33]，國內(nèi)最高為55.6%[34‐35]。AGREEⅡ發(fā)布后的指南平均得分高于發(fā)布前(P<0.05)。見表2。AGREE Ⅱ發(fā)布后的指南評分最高為70.8%[33]，發(fā)布前最高為61.1%[36]。

2.2.5 應用性

該領域所有指南的平均得分為12.9%。國內(nèi)外指南平均得分無顯著性差異(P>0.05)。見表1。國外指南中評分最高為43.8%[28]，國內(nèi)最高為18.8%[31‐32]。AGREE Ⅱ發(fā)布前后的指南平均得分無顯著性差異(P>0.05)。見表2。AGREE Ⅱ發(fā)布后的指南評分最高為43.8%[28]，發(fā)布前最高為26.0%[33]。

2.2.6 編輯獨立性

該領域所有指南的平均得分為15.5%。國外指南平均得分高于國內(nèi)(P<0.05)。見表1。國外指南中評分最高為60.4%[37]，國內(nèi)最高為35.4%[38]。AGREE Ⅱ發(fā)布后的指南平均得分明顯高于發(fā)布前(P<0.01)。見表2。AGREE Ⅱ發(fā)布后的指南評分最高為60.4%[37]，發(fā)布前最高為25.0%[39]。

表1 國內(nèi)外康復臨床實踐指南AGREEⅡ評價各領域得分比較

3 討論

本研究所涉及的84篇指南中，整體評分較低。其中，國外指南部分為循證指南，較符合目前的趨勢。文獻[16]各領域得分值在本研究所有指南中最高，文獻[31‐32]整體評分值在所有國內(nèi)指南中最高，此指南嚴格遵循循證實踐指南的制訂方法，以上兩部指南的制訂方法值得借鑒。

表2 康復臨床實踐指南AGREE Ⅱ發(fā)布前后各領域得分比較

在范圍和目的方面，所有指南評分均值相對較高。幾乎所有指南都有明確的目的，即規(guī)范相關疾病的康復醫(yī)學實踐。差異在于闡述指南所涵蓋的健康問題以及應用人群方面，國外指南更為嚴謹。

在參與人員方面，除了部分國外指南之外，所有指南的得分均值較低。國內(nèi)外指南在本領域的差異并不明顯，大多數(shù)指南均缺乏統(tǒng)計學和方法學專家。所有指南的編撰專家數(shù)量差異較大，文獻[31‐32]的參與制訂者達到40多人，而文獻[40]的參與制訂者僅3人，相比之下要完成從證據(jù)收集、評價到推薦意見形成等一系列工作，難度較大。此外，AGREE Ⅱ要求每篇指南應該詳盡列出指南開發(fā)小組的每位成員的專業(yè)、機構(gòu)、研究領域和在指南開發(fā)小組中的角色等，同時還應該收集目標人群(患者、公眾等)的觀點和選擇意愿以及明確規(guī)定指南的使用者，以上3 個條目對指南的制訂至關重要。然而，大多數(shù)國內(nèi)指南及部分國外指南只列出專家姓名，未提及具體單位、學科、專業(yè)及在指南制訂中的角色，有待進一步規(guī)范。本研究所納入的指南多數(shù)未考慮到目標人群的觀點和選擇意愿，并且對指南的使用者還需進一步明確。

指南制訂的嚴謹性是評價指南質(zhì)量高低的重要因素?？傮w看來，所有指南在該領域得分平均值相對較低，提示在該領域還有較大的進步空間。然而，有極少數(shù)指南的質(zhì)量較高，值得參考。其中，NICE 指南如文獻[19]被認為是“所有康復指南中最優(yōu)秀的一篇指南”。指南中詳細列出了系統(tǒng)的檢索方法、選擇證據(jù)的標準、證據(jù)的優(yōu)勢和不足、形成推薦意見的方法以及指南的更新步驟等，完全符合AGREE Ⅱ的要求。其余國外指南均存在某些不足。如文獻[41‐42]，在證據(jù)檢索方法方面均一筆帶過，不具有可重復性；文獻[43‐44]未提及選擇證據(jù)的標準；文獻[43,45‐46]存在未描述證據(jù)的優(yōu)勢和不足等其他問題。國內(nèi)指南方面，大多數(shù)忽略了證據(jù)的系統(tǒng)檢索和選擇證據(jù)的標準，部分指南直接列出推薦意見。同時國內(nèi)大部分指南出版前未經(jīng)過專家的外部評審，也沒有相應的更新計劃。因此，國內(nèi)康復指南在此條目上的質(zhì)量較差，應當加強制訂過程的嚴謹性。

在表達清晰性方面，上述指南得分均值相對較高。整體來看，國外指南在該領域的得分明顯高于國內(nèi)指南，表明其推薦意見的表述具有更高的嚴謹性。其中，國外文獻[33]的評分較高(70.8%)，這篇指南的推薦意見清晰，對某一情況或健康問題列出不同的選擇，并且主要的推薦意見清晰易辨。其余的國內(nèi)外指南在以上3 個條目中均存在不同程度的缺陷，如沒有明確列出推薦意見或者推薦意見含糊不明確等。如文獻[41]推薦意見較明確，但是推薦意見的識別不清晰，無明確的推薦字眼或者將推薦建議放在一個醒目位置，有待改進。

在應用性方面，要成功使用指南可能需要考慮多方面的問題，如地區(qū)經(jīng)濟健康水平、醫(yī)療保險體系等。此外，為了提高指南的使用效率，還應有相應的快速參考指南、總結(jié)文件及患者書面說明等配套工具。此領域的得分平均值處于所有領域得分的最低分，因為大多數(shù)指南未提及指南應用時的優(yōu)勢和劣勢，未考慮提供應用推薦建議的意見和/或工具，較少考慮應用推薦建議時潛在的相關資源。同時，部分指南未提供監(jiān)控或?qū)徲嫷臉藴?，導致使用者無法正確理解指南。如文獻[47]在其他領域的得分尚可，但是整個指南幾乎未提及該領域所包含的內(nèi)容，將會導致臨床操作標準不統(tǒng)一。因此，上述領域值得重點關注。

在編輯獨立性方面，贊助單位的觀點及指南開發(fā)小組成員的利益沖突要記載并公布，它將會影響整個指南的制訂結(jié)果。有研究指出指南編輯專家與藥廠企業(yè)之間的聯(lián)系將會影響指南的制訂過程[48]。因此，為保證制訂過程客觀公正，任何利益關系都應當被考慮和注明。本研究中，國外指南大多數(shù)闡述了贊助單位的觀點與指南開發(fā)小組成員之間的利益沖突，而國內(nèi)指南僅有少數(shù)闡述本領域內(nèi)容。建議未來國內(nèi)指南制訂過程中對此內(nèi)容高度重視，以增加指南的可信度。

AGREE Ⅱ作為指南的質(zhì)量評價工具，可為新指南的制訂提供方法學策略，已在國際上得到廣泛應用，對我國臨床指南的制訂與評價起到積極有效的作用。通過應用此工具對國內(nèi)外康復醫(yī)學領域臨床實踐指南的評價結(jié)果可以得出，納入評價的84 篇指南在AGREE Ⅱ6 個領域中平均得分由高到低依次是表達清晰性、范圍和目的、參與人員、制訂嚴謹性、編輯獨立性和應用性，其中后4個領域的平均分低于30%。說明很大一部分指南未詳細列出參編人員的研究領域和在指南制訂小組中的職務，缺乏收集目標人群(患者、公眾等)的觀點和選擇意愿以及明確規(guī)定指南的使用者；對證據(jù)的檢索過程、選擇證據(jù)的標準及形成推薦建議的方法等嚴謹性缺乏；較少考慮利益關系；在指南應用于臨床中缺乏明確的指導及審查標準。AGREE Ⅱ發(fā)布前后指南得分的平均值顯示，發(fā)布后的得分均高于發(fā)布前的得分。說明AGREE Ⅱ發(fā)布后，國內(nèi)外指南的質(zhì)量有所提升。因此，在指南的開發(fā)及更新過程中，應針對以上問題進行改進，并嚴格遵循指南的質(zhì)量評價標準，以促進指南向臨床實踐的轉(zhuǎn)化。

此外，在評價中也發(fā)現(xiàn)AGREE Ⅱ工具在評價指南時本身也存在其局限性，如只注重對指南制訂的方法學評價，而對指南證據(jù)質(zhì)量和推薦建議的可靠程度無法評價。某些條目難以理解和應用，如推薦建議應用時潛在的相關資源監(jiān)督和/或?qū)徲嫎藴实龋粵]有具體的評分區(qū)間與標準，導致評價人員的主觀性被放大；缺少判斷一部指南優(yōu)劣的界值，未規(guī)定決定指南質(zhì)量的核心條目等。

4 小結(jié)

國內(nèi)外康復臨床實踐指南的方法學質(zhì)量有待進一步提高。建議指南制訂者掌握相關指南報告和評價工具(如AGREE Ⅱ和RIGHT)，重視指南制訂過程中的細節(jié)問題和規(guī)范性，從而更好地提升指南的質(zhì)量，發(fā)揮指南改善臨床實踐的功能。