以臨床問題解決效果為核心的骨科循證研究質(zhì)量評價指標(biāo)體系構(gòu)建

黃國鑫，曹啟龍，陶 華，趙嘉國，黃 橋，劉 盈，艾金偉，汪登如，裴 斌

1. 湖北醫(yī)藥學(xué)院附屬襄陽市第一人民醫(yī)院循證醫(yī)學(xué)中心（湖北襄陽 441000）

2. 青島海爾生物科技有限公司（山東青島 266000）

3. 鄭州市第二人民醫(yī)院藥學(xué)部（鄭州 450015）

4. 首都醫(yī)科大學(xué)附屬北京同仁醫(yī)院足踝外科中心（北京 100730）

5. 武漢大學(xué)中南醫(yī)院循證與轉(zhuǎn)化醫(yī)學(xué)中心（武漢 430071）

6. 湖北醫(yī)藥學(xué)院附屬襄陽市第一人民醫(yī)院護(hù)理部（湖北襄陽 441000）

7. 云南研靈生物科技有限公司（昆明 650224）

2003 年加拿大麥克馬斯特大學(xué)骨科教授Mohit Bhandari 首次提出了循證骨科學(xué)概念，隨后多位骨科專家也闡釋了對循證骨科學(xué)內(nèi)涵的認(rèn)識[1-2]。艾金偉等[3]闡述了對循證骨科學(xué)概念的理解，提出了骨科循證研究策略，指出骨科循證研究是采用循證醫(yī)學(xué)的方法研究骨科疾病。循證骨科學(xué)理論研究文獻(xiàn)不多，目前未檢索到循證研究或骨科循證研究質(zhì)量評價指標(biāo)和方法相關(guān)的文獻(xiàn)；但骨科問題的循證研究文獻(xiàn)較多，生產(chǎn)了一批新的骨科循證證據(jù)，推動了循證骨科學(xué)和骨科的發(fā)展[4-6]。骨科循證研究人員以青年醫(yī)生和學(xué)生為主，普遍重視發(fā)表學(xué)術(shù)論文，但部分研究不關(guān)注選題是否屬于決策困難的骨科臨床問題；不注重通過指導(dǎo)臨床決策，實現(xiàn)循證研究的臨床決策指導(dǎo)價值；不注重在循證研究基礎(chǔ)上篩選問題開展多學(xué)科協(xié)同研究和產(chǎn)品、技術(shù)研發(fā)，實現(xiàn)循證研究的科學(xué)價值和產(chǎn)業(yè)價值；使循證研究與解決臨床問題之間出現(xiàn)了脫鉤傾向，存在唯文章循證現(xiàn)象。這些問題與循證骨科學(xué)理論研究不充分、未能有效發(fā)揮循證骨科學(xué)理論對骨科循證研究和實踐的指導(dǎo)作用，以及缺少骨科循證研究質(zhì)量評價和反饋調(diào)節(jié)有關(guān)[7-8]。骨科循證研究的目的是解決臨床問題，通常在文獻(xiàn)發(fā)表并推廣2～3 年后，循證研究才能在應(yīng)用過程中實現(xiàn)部分價值，并出現(xiàn)標(biāo)志性事件，如被指南引用等。針對上述問題，本研究建立了以臨床問題解決效果為核心的骨科循證研究評價指標(biāo)體系，評價文獻(xiàn)發(fā)表3 年后骨科循證研究的價值實現(xiàn)狀況，通過比較，發(fā)現(xiàn)問題，為提高骨科循證研究質(zhì)量奠定基礎(chǔ)。

1 研究方法

1.1 成立研究小組

研究小組由5 名具備循證醫(yī)學(xué)基礎(chǔ)、臨床經(jīng)驗豐富的骨科醫(yī)生組成，其中主任醫(yī)師2 人、副主任醫(yī)師3 人；博士3 人、碩士2 人；研究秘書1 人。研究小組職責(zé)包括：系統(tǒng)檢索國內(nèi)外相關(guān)文獻(xiàn)；確定研究主題和評價指標(biāo)體系基本框架；制定評價指標(biāo)體系訪談提綱和問卷初稿；采用德爾菲法進(jìn)行專家函詢；分析專家咨詢數(shù)據(jù)，依據(jù)分析結(jié)果篩選標(biāo)準(zhǔn)條目、分配權(quán)重；撰寫論文；推廣應(yīng)用。

1.2 文獻(xiàn)研究

計算機檢索PubMed、Web of Science、Embase、中國知網(wǎng)、維普網(wǎng)、中國生物醫(yī)學(xué)文獻(xiàn)數(shù)據(jù)庫，檢索時間為從建庫至2023 年1 月13 日[9]。檢索方式采用主題詞結(jié)合自由詞策略，英文檢索詞包括evidence based、evidence based medicine、evaluation system ；中文檢索詞包括循證醫(yī)學(xué)、循證、評價體系。同時利用百度和Google 搜索引擎分別檢檢索中、英文灰色文獻(xiàn)，并對納入文獻(xiàn)的參考文獻(xiàn)進(jìn)行追溯，最后對納入文獻(xiàn)進(jìn)行分類、總結(jié)。

1.3 制定訪談提綱

依據(jù)Donabedian 的結(jié)構(gòu)-過程-結(jié)果理論原理[10-11]，將實現(xiàn)循證研究價值作為結(jié)果，將“循證研究-用證過程-價值實現(xiàn)”作為一個完整的過程，根據(jù)結(jié)構(gòu)要素的構(gòu)成和變化情況，將這一過程劃分為5 個階段，對每一階段進(jìn)行結(jié)構(gòu)要素分析?；诮M內(nèi)討論共識提出5 個階段、8 個維度的訪談提綱：①選題環(huán)節(jié)：選題是否是臨床問題、選題的臨床價值；②證據(jù)生產(chǎn)環(huán)節(jié)：證據(jù)的創(chuàng)新性；③證據(jù)傳播環(huán)節(jié)：主要傳播方式的檔次、傳播效果效果/學(xué)術(shù)影響力；④用證環(huán)節(jié)：臨床實踐指導(dǎo)作用強度；⑤用證效果：科學(xué)價值、產(chǎn)業(yè)價值。

1.4 半結(jié)構(gòu)式訪談

按照典型抽樣的原則，選擇北京、武漢、鄭州、襄陽三甲醫(yī)院骨科醫(yī)生、循證醫(yī)學(xué)專家共5人，以保持指標(biāo)體系完整性和系統(tǒng)性為目的，根據(jù)訪談提綱進(jìn)行半結(jié)構(gòu)式訪談，了解專家對建立以臨床問題解決效果為核心的骨科循證研究質(zhì)量評價指標(biāo)體系的意見，包括如何改變循證研究與解決臨床問題效果脫鉤的傾向，使骨科循證研究能夠更有效解決臨床問題；循證研究文獻(xiàn)發(fā)表后間隔多長時間能夠比較準(zhǔn)確地評價解決臨床問題效果；以臨床問題解決效果為核心的骨科循證研究評價指標(biāo)體系應(yīng)包含哪些指標(biāo)等問題。

1.5 形成指標(biāo)池及初稿

基于臨床效果主導(dǎo)理念和循證研究策略理論，根據(jù)檢索文獻(xiàn)匯總情況及半結(jié)構(gòu)式訪談結(jié)果，形成評價體系指標(biāo)池，進(jìn)行條目分析、合并及主題提取形成初始指標(biāo)條目清單，進(jìn)而完成問卷初稿。

1.6 德爾菲專家函詢法

1.6.1 制備咨詢問卷

問卷內(nèi)容主要包括問卷說明、專家基本信息、問卷主體、專家權(quán)威程度自評表。問卷說明部分包括調(diào)查目的、意義、內(nèi)容說明和填寫要求；專家基本信息包括姓名、性別、年齡、學(xué)歷、職稱、職務(wù)、從事循證研究和骨科研究年限。問卷主體包含指標(biāo)條目、指標(biāo)的重要性、指標(biāo)修改意見，指標(biāo)重要性采用Likert 5 級評分法進(jìn)行評價，重要性從“非常重要”到“不重要”，分別賦值5～1 分[12-13]。專家對問題的判斷依據(jù)主要分為實踐經(jīng)驗、理論分析、參考國內(nèi)外文獻(xiàn)、直觀感受4 個維度，每個維度分為大、中、小不同程度，不同維度根據(jù)大、中、小不同程度分別賦分：實踐經(jīng)驗（0.5、0.4、0.3）、理論分析（0.3、0.2、0.1）、參考國內(nèi)外文獻(xiàn)（0.1、0.1、0.1）、直觀感受（0.1、0.1、0.1）。專家對問題的熟悉程度分為：很熟悉（0.9）、較熟悉（0.7）、一般熟悉（0.5）、不太熟悉（0.3）、不熟悉（0.1）5 個層次[14-15]。

1.6.2 遴選咨詢專家

咨詢專家的納入標(biāo)準(zhǔn)：具有三甲醫(yī)院骨科3年以上工作經(jīng)驗；從事3 年以上循證醫(yī)學(xué)研究；學(xué)歷碩士及以上；發(fā)表過骨科循證研究相關(guān)文章；職稱不限；自愿參加本研究。采用典型抽樣法，選取來自北京、武漢、鄭州、襄陽共6 家醫(yī)院，具有豐富的臨床經(jīng)驗且具備循證醫(yī)學(xué)基礎(chǔ)的骨科醫(yī)生15 人。

1.6.3 德爾菲專家咨詢

采用電子郵件或微信的方法向?qū)＜野l(fā)送咨詢問卷。第一輪咨詢結(jié)束后參考指標(biāo)重要性賦值標(biāo)準(zhǔn)，篩選出均值＞3.50 且變異系數(shù)＜0.25 的指標(biāo)，同時結(jié)合專家意見對咨詢問卷進(jìn)行修改，形成第二輪專家咨詢表，開展第二輪專家咨詢。當(dāng)所有條目的重要性評分均值＞3.5且變異系數(shù)＜0.25，且專家意見基本統(tǒng)一時，專家咨詢結(jié)束，并形成最終的評價指標(biāo)[16-17]。每輪專家咨詢均在一個月內(nèi)完成，兩輪專家咨詢時間間隔為一個月。

1.7 層次分析法確定權(quán)重

匯總每個指標(biāo)的專家咨詢重要性賦值，計算評分均值。采用層次分析法（analytic hierarchy process, AHP）確定每個指標(biāo)的權(quán)重，檢驗各級指標(biāo)邏輯一致性，一級指標(biāo)權(quán)重的計算方法為和積法。一致性采用一致性比率（consistent ratio, CR）表示，當(dāng)CR 值＜0.1 時，說明判斷一致性可接受[18-19]。

1.8 初步驗證

選取研究小組成員發(fā)表年份≥三年的骨科循證研究類文獻(xiàn)，采用以臨床問題解決效果為核心的骨科循證研究質(zhì)量評價指標(biāo)體系進(jìn)行評價。評價者從咨詢專家中隨機抽取3 名外部專家，對選取的文獻(xiàn)進(jìn)行評分，并計算一致性，然后計算每篇文獻(xiàn)的評分均值，采用項目分析的方法對評價指標(biāo)體系的區(qū)分度進(jìn)行分析[20]。

1.9 統(tǒng)計分析

采用SPSS 24.0 軟件和SPSSPRO 軟件進(jìn)行統(tǒng)計分析。采用問卷回收率表示專家積極系數(shù)（Cj）；采用專家權(quán)威系數(shù)（Cr）表示專家的權(quán)威性，專家權(quán)威系數(shù)為專家判斷系數(shù)（Ca）與對問卷的熟悉程度（Cs）的平均數(shù)，Cr ≥0.7 表示專家意見可靠；采用各指標(biāo)重要性（均數(shù)±標(biāo)準(zhǔn)差）表示專家意見集中程度，變異系數(shù)（CV）和肯德爾協(xié)調(diào)系數(shù)（Kendell W）表示專家意見的協(xié)調(diào)程度。一致性分析采用Two-way random/mixed absolute agreement，區(qū)分度分析采用項目分析。計數(shù)資料采用頻數(shù)和百分比（n，%）表示、行χ2檢驗；符合正態(tài)分布的計量資料采用均數(shù)和標(biāo)準(zhǔn)差（±s）表示、行t檢驗。

2 結(jié)果

2.1 專家基本信息

15 名咨詢專家中，男性14 名、女性1 名，平均年齡（44.27±10.10）歲。從事骨科研究（19.53±9.29）年，從事循證研究（7.33±2.16）年；博士4 人、碩士11 人；主任醫(yī)師7 人、副主任醫(yī)師3 人、主治醫(yī)師5 人；教授6 人、副教授4 人。

2.2 專家積極性

兩輪德爾菲專家咨詢法均發(fā)放調(diào)查問卷15份，問卷回收率和有效率均為100%，兩輪專家咨詢Cj 均為100%。第一輪調(diào)查問卷回收情況為一周內(nèi)、兩周、三周、四周問卷回收率分別為13.33%、33.33%、46.67%、6.67%。根據(jù)第一輪回收情況，在第二輪發(fā)放調(diào)查問卷提前溝通相關(guān)事宜，第二輪調(diào)查問卷回收情況為一周內(nèi)、兩周、三周問卷回收率分別為40.00%、53.33%、6.67%。

2.3 專家權(quán)威性

第一輪專家咨詢Cr 為0.79，Cs 為0.69，Ca為0.89；第二輪專家咨詢Cr 為0.83，Cs 為0.74，Ca 為0.91。兩輪專家咨詢Cr 均大于0.7，表明兩輪咨詢專家權(quán)威性高。

2.4 重要性評分及專家意見協(xié)調(diào)性

第一輪專家咨詢重要性評分2.33～4.73，CV 0.09～0.46，肯德爾協(xié)調(diào)系數(shù)為0.559，第一輪專家咨詢刪除4 個一級指標(biāo)。第二輪專家咨詢重要性評分3.53～4.73，CV 0.09～0.21，肯德爾協(xié)調(diào)系數(shù)為0.374。研究小組討論確認(rèn)專家咨詢結(jié)果，確定以臨床問題解決效果為核心的骨科循證研究質(zhì)量評價指標(biāo)體系，重要性評分見表1。

表1 以臨床問題解決效果為核心的骨科循證研究評價體系函詢結(jié)果Table 1. Results of an evaluation system of orthopaedic evidence-based research centered on the effectiveness of clinical problem solving

2.5 層次分析法結(jié)果

如表1 所示，“選題是否是所在科室關(guān)切的臨床問題”的權(quán)重為16%，“證據(jù)發(fā)表的級別”的權(quán)重為24%，“臨床決策指導(dǎo)作用強度”的權(quán)重為34%，“對骨科知識體系影響程度”的權(quán)重為26%。層次分析法結(jié)果顯示，最大特征根為4.017，根據(jù)隨機一致性（random index, RI）表查到對應(yīng)的RI 值為0.882，因此CR=CI/RI=0.006＜0.1，通過一致性檢驗。

2.6 評價指標(biāo)體系構(gòu)建結(jié)果

通過兩輪德爾菲專家咨詢，確定以臨床問題解決效果為核心的骨科循證研究評價體系，該評價指標(biāo)體系包含4 個一級指標(biāo)、14 個二級指標(biāo)、2 個三級指標(biāo)、5 個四級指標(biāo)，見表2。

表2 以臨床問題解決效果為核心的骨科循證研究評價體系Table 2. An evaluation system for evidence-based research in orthopaedics centered on the effectiveness of clinical problem solving

2.7 初步驗證結(jié)果

應(yīng)用該評價指標(biāo)體系，評價22 篇發(fā)表3 年以上研究骨科問題的循證研究文獻(xiàn)。3 名評價者評分一致性結(jié)果顯示，單個測量相關(guān)性為0.992[95%CI（0.985, 0.997），P＜0.001]，平均測量相關(guān)性為0.997 [95%CI（0.995, 0.999），P＜0.001]，說明信度的一致性是可信的。區(qū)分度結(jié)果顯示，總評分0%～27%組個數(shù)為6，評分為（7.66±2.98）；27%～73%組個數(shù)為10，評分為（31.80±12.11）；73%～100%組個數(shù)為6，評分為（70.90±19.23）。三組間評分的差異有統(tǒng)計學(xué)意義（P＜0.001），說明量表區(qū)分度高，設(shè)計較為合理。

3 討論

循證骨科學(xué)理論研究尚未明確詮釋循證骨科學(xué)核心價值訴求，缺乏相應(yīng)的質(zhì)量評價體系，并且通過評價和反饋調(diào)節(jié)機制引導(dǎo)和規(guī)范骨科循證研究，使部分骨科循證研究陷入了為文章而做循證研究的怪圈，進(jìn)而影響骨科循證研究質(zhì)量和解決臨床問題的效果[21-22]。本研究在理論研究的基礎(chǔ)上，進(jìn)一步詮釋循證骨科學(xué)核心價值訴求，建立以臨床問題解決效果為核心的循證研究質(zhì)量評價指標(biāo)體系，通過評價和反饋調(diào)節(jié)能夠提高骨科循證研究質(zhì)量，加快本土化骨科臨床決策證據(jù)體系建設(shè)，有助于實現(xiàn)國家常見病防治同質(zhì)化戰(zhàn)略。

在臨床決策困難時會產(chǎn)生循證需求，提出循證問題，并用循證醫(yī)學(xué)方法研究和解決決策困難的骨科臨床問題。循證骨科學(xué)的主要價值訴求是解決決策困難的骨科臨床問題。循證研究通過系統(tǒng)復(fù)習(xí)文獻(xiàn)和數(shù)據(jù)合并，有助于了解研究現(xiàn)狀，揭示單個研究未能揭示的客觀規(guī)律，從而更深入地理解不同診療措施的臨床價值及缺陷等問題；幫助研究者更精準(zhǔn)地選擇臨床價值高、創(chuàng)新性強、可行性強的問題，進(jìn)一步開展基礎(chǔ)和臨床研究、技術(shù)和產(chǎn)品開發(fā)。循證研究引領(lǐng)的這類研究具有目的性強、臨床價值高、轉(zhuǎn)化前景明確的特點，有助于開展多學(xué)科協(xié)同和醫(yī)研企協(xié)作研究，多學(xué)科協(xié)同研究有利于最終解決臨床問題，實現(xiàn)循證研究的科學(xué)價值和產(chǎn)業(yè)價值，這是循證骨科學(xué)的另一重要價值訴求。價值訴求分析表明，循證骨科學(xué)的核心價值訴求是解決骨科臨床問題，這也是骨科循證研究的目的。

前期艾金偉等[3]討論了循證骨科學(xué)概念，提出了“臨床問題導(dǎo)向、臨床價值導(dǎo)向、可行性導(dǎo)向，創(chuàng)新性導(dǎo)向”的骨科循證研究策略，強調(diào)骨科循證研究的對象主要是決策困難的骨科臨床問題。循證研究要選擇高價值臨床問題，以常見病、多發(fā)病、疑難病為主，以解決基層醫(yī)院醫(yī)務(wù)人員的困惑為主；強調(diào)通過用證實現(xiàn)循證研究的證據(jù)價值，通過開展循證研究引領(lǐng)的多學(xué)科科學(xué)研究和產(chǎn)品技術(shù)開發(fā)，實現(xiàn)循證研究的科學(xué)價值和產(chǎn)業(yè)價值。理論研究成果能夠從理論上引導(dǎo)骨科循證研究，但并不能快速準(zhǔn)確地評價循證研究、發(fā)現(xiàn)問題和改進(jìn)研究。后效評價是通行的質(zhì)量管理方法，本研究基于解決臨床問題的理念，構(gòu)建了以臨床問題解決效果為核心的骨科循證研究質(zhì)量評價指標(biāo)體系，在循證研究結(jié)果發(fā)表3 年后，評價骨科循證研究解決臨床問題效果為主的循證研究質(zhì)量，比較不同研究之間的差異，通過反饋調(diào)節(jié)改進(jìn)骨科循證研究質(zhì)量。

本研究成立了評價方法研究小組，在理論研究的基礎(chǔ)上，依據(jù)Donabedian 的結(jié)構(gòu)-過程-結(jié)果理論原理，將循證研究價值實現(xiàn)作為結(jié)果，將“循證研究-用證過程-價值實現(xiàn)”作為一個完整的過程和研究對象。根據(jù)不同階段結(jié)構(gòu)要素不同、不斷發(fā)生變化的特點，研究小組將這一過程劃分為循證問題產(chǎn)生與提出、循證證據(jù)生產(chǎn)、證據(jù)傳播、應(yīng)用與決策、循證研究價值實現(xiàn)5 個階段；以保證系統(tǒng)性、完整性為目的，分析全過程每一個階段的結(jié)構(gòu)要素，經(jīng)過3 次討論，就5 個階段和8 個維度半開放式訪談提綱形成組內(nèi)共識。通過分析指南引用情況發(fā)現(xiàn)，從文獻(xiàn)發(fā)表到第一次被指南引用通常需要2～3 年時間，研究小組就3 年作為評估時間起點達(dá)成一致意見。在此基礎(chǔ)上，以評估骨科循證研究解決臨床問題效果為目的，選擇改良德爾菲法構(gòu)建評價指標(biāo)體系。遴選專家平均年齡在44 歲左右，平均從事骨科工作19 年，循證研究7 年的專家，有豐富骨科臨床經(jīng)驗和較豐富的循證醫(yī)學(xué)知識和經(jīng)驗，能夠?qū)ο嚓P(guān)問題作出比較準(zhǔn)確的判斷。經(jīng)過兩輪德爾菲專家咨詢，構(gòu)建了以臨床問題解決效果為核心的4 個維度9個領(lǐng)域骨科循證研究評價指標(biāo)體系。該體系包含選題是否是臨床問題、證據(jù)發(fā)表的檔次、臨床決策指導(dǎo)作用強度、骨科知識體系改變程度等，其中“用證環(huán)節(jié)：臨床實踐指導(dǎo)作用強度”和“用證效果：科學(xué)價值”與用證效果有關(guān)，通過條目和分值強調(diào)了臨床決策的指導(dǎo)作用強度和對骨科知識體系的貢獻(xiàn)度，兼顧了對用證效果影響較大的選題和傳播途徑。問卷均在一月內(nèi)收回，兩輪專家函詢的回收率為100%，說明專家的積極性均非常高；兩輪函詢專家的Cr 分別為0.79 和0.83，說明所函詢專家在該研究領(lǐng)域的權(quán)威性很高，函詢結(jié)果可靠；經(jīng)過兩輪函詢各條目CV 為0.09～0.21，說明專家意見趨于一致；兩輪函詢專家的Kendall's W 值分別為0.559 和0.374，說明兩輪函詢專家意見的協(xié)調(diào)性較好。由此可認(rèn)為，本研究構(gòu)建的以臨床問題解決效果為核心的的骨科循證研究質(zhì)量評價指標(biāo)體系是科學(xué)、可靠的。本研究應(yīng)用該指標(biāo)體系，評估了22 篇發(fā)表3 年以上骨科問題相關(guān)的循證研究文獻(xiàn)，指標(biāo)的單項和平均測量相關(guān)性P值均＜0.001，表明指標(biāo)體系評分一致性較好；區(qū)分度檢驗顯示，量表設(shè)計區(qū)分度高。初步驗證結(jié)果表明，指標(biāo)體系設(shè)計較為合理，能夠比較客觀敏感地評價骨科循證研究解決臨床問題效果。評價指標(biāo)體系能夠幫助研究者發(fā)現(xiàn)問題和缺陷，改變重研究輕應(yīng)用、循證研究與用證效果脫鉤的傾向，注重價值實現(xiàn)，引導(dǎo)骨科循證研究回歸解決臨床問題本位。

本研究也存在一定局限性。首先，本研究尚缺乏同類研究或類似文獻(xiàn)參考，僅在研究小組內(nèi)部完成了評價指標(biāo)體系初步構(gòu)建過程和結(jié)構(gòu)要素分析，咨詢專家人數(shù)偏少、區(qū)域分布不均衡；其次，本研究僅進(jìn)行了初步驗證，未進(jìn)行內(nèi)部驗證和外部驗證，可能會影響評價指標(biāo)體系的外推性，需要通過推廣應(yīng)用進(jìn)一步驗證和完善該評價指標(biāo)體系。

綜上所述，以臨床問題解決效果為核心的骨科循證研究質(zhì)量評價指標(biāo)體系彌補了骨科循證研究質(zhì)量評價方法的缺陷，能夠快速、客觀地評價骨科循證研究，發(fā)現(xiàn)并解決骨科臨床問題，改善骨科循證研究質(zhì)量，加快本土化骨科臨床決策證據(jù)體系建設(shè)。