DOPS 在臨床護理培訓中應用效果的Meta 分析

郭迎坤，李 靈，溫 慧，馬 帥，宗可敬，范清美，邵珠燕，喬建紅

（1.濰坊醫(yī)學院護理學院，山東 濰坊 261053；2.山東第一醫(yī)科大學/山東省醫(yī)學科學院護理學院，山東 濟南 250024；3.山東中醫(yī)藥大學護理學院，山東 濟南 250355；4.山東大學護理與康復學院，山東 濟南 250014；5.山東第一醫(yī)科大學第一附屬醫(yī)院/山東省千佛山醫(yī)院，山東 濟南 250014）

《“健康中國2030”規(guī)劃綱要》中提出要加強對各學科護理人員培養(yǎng)和實踐培訓，《全國護理事業(yè)發(fā)展規(guī)劃（2021—2025年）》也提到要加強護士培養(yǎng)培訓，臨床護理培訓是護士獲取各方面知識和技能的重要手段，而科學、有效的考核方法是臨床護理培訓的關鍵[1]。傳統(tǒng)的考核方法存在形式單一、非客觀標準化、缺乏有效反饋、只注重最終考試成績等局限性[2]，不符合護理人員綜合能力、勝任力的培養(yǎng)要求[3]。因此，需要一種簡單有效、全面客觀、多維度的考核評價方法。操作技能直接觀察評估（Direct Observation of Procedural Skills，DOPS）是在真實的臨床工作場景中，由考核者直接觀察學生技能操作的表現(xiàn)，及時給予建設性的反饋和評價，是一種具有教學和考核功能的臨床技能評價方法[1]。DOPS 在國外護理領域中的研究早且較為成熟[4]。近年來，國內將DOPS 應用于臨床護理考核培訓中的研究越來越多，但應用效果目前是存在爭議的[5]，缺乏可靠的循證研究依據(jù)。因此，本研究通過Meta 分析，探討DOPS 在臨床護理培訓中的應用效果，為開展臨床護理人員的培訓提供循證依據(jù)。

1 資料與方法

1.1 文獻納入與排除標準

1.1.1 納入標準（1）研究類型：隨機對照試驗（RCT）。（2）研究對象：護理專業(yè)學生或護士。（3）干預措施：試驗組采用DOPS進行培訓考核，即采用編制的DOPS 考核量表中的評分細則進行培訓考核。對照組則采用傳統(tǒng)考核方法，即采用傳統(tǒng)技能考核量表中的評分細則進行培訓考核。（4）結局指標：最終操作考試成績、最終理論考試成績、學生滿意度及考核教師滿意度等。

1.1.2 排除標準（1）未對相關的結局指標進行評價。（2）重復發(fā)表、無法獲取全文、非中英文的文獻。（3）綜述、Meta 分析類文獻。（4）非同期對照研究類文獻。

1.2 文獻檢索策略

計算機檢索PubMed、EMbase、Web of Science、EBSCO、The Cochrane Library、中國知網(wǎng)（CNKI）、維普（VIP）、萬方數(shù)據(jù)庫（WangFang Date）和CBM 中關于DOPS 應用于護士或護生臨床護理培訓中的隨機對照研究，檢索時限為建庫至2021 年11月，同時，納入文獻的參考文獻也進行進一步篩查，盡可能保證查全率。中文檢索詞為“護士/護生/護理人員/護理”“DOPS/操作技能直接觀察”。英文檢索詞為"Nursing staff/Staff，Nursing/Staffs，Nursing/Nursing Staffs" "Students，Nursing/Pupil Nurses/Student，Nursing/Nurses，Pupil/Nurse，Pupil/Pupil Nurse/Nursing Student/Nursing Students" "Nurses/Nurse/Personnel， Nursing/Nursing Personnel/Registered Nurses/Nurse，Registered/Nurses，Registered/Registered Nurse" "Nursing/Nursings" "Direct Observation of Procedural Skills/DOPS"。

1.3 文獻篩選與資料提取

將檢索到的文獻導入EndNoteX9 進行去重，由2 名研究者依據(jù)納入和排除標準獨立閱讀題目及摘要后進行初篩，然后閱讀全文復篩，篩選出符合條件的文獻，同時提取數(shù)據(jù)資料，并進行交叉核對，最后用Excel 建立資料提取表，主要包括文獻發(fā)表年份、第一作者、研究類型、研究對象、樣本量、干預措施、性別、年齡、結局指標，如果2 名研究者遇到分歧，則通過協(xié)商或者與第3 名研究者商議解決。

1.4 文獻質量評價

根據(jù)Cochrane5.1.0 手冊推薦的偏倚風險評價標準[6]，由2名研究者對納入文獻的質量進行獨立評價，如果出現(xiàn)意見分歧，則通過討論或與第3 名研究者商議解決。該手冊主要包括隨機序列產(chǎn)生、盲法的使用、結局指標數(shù)據(jù)的完整性、選擇性報告研究結果及其他偏倚。納入的研究若完全符合上述標準，則質量等級為A 級，偏倚風險低；若部分符合，則為B 級，偏倚風險中等；若完全不符合上述標準，則為C 級，偏倚風險高。

1.5 統(tǒng)計學分析

本次研究采用RevMan5.4 和Stata14.0 軟件進行Meta 分析。通過χ2檢驗結合I2判斷統(tǒng)計學異質性，若P＞0.1，I2＜50%，說明異質性不明顯，則采用固定效應模型，若P≤0.1 或I2≥50%，說明異質性較大，則進行亞組分析或敏感性分析進一步探討。若仍找不到異質性來源，則采用隨機效應模型。由于本研究所涉及的結局指標均是連續(xù)性計量資料且納入的各研究度量單位不同，所以采用標化均數(shù)差（SMD）及95%CI 表示。用Eggers'test 檢驗對發(fā)表偏倚進行分析評估，P＜0.05 為存在偏移，反之不存在。

2 結果

2.1 文獻檢索結果

初步檢索得到相關文獻338 篇，其中英文文獻98 篇，中文文獻240 篇。進行逐層篩選后，最終有11 篇文獻納入，文獻篩選流程及結果見圖1。

圖1 文獻篩選流程及結果Figure 1 Literature screening process and results

2.2 納入文獻的基本特征

納入文獻的發(fā)表年限為2013—2021 年，共11 篇，英文文獻3 篇，中文文獻8 篇。所有納入的文獻均為隨機對照研究，納入文獻的基本特征見表1。

表1 納入文獻的基本特征Table 1 Basic characteristics of included literature

2.3 納入文獻的方法學質量評價

11 篇文獻的方法學質量較好，均為B 級，有2 項研究[10-11]的隨機分組方法是隨機數(shù)字表法，1 項研究[13]使用抽簽法，1 項研究[15]使用拋硬幣法，1 項研究[8]是按實習時間進行非隨機分組，其余研究僅僅提到了“隨機”，但沒有說明隨機分組方法。有2 項研究[10，17]提到了對結果測量者實施了盲法，1 項研究[16]提到了對干預者實施盲法，1 項研究中未使用盲法[15]，其研究過程中將分組情況告知了護生，其余文獻均未詳細說明是否使用盲法。均無選擇性報告研究結果以及其他偏倚來源。納入文獻的質量評價結果詳見表2。

表2 納入文獻的方法學質量評價Table 2 Methodological quality evaluation of included literature

2.4 Meta 分析結果

2.4.1 DOPS 考核法對護生/護士理論成績的影響 納入的11篇文獻中，有3 項研究[12-14]將護生/護士理論成績作為DOPS 考核法培訓效果的結局指標（試驗組155 人，對照組156 人，共311 人）。經(jīng)過異質性檢驗，P=0.89，I2=0%，提示各研究間異質性不明顯，采用固定效應模型。結果顯示，與對照組相比，試驗組理論成績得分更高，差異有統(tǒng)計學意義[SMD=0.80，95%CI（0.57～1.03），P＜0.000 01]，詳見圖2。

圖2 DOPS 考核法對護生/護士理論成績的影響Figure 2 Effectiveness of DOPS evaluation method on theoretical achievement of nursing students / nurses

2.4.2 DOPS 考核法對護生/ 護士護理技能操作考試成績的影響 有9 項研究[7，9-14，16-17]評價了DOPS 考核法對護士及護生操作考試成績的影響（試驗組371 人，對照組367 人，共738 人）。經(jīng)過異質性檢驗，P＜0.000 01，I2=93%，提示文獻之間存在較大的統(tǒng)計學異質性，經(jīng)過敏感性分析和亞組分析未發(fā)現(xiàn)異質性來源，故采用隨機效應模型。結果顯示，試驗組操作考試成績得分高于對照組，兩組差異有統(tǒng)計學意義[SMD=2.11，95%CI（1.39～2.83），P＜0.000 01]，詳見圖3。此外，有兩項研究類型[3，18]為自身前后對照的研究，未納入Meta 分析，其研究結果表示DOPS 對技能考核成績的影響與傳統(tǒng)考核法相比沒有統(tǒng)計學差異（P＞0.05）。

圖3 DOPS 考核法對護生/護士護理技能操作考試成績的影響Figure 3 Effectiveness of DOPS evaluation method on nursing students /nurses’ nursing skill operation test scores

2.4.3 DOPS 考核法對護生/護士滿意度的影響 有6 項研究[7-11，15]評價了護士及護生對DOPS 考核法的滿意度（試驗組356 人，對照組349 人，共705 人）。經(jīng)異質性檢驗，P=0.51，I2=88%，提示各研究間有較大的異質性，敏感性分析發(fā)現(xiàn)異質性來源為馮莉娟等[7]和田君葉等[10]的研究，剔除這2 項研究后各研究間不存在異質性（P=0.51，I2=0%），經(jīng)分析，異質性來源可能與考核評價的頻率有關，這2 項研究考核評價的間隔時間為3～4天，而其他研究均為一周以上。剔除馮莉娟等[7]和田君葉等[10]研究后采用固定效應模型。結果顯示，采用DOPS 考核法的護生/護士滿意度更高，兩組差異有統(tǒng)計學意義[SMD=1.10，95%CI（0.93～1.28），P＜0.000 01]，詳見圖4。

圖4 DOPS 考核法對護生/護士滿意度的影響Figure 4 Effectiveness of DOPS evaluation method on nursing students /nurses’ satisfaction

2.4.4 DOPS 考核法對考核教師滿意度的影響 有4 項研究[7-9，11]評價了考核教師對DOPS 考核法的滿意度（試驗組301人，對照組297 人，共598 人）。經(jīng)異質性檢驗，P=0.26，I2=25%，提示各研究間異質性不明顯，采用固定效應模型。結果顯示，試驗組能有效提高考核教師滿意度，兩組差異有統(tǒng)計學意義[SMD=1.32，95%CI（1.14～1.49），P＜0.000 01]，詳見圖5。

圖5 DOPS 考核法對考核教師滿意度的影響Figure 5 The influence of DOPS evaluation method on the satisfaction of teachers

2.5 發(fā)表偏倚分析

為避免出現(xiàn)研究結果發(fā)表偏倚的風險，用Egger's 檢驗分析發(fā)表偏倚情況，分析結果顯示理論考試成績、技能操作考試成績、學生滿意度、考核教師滿意度4 個結局指標均無明顯發(fā)表偏倚（P＞0.05），即納入的文獻具有較好的代表性，詳見表3。

表3 發(fā)表偏倚風險評估Table 3 Publication bias risk assessment

3 討論

3.1 納入研究的方法學質量

本研究納入的11 篇文獻均是隨機對照實驗，減少了混雜因素的影響。11 篇文獻中有8 篇文獻[9，10-16]將年齡、婚姻狀況等基線資料進行了比較，均具有良好的可比性，且所納入的研究均采用了同期對照的研究類型。所納入文獻的結局數(shù)據(jù)都是完整的，選擇性報告結果的可能性小。有10 篇文獻[7，9-17]提到了隨機分組，但只有4 篇[10-11，13，15]文獻提及隨機分組方法，僅有3 篇文獻[10，16-17]提到了使用盲法，可能對研究造成一定的影響。本次納入文獻的整體質量均處于中等水平，均是B 級。

3.2 DOPS 考核法提高了學生的理論成績

本次研究結果顯示，與傳統(tǒng)考核方法相比，使用DOPS 考核方法的護生/護士理論成績得分更高。相比評估內容單一的傳統(tǒng)考核方法，DOPS 的考核內容全面，包括了相關知識、臨床操作技能以及一些軟性能力比如護患溝通、應變能力等，重要的是DOPS 考核包含了對操作中的相關理論知識進行評價，因為DOPS 考核表中的一些考核項目需要相關的理論知識，所以通過相應技能的考核反過來促進理論知識的掌握，并針對沒有掌握的知識進行及時復習，真正實現(xiàn)了以考促教。盧玉仙等[13]的研究表明，DOPS 已經(jīng)被試驗組的一部分護生當作一種評價方法來判斷理論知識的掌握是否達到要求。納入的研究中僅有3 項研究將理論考試成績作為結局指標，文獻較少，今后可加入此指標進行評價。

3.3 DOPS 考核法提高了護生/ 護士的臨床護理技能操作成績

熟練的護理技能操作能夠在一定程度上控制護理不良事件的發(fā)生，所以對護理技能操作的考核評價方式至關重要。本次Meta 分析的研究結果顯示，與傳統(tǒng)考核方法相比，DOPS 考核法有效提高了護生/護士護理技能操作水平，Hengameh 等[4]也發(fā)現(xiàn)了一樣的研究結果。原因可能是傳統(tǒng)技能操作的考核方式存在非標準化、主觀性強、片面等缺點，無法進行全面客觀的評價，不利于臨床護士勝任力的培養(yǎng)[3]，而DOPS 是專門用來考核操作技能的方法，其具有考核環(huán)境真實[19]、多維度、標準個性化、反饋及時恰當及多階段考核[5]等優(yōu)點，可以考查護生/護士對臨床護理工作中各種突發(fā)狀況的反應。此外，該方法注重過程考核，在幾個階段進行考核測試，每個階段都給予反饋，有多次進行改進的機會，實現(xiàn)了評價反饋改進再評價，有效地詮釋了發(fā)展性評估的特點，Weijs 等[20]的一項研究也指出，重復用DOPS進行考核評價可以讓學生有機會跟蹤自己臨床技能的提高，并專注于自己的臨床表現(xiàn)。但本次Meta 分析中以護理技能操作成績?yōu)榻Y局指標的各研究之間存在較大異質性，使統(tǒng)計意義無法完全解釋或反映實際培訓效果，限制了結果的準確性，異質性較大的原因可能與各研究之間考核設計、考核的護理技能、考核次數(shù)的不同以及缺乏統(tǒng)一量表有關，因此今后需要研究設計出統(tǒng)一的標準化DOPS 考核方案對其效果進行進一步探討。

3.4 DOPS 考核法提高了護生/護士滿意度

本次Meta 分析結果顯示，相比傳統(tǒng)考核方法，護士及護生對使用DOPS 考核法更加滿意，這與Hoseini 等[21]在伊朗對助產(chǎn)專業(yè)學生的研究結果一致。有學者研究指出[22]，護士及護生對教育活動的滿意度對教育質量的影響很大。傳統(tǒng)考核法缺乏反饋，過于看重考試分數(shù)，而DOPS 更加注重考核的過程，考核教師會針對學生在操作中出現(xiàn)的問題和優(yōu)點進行個體化總結和分析，并對此提出建議及改善方法，從而避免學生形成慣性錯誤[23]，對學生優(yōu)點進行肯定后可以增強學生的自信心，提高學習積極性。李恒等[24]的研究指出，有據(jù)可循的實踐考核能夠提高雙方對考核的滿意度，DOPS 考核量表中每個操作步驟都有具體的實施細則，使考核有據(jù)可循，有利于增加學生對自身不足的接受度。納入的研究顯示存在較大異質性，其原因可能與考核評價的頻率有關，并且滿意度是一種主觀指標，會受到主觀判斷的影響，建議以后減少考核的間隔時間并盡量使用統(tǒng)一的DOPS 滿意度評估量表。

3.5 DOPS 考核法提高了考核教師滿意度

Meta 分析結果顯示，相較傳統(tǒng)考核方法，考核教師對基于DOPS 的考核滿意度更高。一項將DOPS 用于護生臨床勝任力培養(yǎng)的研究結果[25]也顯示，大多數(shù)考核教師都對DOPS 這一考核方法感到滿意。江淀淀等[26]研究結果也顯示，試驗組的考核教師表示自身的教學能力、綜合能力都得到了提高，真正實現(xiàn)了以評促教，推動教師對自身教學質量的改進，原因主要是DOPS對考核教師的理論知識和專業(yè)技能水平要求較高，考核的過程也是教師再學習和提高的過程。考核教師通過觀察學生考核中的表現(xiàn)可以直觀地了解教學情況，為今后教學內容以及教學方式的調整提供參考。此外，DOPS 考核量表中，學生對教師的反饋可以為教師今后的教學提供經(jīng)驗及指導，達到了教學相長的目的。但在納入分析的文獻中僅有4 篇文獻將考核教師的滿意度作為結局指標，未來需要更多高質量、大樣本的隨機對照試驗對本研究結論予以論證。

3.6 局限性與啟示

（1）只納入中英文文獻，缺少無法獲取全文的文獻和灰色文獻，可能會存在文獻納入不全的問題。（2）在方法學質量方面，11 篇文獻中僅有4 篇文獻詳細描述了隨機序列產(chǎn)生的方法，較少有文獻對盲法和分配隱藏進行介紹，可能會存在一定的影響。（3）部分存在爭議的文獻由于研究類型不符及質量低等原因未納入本次Meta 分析，可能會影響結果。

綜上所述，DOPS 對護理技能的培訓有積極的意義，可有效提升護生/護士的理論及操作成績，同時得到了護生/護士和教師的認可，值得在臨床護理培訓中推廣。但缺少將患者的滿意度作為結局指標來驗證DOPS 應用效果的研究，并且國內缺少權威的統(tǒng)一評分標準。因此，在今后的研究中可以將患者滿意度作為評價DOPS 效果的一項結局指標，將DOPS 考核方案、評分標準統(tǒng)一化。除此之外，DOPS 在臨床護理培訓中的應用推廣還需要大樣本、高質量、多中心的研究進一步完善和改進，以提供更高級別的循證依據(jù)，助力“健康中國”目標的實現(xiàn)。