基于柯氏四級模型對專科聯(lián)盟管理培訓項目實效性的評價分析

王敏 劉爽

(首都醫(yī)科大學附屬北京地壇醫(yī)院院辦,北京 100015)

構(gòu)建醫(yī)療聯(lián)合體(簡稱“醫(yī)聯(lián)體”)是深化醫(yī)療衛(wèi)生體制改革的重要步驟和制度創(chuàng)新,是優(yōu)化醫(yī)療資源、提升基層服務(wù)能力、更好實施分級診療、滿足群眾健康需求的有效途徑[1]。傳染病醫(yī)院作為一類比較特殊的醫(yī)療機構(gòu),肩負著應(yīng)對傳染病突發(fā)公共衛(wèi)生事件的使命,鑒于傳染病屬地管理的原則,醫(yī)聯(lián)體建設(shè)對于傳染病醫(yī)療體系具有更為重大的意義。?？坡?lián)盟是以一家三級醫(yī)院為龍頭,以某?？萍膊榧~帶,跨區(qū)域組成的一種醫(yī)聯(lián)體模式[2]。在當前新醫(yī)改形勢下,以傳染病學科為特色的首都醫(yī)科大學附屬北京地壇醫(yī)院作為牽頭單位聯(lián)合全國31 個省市自治區(qū)的91 家醫(yī)療機構(gòu)(以下稱“成員單位”)成立了感染性疾病?？坡?lián)盟(簡稱“地壇感染聯(lián)盟”),以有效促進分級診療,構(gòu)建完善的感染性疾病醫(yī)療服務(wù)體系。

地壇感染聯(lián)盟在運行中發(fā)現(xiàn),各成員單位間的管理水平和醫(yī)療水平存在很大差距,已然成為進一步緊密合作的障礙。為了實現(xiàn)成員單位間“醫(yī)教研管”同質(zhì)化的目標,地壇醫(yī)院作為聯(lián)盟牽頭單位舉辦了系列管理培訓項目。目前,各醫(yī)療機構(gòu)都在逐步重視對醫(yī)院管理者的培訓,但對培訓效果評估的認知還不夠,對評估方法掌握也不到位,評估多為滿意度或知識技能的評價,使評估流于形式[3]。培訓評價體系還不夠完善,更多關(guān)注培訓后評價,缺乏對培訓前、培訓中、培訓后全過程的評價[4]。地壇感染聯(lián)盟舉辦的系列管理培訓項目也存在這個問題,培訓后達到了怎樣的效果,是否實現(xiàn)了培訓目標,從未進行過評估。為了持續(xù)提高地壇感染聯(lián)盟管理培訓項目的實效性,現(xiàn)以2019 年地壇感染聯(lián)盟開展的完整的一期管理培訓班為實例,對其實效性開展評價研究。同時,也為探索一種培訓實效性的科學評估方法提供借鑒意義。

1 數(shù)據(jù)來源

2019 年5 月31 日-6 月2 日,地壇感染聯(lián)盟舉行第三期醫(yī)院管理培訓班,持續(xù)2.5 d,課程設(shè)置包括:14 項面授課程、2 次答疑座談會、1 次實地參觀。為了保證授課效果,地壇醫(yī)院配備了有經(jīng)驗的師資力量,14 位講師均為院領(lǐng)導和中層干部,內(nèi)容是以地壇醫(yī)院的管理實踐經(jīng)驗為主線。本次培訓共計招募74 人,來自于31 家醫(yī)療機構(gòu)。這74 名學員中包含院級領(lǐng)導16 人、中層干部49 人、科室骨干9 人,均為各單位的領(lǐng)導和管理干部骨干,為重點培養(yǎng)對象,符合本次培訓班招募的標準。本研究以參訓學員的調(diào)查問卷、跟蹤問卷、訪談討論等數(shù)據(jù)資料為基礎(chǔ)。

2 研究方法

國內(nèi)外關(guān)于培訓效果評估的模型有很多,主要集中在柯氏四級評估模型、Phillips 五層次投資回報率模型(ROI 模型)和CIPP 模型等。其中,以參照柯氏四級評估模型進行培訓效果評估的文獻居多,主要應(yīng)用于醫(yī)學臨床護理人員、高校工作人員的培訓效果評估等方面[5-6]。鑒于此,本研究以柯氏四級模型為理論指導,從反應(yīng)層、學習層、行為層、結(jié)果層四個層次對管理培訓班的實效性予以客觀評估(表1),以期為進一步高效地開展專科聯(lián)盟的建設(shè)工作,切實提高成員單位的管理能力、醫(yī)療服務(wù)水平提供科學合理的借鑒作用。其中,反應(yīng)層和學習層主要以問卷調(diào)查的方法了解學員對于培訓課程的滿意度評價和培訓初步產(chǎn)生的效果;行為層和結(jié)果層主要通過電話回訪、專家訪談等方式了解培訓產(chǎn)生的實質(zhì)效果。

表1 柯氏四級模型的四個層次[7-8]

3 評估過程及結(jié)果

3.1 學員滿意度評估——反應(yīng)層

培訓期間,進行了關(guān)于培訓課程的滿意度問卷調(diào)查,請學員從內(nèi)容專業(yè)實用性、講師培訓技巧、課件內(nèi)容設(shè)計、課程組織形式4 個維度對14項課程進行評估[9],每個維度的滿意度為1～5分,每項課程的滿意度評分滿分為20 分。74 名參訓學員中回收了71 份問卷,有3 名學員未提交。分別統(tǒng)計71 名學員對每項課程的4 個維度和總體滿意度評價的平均分值,14 項課程總分均值最高為19.832 分,最低為19.257 分(表2),均為非常滿意(研究設(shè)計時已設(shè)定17～20 分為非常滿意)。

表2 學員滿意度評估

3.2 培訓初效評估——學習層

培訓期間,同時還進行了培訓效果的初步調(diào)查。通過問卷調(diào)查學員在培訓中所學并初步認為會應(yīng)用到實際工作的內(nèi)容,并描述出培訓過后將會應(yīng)用的具體管理措施。74 名參訓學員中有70 人參與了此調(diào)查,有4 名學員未反饋問卷。具體分析學員對每項課程的培訓初效評估情況,按照認為該課程對實際工作有用的學員人數(shù)進行排序(表3)。經(jīng)統(tǒng)計可見,每項課程都有一定數(shù)量的學員表示通過培訓學到了有用的管理知識并將會應(yīng)用到實際工作中,實用性最好的課程有46 人認為培訓內(nèi)容很好并會在具體工作中落實,地壇感染聯(lián)盟舉辦的管理培訓項目產(chǎn)生了初步的效果。

表3 每項課程的培訓初效評估分析

3.3 培訓項目被學員采納應(yīng)用的情況追蹤——行為層

分析學員在培訓過程中的初效評價情況,選取學員評價較好、實用性較強的課程繼續(xù)進行跟蹤。對這14 項課程中比較特殊的課程予以剔除,原因如下:課程2 是戰(zhàn)略性管理課題,受屬地政策影響較大,而且是醫(yī)院整體班子頂層設(shè)計的主題,很難因為一次培訓而改變原有的策略;課程8 是智慧醫(yī)院管理的一部分,實現(xiàn)的前提是需要大額資金的支持,具體落實受客觀因素的影響較大;課程10～14 的內(nèi)容較專項,包括院感管理、門急診管理、應(yīng)急管理、醫(yī)療質(zhì)量管理、護理管理等,培訓效果同學員來源科室有很大關(guān)系。最終確定繼續(xù)跟蹤隨訪的課程共計7 項(表2 中的課程1、3、4、5、6、7、9),將內(nèi)容相近的課程1和課程4 進行合并,最終進一步跟蹤的課程共計包括6 類:黨建工作、宣傳工作、運行管理、績效管理、全面預(yù)算管理、學科建設(shè)。

參與初效評價調(diào)查的70 名學員中,認為上述6 類課程可能會應(yīng)用到實際工作中的學員共計66 人,但有16 人在問卷調(diào)查時只是表示課程很好,但沒有具體描述將會采納哪些管理舉措,將這種情況的問卷予以剔除,最終對50 名學員繼續(xù)追蹤調(diào)查。確定研究對象后,課題組通過問卷、微信、電話等方式分別在培訓結(jié)束后的第1、6、12 個月時對這50 名學員進行回訪,以培訓時每人列出的擬采納的管理舉措為基礎(chǔ),進一步了解這些學員在培訓后回到各自單位,在實際工作中關(guān)于上述6 類課程所包含的管理措施的具體采納和應(yīng)用情況。采納的管理舉措是指:在參加完管理培訓后因受到培訓內(nèi)容的啟發(fā),成員單位及其學員與培訓之前相比新開展的管理措施。采納情況的數(shù)量統(tǒng)計方法:按照具體管理措施匯總資料,按照培訓的每項課程統(tǒng)計數(shù)據(jù),即:若一項課程中有多項管理舉措被同一學員采納并應(yīng)用,在統(tǒng)計該課題被采納的人數(shù)時只計為1。經(jīng)過為期一年的追蹤回訪,據(jù)統(tǒng)計,最終共有38 名學員在參加此次地壇感染聯(lián)盟管理培訓項目后采納并真正實施了所研究的6 類課程涉及的醫(yī)院管理措施,可以說本次培訓對38 名學員的工作行為產(chǎn)生了實質(zhì)性影響和改變,本研究還具體統(tǒng)計了每項課程涉及的管理舉措被學員采納并應(yīng)用的情況,數(shù)據(jù)見表4。

表4 每項課程的管理舉措被學員采納的情況

3.4 培訓項目對參訓醫(yī)院產(chǎn)生的影響——結(jié)果層

北京地壇醫(yī)院舉行醫(yī)院管理培訓項目的最終目的是實現(xiàn)地壇感染聯(lián)盟成員單位間“醫(yī)教研管”的同質(zhì)化,為提高傳染病防治體系的整體管理水平、實現(xiàn)進一步的密切合作奠定基礎(chǔ)。本次管理培訓項目共有31 家醫(yī)院參與,最終采納并實施了培訓內(nèi)容的38 名學員來自于23 家醫(yī)療機構(gòu),由此可見,最終此次培訓對74.19%的參訓醫(yī)院的具體管理行為產(chǎn)生了實質(zhì)性影響,較好實現(xiàn)了本次管理培訓項目的目標。本研究還具體統(tǒng)計了每項課程涉及的管理舉措被參訓醫(yī)院實際采納并應(yīng)用的情況,數(shù)據(jù)見表5。

表5 每項課程的管理舉措被參訓醫(yī)院采納的情況

對于這23 家醫(yī)院,此次管理培訓項目是給予了醫(yī)院管理方面的理論指導,起到“拋磚引玉”的作用。最終培訓內(nèi)容在這些參訓單位得以順利實施,是因為在培訓項目的基礎(chǔ)上,計劃實施管理舉措的醫(yī)院會主動同地壇醫(yī)院建立長期的對接聯(lián)絡(luò)機制,地壇醫(yī)院的講師團隊持續(xù)性地依參訓方需求提供技術(shù)支持,協(xié)助其實施管理項目,包括:針對性一對一解讀、管理方案設(shè)計、遠程指導培訓、原因分析、現(xiàn)場督導等。因此,這23 家醫(yī)院是以培訓內(nèi)容為指導,結(jié)合自身的實際情況,因地制宜地將管理培訓項目涉及的醫(yī)院管理舉措真正落地生根,對各醫(yī)院建立科學有效的管理體系起到了積極作用和重要意義。

4 討論

本次研究是將31 家醫(yī)院的74 名學員作為整體展開的分析,但醫(yī)院的等級、科室的現(xiàn)狀、學員的職級,甚至于醫(yī)院所處的地域等因素可能都會對培訓的實效性產(chǎn)生影響。但因為此次管理培訓項目的入組人數(shù)較少,沒有進行分層研究,下一步有必要繼續(xù)以地壇感染聯(lián)盟的系列管理培訓項目的數(shù)據(jù)為基礎(chǔ)再擴大樣本量,按不同要素分組分析學員之間的差異,探究各類醫(yī)院、學員對聯(lián)盟管理培訓項目的適應(yīng)性,以達到精準施策、優(yōu)化培訓的目的。

通過研究發(fā)現(xiàn),在培訓過程中調(diào)查每項課程的初步培訓效果時,會有較多的學員認為這些管理舉措可以應(yīng)用到實際工作中,但最終真正采納并應(yīng)用到本醫(yī)院實際工作中的項目數(shù)量較少,均低于50%(表4、表5)。表明學員認為較好的管理措施最終只有一小部分能在實際工作中落實應(yīng)用,接下來,有必要進一步深入分析影響培訓效果的具體原因,從培訓項目的必要性、可行性等各方面再次進行評估,以此有效提高管理培訓項目的效率和效果。

在反應(yīng)層的滿意度調(diào)查問卷中,項目組還設(shè)立了開放式的調(diào)查內(nèi)容,以此了解了不同培訓對象的需求,包括:中層干部及科室骨干希望培訓盡量聚焦于某項專題,培訓時長在3～5 天,除了面授講課,還希望安排有互動交流的環(huán)節(jié),以此交流某專項工作的具體經(jīng)驗。院級領(lǐng)導則希望開設(shè)有關(guān)醫(yī)院管理頂層設(shè)計和現(xiàn)代化管理的課程,內(nèi)容盡可能涵蓋醫(yī)院管理的所有領(lǐng)域,交流醫(yī)院管理的思路和理念,時長2～3 d 為宜。提示,在接下來的培訓項目中,有必要針對不同的參與對象和需求設(shè)計不同的培訓體系,包括內(nèi)容、時長、培訓方式方法等進行調(diào)整。

目前,首都醫(yī)科大學附屬北京地壇醫(yī)院已經(jīng)被授予國家傳染病醫(yī)學中心的主體醫(yī)院,站在國家層面,地壇醫(yī)院有責任也有義務(wù)引領(lǐng)傳染病防控救治體系建設(shè)。地壇醫(yī)院牽頭發(fā)起的地壇感染聯(lián)盟現(xiàn)在已經(jīng)涵蓋了全國91 家傳染病醫(yī)療機構(gòu),聯(lián)盟也將是地壇醫(yī)院落實國家傳染病醫(yī)學中心職責的重要抓手。管理培訓項目作為一種重要的知識交流傳播方式,再配套有科學合理的培訓效果評價體系,有助于地壇醫(yī)院在“醫(yī)教研管”等方面將成熟的管理經(jīng)驗在聯(lián)盟成員單位中全面推廣,實現(xiàn)聯(lián)盟單位之間管理水平趨于同質(zhì)化,為各醫(yī)院之間進一步全方位地開展深入合作奠定基礎(chǔ),從而提升傳染病領(lǐng)域的整體醫(yī)療管理水平,推動傳染病防治事業(yè)實現(xiàn)高質(zhì)量發(fā)展。

利益沖突所有作者均聲明不存在利益沖突

作者貢獻聲明王敏:提出研究思路,設(shè)計研究方案,開展調(diào)研,分析數(shù)據(jù),撰寫、修改、審訂論文;劉爽:共同探討研究思路,設(shè)計研究方案,調(diào)研,收集清洗數(shù)據(jù),對數(shù)據(jù)展開分析,修改論文