2018年住院醫(yī)師規(guī)范化培訓(xùn)基地自我評估偏差程度的回顧性分析

于淵寧，吳振龍，李鳴莉，姜眾，賈明艷，柳琪林

（1.中國醫(yī)師協(xié)會(huì)畢業(yè)后醫(yī)學(xué)教育部，北京 100073；2.美國馬薩諸塞州大學(xué)醫(yī)學(xué)中心病理系，沃切斯特市 01655；3.北京醫(yī)學(xué)教育協(xié)會(huì)，北京 100050）

住院醫(yī)師規(guī)范化培訓(xùn)（住培）是我國衛(wèi)生健康行業(yè)人力資源發(fā)展與人才培養(yǎng)的重要階段，培訓(xùn)基地質(zhì)量建設(shè)是住培成功的重要基礎(chǔ)，對培訓(xùn)基地及其專業(yè)基地進(jìn)行綜合評估是檢驗(yàn)國家住培制度落實(shí)程度和質(zhì)量的重要手段?？陀^的自我評價(jià)是基地（包括培訓(xùn)基地和專業(yè)基地，下同）找到不足，認(rèn)清差距，扎實(shí)穩(wěn)步提高的前提。自我評價(jià)過高或過低都不利于基地的自我改進(jìn)。本研究通過對2018年部分基地自評和國家綜合評估進(jìn)行對比，找到偏差的規(guī)律并分析可能的原因，為未來基地質(zhì)量內(nèi)涵建設(shè)提供參考。

國家高度重視培訓(xùn)基地質(zhì)量建設(shè)情況，從2015年起，連續(xù)每年組織對全國31 個(gè)?。ㄗ灾螀^(qū)、市）和新疆生產(chǎn)建設(shè)兵團(tuán)培訓(xùn)基地開展綜合評估。評估內(nèi)容包括基地組織體系建設(shè)、制度建設(shè)、招收培養(yǎng)、師資隊(duì)伍、過程管理、質(zhì)量考核、待遇保障等方面，制訂了嚴(yán)格的評估標(biāo)準(zhǔn)和評估機(jī)制，建立了一支業(yè)務(wù)能力強(qiáng)、懂管理、有責(zé)任心的評估專家隊(duì)伍。通過評估，發(fā)現(xiàn)培訓(xùn)基地和專業(yè)基地住培工作上的不足，提出改進(jìn)意見，住培工作整體上有了很大提高，達(dá)到了以評促建的目的。

發(fā)現(xiàn)問題是改進(jìn)工作的重要前提，只有準(zhǔn)確查找出問題，才能有針對性地改進(jìn)完善。除了上文提到的國家評估過程中由專家組找出問題外，培訓(xùn)基地與專業(yè)基地日常自我查找和發(fā)現(xiàn)問題的自我評估也是改進(jìn)的重要途徑。全國知名專家根據(jù)住培標(biāo)準(zhǔn)制定的培訓(xùn)基地和不同專業(yè)基地評估表和評分原則，發(fā)布在中國醫(yī)師協(xié)會(huì)畢業(yè)后醫(yī)學(xué)教育網(wǎng)“住院醫(yī)師規(guī)范化培訓(xùn)管理平臺(tái)”，這是評估專家對基地工作評判的依據(jù)，也是基地自我評估的標(biāo)準(zhǔn)。

1 資料與方法

1.1 研究對象 選取2018年接受國家綜合評估（第三批、第四批、第五批）的培訓(xùn)基地及其專業(yè)基地共184 個(gè)合格對象進(jìn)行研究。對評估基地的自我評估分值和對應(yīng)的國家綜合評估分值進(jìn)行分析。排除標(biāo)準(zhǔn)：（1）A 省3 家培訓(xùn)基地和B 省2 家培訓(xùn)基地因信息顯示不全未予錄入。（2）C 省a 醫(yī)院內(nèi)科和外科專業(yè)基地，D 省b 醫(yī)院內(nèi)科、急診科、外科、骨科、麻醉科專業(yè)基地，未按照要求自評，只有國家綜合評估，這部分?jǐn)?shù)據(jù)不參與匯總統(tǒng)計(jì)分析。

1.2 研究方法 共有30 家培訓(xùn)基地184 份評分報(bào)告，包括對培訓(xùn)基地的綜合評分及各專業(yè)基地的評分。計(jì)算基地自評分和國家綜合評估分之間的分值差即偏差值，計(jì)算方法為：偏差值=基地自評分-國家綜合評估分。另計(jì)算偏差度，計(jì)算方法為：偏差度=偏差值/國家綜合評估分，對偏差度以10%間隔分組。

1.3 統(tǒng)計(jì)學(xué)方法 本研究采用WPS office（2019）進(jìn)行描述性統(tǒng)計(jì)。

2 結(jié) 果

基地自評-他評偏差度分布區(qū)間統(tǒng)計(jì)，見表1。

表1 基地自評-他評偏差度分布區(qū)間（n=184）Table1 Statistics of distribution interval of base selfassessment and other-assessment deviation degrees（n=184）

2.1 整體情況 從統(tǒng)計(jì)分析來看，184 個(gè)樣本中，除7 例（占比3.80%）為自評分低于或等于國家綜合評估分外，其余96.20%的樣本都存在評估對象自評分?jǐn)?shù)高于國家綜合評估分的情況。184 個(gè)評估對象中，最低的偏差度為-5.81%，最高偏差度達(dá)155.26%?？紤]到自評與他評很難完全一致，如果以±10.00%（含）以內(nèi)的偏差度為基本一致，10.00%～30.00%（含30.00%）為部分偏離，＞30.00% 為嚴(yán)重偏離，則基本一致比例數(shù)為25.00%，部分偏離比例為55.98%，嚴(yán)重偏離的比例為19.02%。后二者合計(jì)比例為75.00%，也就是75.00%的評估對象都存在自我評價(jià)過高的現(xiàn)象。

2.2 黃牌基地偏離情況 國家綜合評估對評估對象的不同方面均進(jìn)行評估，設(shè)定不同分值，并劃定核心指標(biāo)。根據(jù)各分項(xiàng)打分結(jié)果及核心指標(biāo)評定結(jié)果，把評估對象的評估結(jié)果分為：合格、限期整改/黃牌、撤銷資格/紅牌。本次研究的184 個(gè)有效對象中有24 個(gè)黃牌，其余160 個(gè)評估對象為合格，見表2。如果以偏差度平均值為參考指標(biāo)，24 個(gè)黃牌評估對象偏差度平均值為39.95%（黃牌基地分值差之和/評估分總和）且均為正偏差（即自評分均高于國家綜合評估分），平均偏差值為25.72。相比之下，達(dá)標(biāo)的評估對象偏差度平均值為16.55%，平均偏差值為13.21，二者之間差距明顯。

表2 黃牌基地/非黃牌基地偏差度分布區(qū)間表Table2 Distribution interval of deviation degree of unqualified base/qualified bases

如表2所示，黃牌基地與國家綜合評估結(jié)果偏差度在±10.00%之間、基本一致的僅有1 例。部分偏離的、位于(10，30]區(qū)間的為5 例，占比20.83%。偏差度分布區(qū)間在(30，50]的個(gè)數(shù)為13 個(gè)，占全部黃牌基地的54.17%。偏差度＞50.00%的有5個(gè)，占比20.83%。黃牌基地中嚴(yán)重偏離的（偏差度＞30%）比例為75.00%。相較之下，達(dá)標(biāo)的評估對象嚴(yán)重偏離比例僅為10.63%。也就是說，黃牌不合格評估對象更容易出現(xiàn)自我評價(jià)過高的情況且自我評價(jià)過高的程度更為明顯。

在184 個(gè)評估對象中，偏差度＞30.00%的嚴(yán)重偏離對象為35 個(gè)，其中涉及培訓(xùn)基地綜合情況自我評估的為9 個(gè)，占比最高，也就是培訓(xùn)基地綜合情況自我評估最容易出現(xiàn)正向嚴(yán)重偏離。

選取本次評估達(dá)標(biāo)和黃牌的綜合、內(nèi)科、急診科等專業(yè)，自評值與專家評估值之間差值的算數(shù)平均值，見表3。

表3 達(dá)標(biāo)/黃牌評估對象部分專業(yè)偏差值Table3 List of partial professional deviations of qualified/unqualified assessed objects

2.3 國家級(jí)示范基地本輪自評/評估偏差情況 2015年10月15日，原國家衛(wèi)生計(jì)生委在重慶召開全國住培現(xiàn)場經(jīng)驗(yàn)交流會(huì)，會(huì)上公布了首批24 家住培示范基地名單（含西醫(yī)21 家，中醫(yī)3 家）。本次（2018年第三、四、五批）綜合評估，抽選到了其中兩家示范基地。從評估結(jié)果看，這兩家示范基地距離“示范標(biāo)桿”還有一定的差距。A 基地綜合自我評估103 分，評估專家組打分72.70 分，處于較低水平；偏差絕對值為30.30分，處于較高水平。B基地綜合和神經(jīng)內(nèi)科、外科、婦產(chǎn)科等專業(yè)基地評估分均處于較低水平，且內(nèi)科專業(yè)基地評估認(rèn)定為不合格。A 基地和B 基地評分情況見表4、表5。

表4 A 基地自評-他評偏差值Table4 The self-assessment/national assessment deviation of A-level Base

表5 B 基地自評-他評偏差值Table5 The self-assessment/national assessment deviation of B-level Base

3 分析與對策

培訓(xùn)基地和專業(yè)基地自評指標(biāo)與國家綜合評估指標(biāo)一致，評分標(biāo)準(zhǔn)和扣分依據(jù)公布在畢業(yè)后醫(yī)學(xué)教育網(wǎng)“住院醫(yī)師規(guī)范化培訓(xùn)管理平臺(tái)”，培訓(xùn)基地可登錄后自行下載、學(xué)習(xí)和自我評價(jià)。國家綜合評估組選用的都是多年從事畢業(yè)后醫(yī)學(xué)教育以及醫(yī)院管理和各專業(yè)領(lǐng)域的知名專家，有豐富的國家級(jí)評估經(jīng)驗(yàn)，評分公正客觀，因此，以國家綜合評估分值作為評判培訓(xùn)基地和專業(yè)基地是否達(dá)到國家住培工作要求的標(biāo)準(zhǔn)，具備較高可信度。

評分規(guī)則大致可分為兩類，一是可以用具體數(shù)據(jù)、事實(shí)衡量的客觀指標(biāo)，如病床數(shù)、病例數(shù)、圖書數(shù)、手術(shù)數(shù)、師資比例等。另一類是具有一定主觀性質(zhì)的指標(biāo)，如病歷書寫質(zhì)量、小講課質(zhì)量等。從理論上講，客觀指標(biāo)的自我評估和國家綜合評估應(yīng)該較為一致，而主觀指標(biāo)則較易出現(xiàn)偏差。但在分析各自評表和國家綜合評估表時(shí)，客觀指標(biāo)和主觀指標(biāo)均有程度不等的偏差。究其原因，主要在于以下幾個(gè)方面。（1）基地對指標(biāo)不熟悉，對具體要求不理解，或理解上存在偏差。（2）基地對自身住培工作情況不了解，數(shù)據(jù)收集整理和匯總分析不及時(shí)、不準(zhǔn)確，導(dǎo)致自我評估不準(zhǔn)。（3）工作責(zé)任心不強(qiáng)，自評不嚴(yán)格，填報(bào)出現(xiàn)錯(cuò)誤。（4）心理學(xué)上的鄧寧-克魯格效應(yīng)（Dunning-Kruger Effect），鄧寧- 克魯格效應(yīng)指的是個(gè)體在完成某項(xiàng)任務(wù)時(shí)對自己能力的評價(jià)產(chǎn)生的偏差[1]。研究發(fā)現(xiàn)，能力較低的個(gè)體，自我評價(jià)反而較高。因?yàn)樽晕以u價(jià)和填報(bào)都是由基地管理人員進(jìn)行，所以鄧寧-克魯格效應(yīng)在這里指的是組織（培訓(xùn)基地和專業(yè)基地），即工作較差的培訓(xùn)基地和專業(yè)基地自我評價(jià)越高，這在黃牌基地統(tǒng)計(jì)數(shù)據(jù)中得到了驗(yàn)證。（5）對自評工作認(rèn)識(shí)有偏差。把自評報(bào)告當(dāng)作工作成績匯報(bào)，因此在報(bào)告中對工作成績進(jìn)行夸大，而對自身實(shí)際存在的問題避而不談。

客觀的自我評價(jià)是基地發(fā)現(xiàn)住培工作中存在的不足，進(jìn)而及時(shí)改進(jìn)和完善的前提。從上文的分析可以看出，未來的工作可以從以下幾方面開展，以幫助培訓(xùn)基地和專業(yè)基地最大程度消除偏差，實(shí)現(xiàn)住培工作同質(zhì)化、優(yōu)質(zhì)化發(fā)展。（1）強(qiáng)化對評估指標(biāo)的解讀與培訓(xùn)，開展多種形式和渠道的指導(dǎo)和釋疑，幫助基地正確理解評估指標(biāo)的含義，進(jìn)而準(zhǔn)確開展自我評價(jià)。（2）改進(jìn)完善評估指標(biāo)，對主觀指標(biāo)進(jìn)行量化，便于基地自我評估，減小偏差。（3）強(qiáng)化基地自我評估相關(guān)工作人員的責(zé)任心，使其對自我評估偏差結(jié)果承擔(dān)責(zé)任[2]。（4）加強(qiáng)評估結(jié)果的運(yùn)用，將評估結(jié)果及時(shí)反饋給培訓(xùn)基地和專業(yè)基地，讓基地了解偏差出現(xiàn)的原因，進(jìn)而改進(jìn)自我評估的客觀性和公正性。（5）建立大數(shù)據(jù)庫，對自我評價(jià)明顯高于平均值范圍的基地，進(jìn)行重點(diǎn)監(jiān)測和組織現(xiàn)場評估。（6）要注重加強(qiáng)對示范基地的監(jiān)督。示范基地除承擔(dān)自身招收培訓(xùn)任務(wù)外，還肩負(fù)一定的區(qū)域或?qū)I(yè)引領(lǐng)帶頭作用，發(fā)揮著區(qū)域和行業(yè)“標(biāo)桿”效應(yīng)，在各方面都應(yīng)做到領(lǐng)先。因此，對示范基地更應(yīng)該加強(qiáng)評估監(jiān)測，防錯(cuò)糾偏，讓示范基地真正發(fā)揮標(biāo)桿和引領(lǐng)作用。（7）引入住院醫(yī)師對基地的評估機(jī)制并將結(jié)果作為重要評估參考指標(biāo)。住院醫(yī)師對基地的評估（360°評估的一部分）是指對培訓(xùn)基地和專業(yè)基地制度建設(shè)與落實(shí)、過程管理、培訓(xùn)質(zhì)量、保障水平等方面進(jìn)行評價(jià)。應(yīng)建立單獨(dú)的住院醫(yī)師調(diào)查平臺(tái)，并將相關(guān)方的調(diào)查結(jié)果作為基地日常建設(shè)和自我改進(jìn)完善的參考依據(jù)，以及國家級(jí)綜合評估時(shí)的重要評估指標(biāo)。

4 基地自評偏差研究的不足和政策建議

本次研究在國內(nèi)基地培訓(xùn)質(zhì)量評價(jià)中尚屬首次，缺乏經(jīng)驗(yàn)?zāi)Ｊ胶蛿?shù)據(jù)以資借鑒，因此在方案設(shè)計(jì)、數(shù)據(jù)采集和分析上都可能存在不足。此外，基地自評并上報(bào)在畢業(yè)后醫(yī)學(xué)教育網(wǎng)“住院醫(yī)師規(guī)范化培訓(xùn)管理平臺(tái)”也屬首次，同年開展國家綜合評估的基地?cái)?shù)量也有限，受此限制，自評結(jié)果和國家綜合評估結(jié)果對比的樣本量還不夠多。另外，統(tǒng)計(jì)結(jié)果分析還有待深入，以期能更準(zhǔn)確找到基地培訓(xùn)質(zhì)量和自評報(bào)告之間的關(guān)聯(lián)。最后，自評偏差的原因尚待進(jìn)一步分析，并尋找出針對性的解決方法。

為了更好地建立符合我國住培工作需求的評估機(jī)制，結(jié)合本次研究中尚需改進(jìn)之處，建議未來從全國住培管理層面采取以下措施。（1）組織基地定期自評并把住院醫(yī)師對基地的評估納入自評結(jié)果之中。（2）與相關(guān)研究機(jī)構(gòu)和專家合作，建立分析模型。（3）建立評估數(shù)據(jù)長期跟蹤分析機(jī)制。（4）根據(jù)基地自評-他評偏離趨勢，定期發(fā)布基地自評質(zhì)量報(bào)告，精準(zhǔn)指導(dǎo)基地住培工作，為各級(jí)衛(wèi)生健康主管部門住培管理提供參考依據(jù)。