精神科住院醫(yī)師“五站式”客觀結(jié)構(gòu)化臨床考核評分標(biāo)準(zhǔn)的信度分析

葉碧瑜，何紅波，陳建松，王天樂，寧玉萍，唐宏宇

客觀結(jié)構(gòu)化臨床考試(OSCE)[1]是一種多站式臨床考核模式，能綜合評價醫(yī)學(xué)生的臨床知識、技能和(或)態(tài)度[2]，體現(xiàn)醫(yī)學(xué)生核心技能水平。 精神科“五站式”O(jiān)SCE包括輔助檢查及影像學(xué)解讀、臨床技能、臨床思維、心肺復(fù)蘇操作、神經(jīng)系統(tǒng)檢查或臨床溝通；其中輔助檢查及影像學(xué)解讀、心肺復(fù)蘇操作、神經(jīng)系統(tǒng)檢查為觀察指標(biāo)客觀，評分標(biāo)準(zhǔn)也是客觀的，考官評分的一致性高；臨床技能、臨床思維及臨床溝通這3個考站由于精神科的特殊性，使得觀察指標(biāo)因考官的理解有一定的主觀性，評價往往具有主觀差異。如何保證考官評價的一致性是提高精神科“五站式”O(jiān)SCE評分的信度和效度關(guān)鍵；也是精神科住院醫(yī)師規(guī)范化培訓(xùn)OSCE評分的一致性決定因素。何紅波等[3]2016年首次通過對精神科住院醫(yī)師結(jié)業(yè)“五站式”O(jiān)SCE考核標(biāo)準(zhǔn)一致性分析顯示臨床技能、臨床思維和臨床溝通這3個考核站點組內(nèi)評分具有良好的一致性。本研究再次評估精神科專業(yè)OSCE “五站式”考核中臨床技能、臨床思維及臨床溝通這3個考站評分的一致性。

1 對象和方法

1.1 對象

為2018年本院舉辦的廣東省第三期精神科住院醫(yī)生培訓(xùn)師資培訓(xùn)班學(xué)員115名，來自廣東、廣西、青海等19個醫(yī)療單位(綜合醫(yī)院5人，?？漆t(yī)院110人)；男71名，女44名；平均年齡(36.9±5.8)歲；教育程度：本科59人，研究生31人，25人數(shù)據(jù)缺失；職稱為中級、副高、高級分別為76、28及11人。

1.2 方法

1.2.1 培訓(xùn)方法 本研究由訓(xùn)練有素的指導(dǎo)老師現(xiàn)場對師資班學(xué)員進行主觀性體驗較強、評分較難把握的“臨床技能”、“臨床思維”及“臨床溝通”3個站點的評分細(xì)則及考核中表逐項評分標(biāo)準(zhǔn)進行講解和分析，讓師資班學(xué)員掌握每一項評分要求；然后安排本醫(yī)院二年級住培醫(yī)師對真實住院患者分別進行上述3個站點的現(xiàn)場測試，師資班學(xué)員現(xiàn)場根據(jù)相應(yīng)評分表進行評分；評分結(jié)束后馬上收集師資班學(xué)員的評分表，進行評分的組內(nèi)一致性分析；其中“臨床溝通站”評分結(jié)束，全體師資班學(xué)員再和指導(dǎo)老師一起集中對一位住院醫(yī)師進行考核評分演練，分析演練前后評分的組內(nèi)一致性。

2 結(jié)果

2.1 師資班學(xué)員與專家各站點考核評分比較

“臨床技能站”回收學(xué)員有效評分表84份，學(xué)員與專家評分間差異無統(tǒng)計學(xué)意義(P=0.94)；“臨床技能站”回收學(xué)員有效評分表80份，學(xué)員與專家評分間差異無統(tǒng)計學(xué)意義(P=0.22)；“臨床溝通站”回收學(xué)員有效評分表81份，學(xué)員經(jīng)現(xiàn)場講解后評分及實例演練后評分與專家評分比較差異無統(tǒng)計學(xué)意義(P均>0.05)。見表1。

表1 師資班學(xué)員與專家3個站點考核評分比較

2.3 3個站點評分的一致性檢驗

單純通過指導(dǎo)老師現(xiàn)場講解后對學(xué)員3個站點即刻評分，其一致性檢驗結(jié)果顯示，“臨床技能站”評分的ICC為 0.988(95%CI：0.987～1.000);“臨床思維站”現(xiàn)場講解后評分的ICC為1.000(95%CI：0.999～1.000); “臨床溝通站”現(xiàn)場講解后評分的ICC為0.990(95%CI：0.983～0.999)，指導(dǎo)老師實例演練后評分的ICC為0.998(95%CI：0.992～1.000)，較現(xiàn)場講解的評分一致性高。

3 討論

20世紀(jì)60年代后，社會對醫(yī)學(xué)人才培養(yǎng)質(zhì)量提出了更高要求。美國畢業(yè)后醫(yī)學(xué)教育鑒定委員會提出住院醫(yī)師應(yīng)具備以下6項臨床勝任力:患者照顧、醫(yī)學(xué)知識、臨床工作中的學(xué)習(xí)與改善、人際溝通能力、專業(yè)素養(yǎng)及基于系統(tǒng)的臨床實踐[1]。以筆試為主的傳統(tǒng)醫(yī)學(xué)考試模式并不能體現(xiàn)出醫(yī)學(xué)畢業(yè)生具備上述臨床勝任力。為此，英國Dundee大學(xué)的Dr.Harden等于1975年首次提出一種全新的醫(yī)學(xué)畢業(yè)生能力的OSCE考核評價辦法，并被迅速用于國外各大醫(yī)學(xué)院校及國內(nèi)部分醫(yī)學(xué)院校，逐漸成為公認(rèn)的教學(xué)評估方法；加拿大、英國等國家的 OSCE 已用于精神科住院醫(yī)生培訓(xùn)考核[4-5]。 目前，國內(nèi)少數(shù)院校也嘗試OSCE 應(yīng)用于精神科本科生和精神科住院醫(yī)師的臨床技能考核，并報道了初步效果[6-8]。2012年北京市在精神科住院醫(yī)師結(jié)業(yè)考核地區(qū)聯(lián)考中首次設(shè)置了“七站式”精神科OSCE考核模式，隨之連續(xù)使用4年，取得了良好的效果[9]。但OSCE 考站多，人力、物力投入大;如何利用有限的資源又同時使 OSCE 考試的信度達到可接受的范圍成為OSCE站數(shù)設(shè)計的重要考慮因素。OSCE 作為一種臨床技能測評工具，保證其信度是考試成功與否的關(guān)鍵。Hofer等[10]研究發(fā)現(xiàn)，考站為5個時，表示信度的Cronbach's α系數(shù)為 0.69，提示內(nèi)部一致性較好，信度較高[11]。因此2016年在原有“七站式”基礎(chǔ)上，改良成“五站式”O(jiān)SCE考核模式。

較傳統(tǒng)的醫(yī)學(xué)考試模式不一樣，OSCE屬于一種新型的綜合臨床能力考試模式，評價這種考試可靠性的一個重要指標(biāo)就是信度，它代表了考試的公平性、考分的公正性，所以保證其信度是這種考試模式成功與否的關(guān)鍵[12]。測量信度的方法有組內(nèi)相關(guān)系數(shù)法、分半信度法和 Cronbach's α系數(shù)。既往對OSCE信度的分析多用Cronbach's α系數(shù)，王海平等[11]收集了從1998年1月至2013年5月關(guān)于醫(yī)學(xué)生OSCE考核并使用 Cronbach's α系數(shù)進行OSCE信度測量的研究共34個，其中國內(nèi)研究16個及國外研究18個，對這些研究里的OSCE 考試信度的Meta分析發(fā)現(xiàn)，國內(nèi)外用于醫(yī)學(xué)生的OSCE總Cronbach's α系數(shù)為0.700，表示OSCE用于國內(nèi)外醫(yī)學(xué)畢業(yè)生臨床能力評估考試均具有較好的可信度。

本研究中，精神科OSCE考核模式考站數(shù)量定為5個考站，這個數(shù)量既符合經(jīng)濟學(xué)節(jié)約原則，又符合OSCE考核模式良好信度要求[10]。只是內(nèi)外科專業(yè)考站設(shè)計的評分標(biāo)準(zhǔn)均客觀規(guī)范，而精神科“五站式”O(jiān)SCE考核中的第二站為“臨床技能站”、第三站為“臨床思維站”第五站為“臨床溝通站”的評分標(biāo)準(zhǔn)由于考官的理解和評估往往缺少絕對客觀的參考，同時不同考官掌握評估標(biāo)準(zhǔn)的程度不一，這些都會較內(nèi)外科專業(yè)更容易影響考試結(jié)果，即系統(tǒng)誤差擴大造成的考試信度降低。所以保證考官評分的一致性是提高精神科“五站式”O(jiān)SCE評分的信度的關(guān)鍵。此前關(guān)于精神科“五站式”O(jiān)SCE考核評分一致性的研究報道只有一個，何紅波等[3]在2016年8月對66名師資的臨床技能、臨床思維和臨床溝通這3個考核站點的評分進行組內(nèi)一致性研究，結(jié)果初步顯示組內(nèi)具有良好的一致性。本研究也是參考前人的研究方法，仍然是對上面3個站點進行評分一致性的檢驗，結(jié)果顯示，單純通過指導(dǎo)老師現(xiàn)場講解后即刻評分，“臨床技能站”ICC為 0.988，“臨床思維站”ICC為1.000，“臨床溝通站”ICC為0.990；提示3個站點的評分經(jīng)過講解培訓(xùn)后有著極好的一致性，進一步驗證了這3個站點的評分盡管有主觀混淆因素，但可以經(jīng)過對考官進行評分一致性培訓(xùn)來降低主觀因素造成的不良影響，從而提高精神科OSCE“五站式”考核上述3個站點的評分一致性，從而提高了信度，與何紅波等[3]研究結(jié)果一致。

與既往研究比較，本次研究有115名來自廣東省19個醫(yī)療機構(gòu)的精神科師資參加，明顯多于2016年研究的參與人數(shù)(66名)和醫(yī)療機構(gòu)數(shù)量(16個)，通過增加了樣本量驗證了前研究的初步結(jié)果。另外本研究在前研究方法的基礎(chǔ)上，對第五站“臨床溝通站”還增加了聯(lián)合指導(dǎo)老師現(xiàn)場講解及實例演練的研究方法，發(fā)現(xiàn)聯(lián)合實例演練后再評分的ICC為0.998(95%CI：0.992～1.000)，較單純現(xiàn)場講解后就馬上評分的ICC(0.990)高，提示聯(lián)合培訓(xùn)形式比單純培訓(xùn)形式更能提高站點評分的一致性。

標(biāo)準(zhǔn)OSCE考核建議用標(biāo)準(zhǔn)化患者(Standardized Patients，SP)，因為SP不僅可以把考站要求病種的臨床特點逼真表現(xiàn),還可以反復(fù)恒定地模擬，同時，SP還能結(jié)合自己的感受，對學(xué)生的態(tài)度表現(xiàn)等方面進行客觀評價，SP的使用使考站的設(shè)計更公平并且更可能保持評分的一致性。本研究的局限之處在于對“臨床技能站”和“臨床思維站”用到真實患者，沒有用到SP。較標(biāo)準(zhǔn)的OSCE考核而言有可能降低了考站的信度；但是本研究所選的患者都是臨床經(jīng)過篩選的、精神癥狀典型并相對表現(xiàn)穩(wěn)定的、合作自愿的、癥狀描述清晰有條理的真實患者，從某種程度上接近標(biāo)準(zhǔn)化患者的優(yōu)點同時又彌補了SP所不能達到的如完全真實描述精神活動細(xì)節(jié)的不足，將來有望采納更多培訓(xùn)有素的精神科SP用于精神科“五站式”客觀結(jié)構(gòu)化臨床考試中。