改良Angoff法在臨床醫(yī)學OSCE考試中的應用

金世柱，劉冰熔，劉自帥，張菲菲，張春偉，阮夢婷

改良Angoff法在臨床醫(yī)學OSCE考試中的應用

金世柱，劉冰熔*，劉自帥，張菲菲，張春偉，阮夢婷

（哈爾濱醫(yī)科大學附屬第二醫(yī)院，黑龍江哈爾濱150086）

目的探討改良Angoff法在臨床醫(yī)學OSCE考試中運用的可行性。方法隨機抽取2011級臨床醫(yī)學七年制1班45名學生在2014—2015學年第一學期的OSCE考試成績作為數(shù)據(jù)樣本，選取18名經(jīng)驗豐富的內(nèi)科學專家組成考核小組，由其設定改良Angoff法的合格線，對比運用邊界法（BorderlineGroup，BG）、邊界回歸法（BorderlineRegressionGroup，BRG）和改良Angoff法的合格線和考試通過率。結果通過改良Angoff法得出的合格分數(shù)線要低于BG法和BRG法（P<0.01）。結論研究表明，使用改良Angoff法確定臨床醫(yī)學七年制OSCE考試合格分數(shù)線是可行的，運用這種方法確定的合格線較為科學、準確。

OSCE；改良Angoff法；臨床醫(yī)學

隨著國家醫(yī)療衛(wèi)生體制的不斷深化改革，不僅對醫(yī)學專業(yè)人員數(shù)量的需求不斷增加，而且對質(zhì)量的要求也更加苛刻。高等醫(yī)學教育的目的在于培養(yǎng)基礎扎實、實踐技能嫻熟、能獨立從事實際工作的高級應用人才。臨床醫(yī)學七年制學生是我國醫(yī)學教育培養(yǎng)的重點對象，他們不僅需要掌握扎實的專業(yè)理論知識，更需要掌握過硬的臨床技能。根據(jù)七年制醫(yī)學教育的要求和特點，哈爾濱醫(yī)科大學附屬第二醫(yī)院自2009年以來，一直運用OSCE考核學生的臨床思維能力和臨床實踐技能。OSCE的概念始于1975年[1]，其基本思想是“以操作為基礎的測驗”，它是一種以客觀的方式評估臨床能力的考核方法，即在模擬臨床場景下，使用模型、標準病人[2]甚至病人來測試醫(yī)學生的臨床能力。同時它也是一種知識、技能和態(tài)度并重的綜合能力評估方法，還是一種與國際醫(yī)學教育基本要求相匹配的新型考核評價體系，在目前國內(nèi)外的醫(yī)學教育和醫(yī)師資格考試中廣泛應用[3]。本研究將探討在國內(nèi)外執(zhí)業(yè)醫(yī)師考試中常用的改良Angoff法是否適用于臨床醫(yī)學七年制OSCE考試合格標準的設定，現(xiàn)介紹如下。

1　OSCE考站介紹

因本次研究使用了哈爾濱醫(yī)科大學附屬第二醫(yī)學院2011級臨床醫(yī)學七年制1班45名學生在2014—2015學年第一學期的OSCE考試成績作為數(shù)據(jù)樣本，所以本次OSCE考試模擬的考站數(shù)量、試題數(shù)量、考試題型及難易度、每個考站的通過時間等因素均參考上述考試的模型，將考試模式、題型變化等對研究的影響降到最低。OSCE考試共有6站，每一站分為若干小項并有3位評委按照操作考核評分表負責打分，總分為50分，每一位考生完成所有考核的時間約60～75分鐘。

2　方法與對象

2.1改良Ango ff法

改良Angoff法是以考試內(nèi)容為中心的專家判斷法的典型代表，改良Angoff法要求專家根據(jù)試題判定邊界考生（指具備所承擔某項特定工作任務要求的最低知識水平和技能的人群）能夠對某一試題回答的“對”與“錯”和能夠正確回答某一試題的概率。

2.1.1工作流程合格分數(shù)線的設定從組織各學科專家代表參加培訓開始，選取18名具有豐富命題、教學經(jīng)驗的專家教授，其中消化內(nèi)科3名、呼吸內(nèi)科3名、心血管內(nèi)科3名、腎內(nèi)科2名、血液內(nèi)科2名、風濕免疫科2名、傳染科2名、內(nèi)分泌與代謝科1名，專家的遴選兼顧了專業(yè)、性別等因素。將所有專家按照考站數(shù)量隨機分成6組，投票選出1名資歷最高的專家擔任組長，并由1名工作人員對全體專家進行集訓，內(nèi)容包括：介紹OSCE考試的性質(zhì)和設定合格分數(shù)線的意義、講解判斷方法的基本思路和步驟、描述邊界考生的基本性質(zhì)。集訓完成后，各專家在組長的帶領下完成下面的任務。

（1）討論邊界考生。組長組織全組討論邊界考生的基本特征，初步完成對邊界考生的認識。（2）對錯判斷。首先，進行練習。提供6～10道樣題，專家逐題練習判斷“邊界考生能否答對試題”，專家只需回答“能”或“否”。其次，反饋練習結果。練習結束時，組長組織全體成員逐題查看本組練習結果，對于偏離小組判斷結果的專家，組長請他們解釋原因并組織討論，共同討論和鞏固對邊界考生的統(tǒng)一認識。待小組討論完畢后，專家按照分組獨立對臨床醫(yī)學七年制2014—2015學年第一學期的OSCE考題進行對錯判斷。（3）區(qū)間（概率）判斷。首先，進行練習。練習的樣題與對錯判斷練習時相同，專家逐題練習判斷邊界考生答對試題的百分比區(qū)間是多少，各區(qū)間間隔10%，專家可從0%～10%、5%～15%、10%～20%……90%～100%這19種情況中任選其一。其次，反饋練習結果。練習結束時，對偏離小組判斷結果的專家，組長請他們解釋原因并組織討論，共同探討和鞏固對邊界考生的統(tǒng)一認識。待小組討論完畢后，專家按照分組獨立對臨床醫(yī)學七年制2014—2015學年第一學期的OSCE考題進行概率區(qū)間判斷。

2.1.2合格分數(shù)線的計算合格分數(shù)線的計算分為4個步驟：（1）統(tǒng)計各位專家對錯判斷設定的合格分數(shù)線，即將專家判斷邊界考生能答對的試題計1分，否則計為0分[4]，統(tǒng)計每道試題該專家組的判斷平均值，再次計算每個考站各位專家判斷的所有試題的平均值之和。（2）統(tǒng)計各位專家區(qū)間概率判斷設定的合格分數(shù)線，即將百分比轉換為小數(shù)，分別統(tǒng)計每道試題專家判斷的區(qū)間下限平均值和區(qū)間上限平均值，再分別計算專家組判斷的所有試題的區(qū)間下限平均值之和以及區(qū)間上限平均值之和。（3）統(tǒng)計專家組區(qū)間下限和區(qū)間上限間的中值。（4）統(tǒng)計專家組對錯判斷和區(qū)間（概率）判斷中值間的平均值，將專家組兩輪判斷的平均值求和，四舍五入取整，即專家給出的合格分數(shù)線。結果見表1。

表1　改良Angoff法專家評分結果

2.2邊界法

邊界法是指在考生完成每站考核后，由每站的3位專家分別根據(jù)考生在該站的表現(xiàn)評分，3位專家的平均分即考生在該站的成績，最后統(tǒng)計每位考生的各站得分，取每站得分的中位數(shù)，即該站的及格分數(shù)線，最后合計各站的及格分數(shù)，即OSCE的總分及格分數(shù)線[5-6]。

2.3邊界回歸法

邊界回歸法是運用回歸方程計算及格分數(shù)線，以各站的總分為獨立變量，以各站得分為相對變量[7]，由每站的3位專家分別根據(jù)考生在該站的表現(xiàn)評分，3位專家的平均分即考生在該站的成績，最后將每位考生各站的得分帶入回歸方程，合格分數(shù)線即回歸方程和邊界組的交點[8-9]。

3　結果

運用改良Angoff法、BG法、BRG法得出的合格分數(shù)線見表2。從表2我們可以看出，通過改良Angoff法得出的合格分數(shù)線與BG法和BRG法相比，改良Angoff法的合格分數(shù)線要低于BG法和BRG法（P＜0.01）。運用改良Angoff法、BG法、BRG法得到的不合格人數(shù)見表3。從表3我們可以得知，使用BG法有8.9%（4/45）的學生不合格，使用BRG法有11.1%（5/45）的學生不合格，使用改良Angoff法有11.1%（5/45）的學生不合格。

4　討論

盡管OSCE考試有很多優(yōu)點，但是它的評分體系沒有完全統(tǒng)一，較常用的有BG法和BRG法，這兩種方法都是在考試結束后根據(jù)學生的答題情況統(tǒng)計、計算合格分數(shù)線，是比較被動的方法。而改良Angoff法則是在考試前根據(jù)專家組對邊界考生和試題的評估，合理設定合格分數(shù)線，是一種比較主動的方法。探討和研究將在國內(nèi)外執(zhí)業(yè)醫(yī)師考試時常用的改良Angoff法應用于臨床醫(yī)學OSCE考試合格標準的設定，對于提升考試的公平、權威、有效性至關重要。每一種及格線的設定方法都有各自的優(yōu)缺點。Angoff法單獨采用概率判斷或對錯判斷，其流程相對簡單，但每位專家界定的邊界考生可能存在差異且會受趨中效應和趨端效應的影響。有研究表明，概率判斷存在趨中效應，當專家在判斷邊界考生答對試題的百分比區(qū)間時，對于很難或很容易的試題，不太傾向于給出極端值，而傾向于中等的概率值。相反，對錯判斷存在趨端效應，這是由對錯判斷的形式?jīng)Q定的。而改良Angoff法將對錯判斷和概率判斷相結合，中和了趨端效應和趨中效應的影響，設定的合格分數(shù)線更為準確，同時增加了專家代表的意見，但是也會受到專家界定邊界考生的影響。2000年，Kaufman等人對比改良Angoff法和BG法，發(fā)現(xiàn)這兩種方法在醫(yī)學考試及格限定中均可以得到合理的結果。Kramer等人[7]研究表明，與改良Angoff法相比，BRG法更加可靠。通過表2我們可以看出，在本次研究過程中，改良Angoff法的合格分數(shù)線要低于BG法和BRG法（P＜0.01），而通過表3關于不合格率的對比顯示，3種評分標準比較，無顯著性差異（P＞0.05）。經(jīng)過對3種評分方法的研究和對比分析得出，這種截然相反的結果可能是由評委專家的數(shù)量或評委專家的質(zhì)量導致的，尤其是那些對改良Angoff法沒有足夠認識并且沒有參加多種方式評分的專家。因此在實施改良Angoff法時還需注意以下幾點：（1）體現(xiàn)專家的代表性，開展更為有效的專家培訓；（2）更為清晰地界定邊界考生；（3）增加信息反饋，使用合理的統(tǒng)計方法計算合格分數(shù)線。

表2　改良Angoff法與BG法和BRG法合格分數(shù)線的對比（分）

表3　改良Angoff法的不合格人數(shù)與BG法和BRG法比較（人）

5　結語

本研究針對Angoff法、BG法、BRG法在現(xiàn)行OSCE考試合格分數(shù)線設定中存在的不足提出了一種新的方法：改良Angoff法，這種方法將對錯判斷和概率判斷相結合，消除了趨端效應和趨中效應，可以在考試前合理確定合格分數(shù)線。從實踐運用來看，使用改良Angoff法確定臨床醫(yī)學七年制OSCE考試合格分數(shù)線是可行的、可靠的，運用這種方法確定的合格分數(shù)線較為科學、準確。

[1]Khan KZ，Ramachandran S，Gaunt K，et al.The Objective Structured Clinical Examination（OSCE）：AMEE Guide No.81.Part I：an historical and theoretical perspective[J].Med Teach，2013，35（9）：1437-1446.

[2]金世柱，劉冰熔，劉中宏，等.學生角色扮演標準化病人在消化內(nèi)科臨床實習教學中的應用研究[J].中國高等醫(yī)學教育，2015（9）：78-79.

[3]孫保亮，張輝，李昌英.提高實習生臨床實踐能力的若干思考[J].中國高等醫(yī)學教育，2006（3）：92-93.

[4]Schoonheim-Klein M，Muijtjens A，Habets L，et al.Who will pass the dental OSCE？Comparison of the Angoff and the borderline regression standard settingmethods[J].Eur JDent Educ，2009，13（3）：162-171.

[5]Newble D.Techniques for measuring clinical competence：objective structured clinical examinations[J].Med Educ，2004，38（2）：199-203.

[6]Wilkinson TJ，Newble DI，F(xiàn)rampton CM.Standard setting in an objective structured clinical examination：use of global ratings of borderline performance to determine the passing score[J].Med Educ，2001，35（11）：1043-1049.

[7]Kramer A，Muijtjens A，Jansen K，et al.Comparison of a rational and an empirical standard setting procedure for an OSCE Objective structured clinical examinations[J].Med Educ，2003，37（2）：132-139.

[8]Hejri SM，Jalili M，Muijtjens AM，et al.Assessing the reliability of the borderline regression method as a standard setting procedure for objective structured clinical examination[J].JRes Med Sci，2013，18（10）：887-891.

[9]Wood TJ，Humphrey-Murto SM，Norman GR.Standard setting in a small scale OSCE：a comparison of the Modified Borderline-Group Method and the Borderline Regression Method[J].Adv Health Sci Educ Theory Pract，2006，11（2）：115-122.

（*通訊作者：劉冰熔）

G526.5

B

1671-1246（2016）20-0111-03

黑龍江省高等醫(yī)學教育“十二五”高等教育科研課題“5E循環(huán)模型聯(lián)合PBL學習方法在留學生本科教學中的應用研究”（14G058）