醫(yī)師資格考試醫(yī)學綜合筆試“一卷多式”等效性研究

張穎 盧燕 馮攀 何佳

醫(yī)師資格考試醫(yī)學綜合筆試“一卷多式”等效性研究

張穎 盧燕 馮攀 何佳

從2009年開始醫(yī)師資格考試醫(yī)學綜合筆試臨床執(zhí)業(yè)醫(yī)師類別實行“一卷多式”，即試卷的內容相同，但試題順序和選項順序不同。為了檢驗不同卷式之間的等效性，本文通過PASS軟件確定了所需要的最適樣本量，借鑒了平行試卷的概念，使用了平行試卷的分析方法，重點從題目功能和結果分數兩個角度進行了討論。數據顯示，2010年醫(yī)師資格考試醫(yī)學綜合筆試（臨床執(zhí)業(yè)醫(yī)師）各單元內不同卷式之間的平均數差異基本低于1分，分數分布形態(tài)基本相似；同一題目不同卷式難度和區(qū)分度的差異很小，基本都不超過0.02。結果表明2010年醫(yī)師資格考試醫(yī)學綜合筆試（臨床執(zhí)業(yè)醫(yī)師）不同卷式之間基本等效。

一卷多式；平行試卷；等效性

醫(yī)師資格考試于1999年正式實施，作為行業(yè)準入考試，其設立的目的就是評價申請醫(yī)師資格者是否具備從事醫(yī)師工作所必需的職業(yè)精神、專業(yè)知識與技能。考試分為兩級四類，即執(zhí)業(yè)醫(yī)師和執(zhí)業(yè)助理醫(yī)師兩級；每級分為臨床、中醫(yī)、口腔、公共衛(wèi)生四類。考試的內容主要包括實踐技能考試和醫(yī)學綜合筆試兩部分。[1]

醫(yī)師資格考試自舉辦以來，考生逐年增加，考風考紀問題日益突出，作弊形式多樣，作弊手段日益先進，作弊防范難度增加。為了防范考試中的作弊現象，維護醫(yī)師資格考試的公平與公正性，衛(wèi)生部相關考試管理部門逐年加強了考試組織的管理，為考場安裝監(jiān)控設備，為監(jiān)考人員配備高科技防作弊儀器，與其他公共治安管理部門合作，在考試期間協同“作戰(zhàn)”治理作弊現象。2009年，國家醫(yī)師資格考試中心開始使用“一卷多式”的考試模式來防治愈演愈烈的考試作弊情況。根據考后對“錯同率”的研究證明，“一卷多式”考試模式對加強考試管理，抑制考試作弊起到了至關重要的作用。[2]

但是不同卷式是否具有等效性，影響考試的公平性？查詢國內文獻，對于一卷多式的研究很少，國外文獻的研究基本也是集中在單個試題相關指標的變化上。因此，本研究嘗試將“一卷多式”的概念放在更廣義的測驗等效這個范疇中，將其與平行試卷這個概念進行類比，通過使用分析平行試卷的方法來驗證“一卷多式”的等效性。

平行試卷是指在試題題量、題型、知識內容結構、考試結果的一致性與分數的可比性都完全一致的兩套乃至多套試卷。而一卷的多個卷式因基本上為一套試題順序和選項的不同組合，在前面幾個因素上都具有一致性的前提下，最后兩個因素便成為了探討卷式等效性的關鍵因素。本研究即嘗試以對考試結果一致性與分數可比性為基礎，通過對不同卷式考生分數的分布、差異性檢驗，以及試題參數差異的計算分析，來驗證一卷多式的等效性。

1 研究對象與方法

1.1 研究對象

本研究使用了2010年參加醫(yī)師資格考試醫(yī)學綜合筆試（臨床執(zhí)業(yè)醫(yī)師）考生的數據，由于考生數量較多，在進行分析時考慮了差異性檢驗的統計效力以及分層隨機抽樣方法的特點對樣本量作了估計，并根據得出的樣本數對總體隨機取樣。研究中所使用的具體樣本量及計算方法將在研究結果部分詳細闡述。

1.2 研究方法

本研究首先討論的是對總體抽樣的樣本量估算問題。一般抽樣樣本量是根據具體抽樣方法計算得出的。由于本研究是以單元為基礎，各卷式分別抽取一定比例考生，合成樣本總體，屬于典型的分層抽樣，因此應該采用分層抽樣對樣本量的計算方法。但由于本研究將對抽取出的樣本進行方差分析，區(qū)間估計等統計檢驗，所以為了提高統計檢驗的效力，本研究還根據這些分析方法的特點使用PASS軟件分別計算了達到一定效力標準（α=0.05；β=0.1）所需要的最適樣本量。

在驗證不同卷式之間的等效性時，本研究借鑒了平行試卷的概念，即對副本試卷之間是否具有平行性的檢驗方法來進行分析。如前所述，復本試卷的平行性可界定為相同專業(yè)下同一課程的不同復本試卷在形式、內容、功能和結果分數上的一致性和可比性[3]。同復本試卷平行性有關的因素主要分為四類：試卷結構、題目內容、題目功能和結果分數。[4]由于醫(yī)師資格考試的“一卷多式”采用的是將標準卷的試題重排為幾個不同卷式的方法，因此多個卷式之間的題目本身是相同的，形式和內容上也都必然一致，基本上具有一致性和可比性，所以本研究基本集中在對題目功能和結果分數兩個角度的分析討論上。

對結果分數的分析上，本研究的重點放在了對同一單元內不同卷式之間分數的比較上，一方面對各個卷式的考生分布形態(tài)進行研究，另一方面則采用方差分析的方法檢驗同一單元內不同卷式考生的得分之間是否存在顯著差異。

對題目功能的分析上，本研究則注重在對不同卷式同一題目的參數變化上，分析內容包括難度的變化以及區(qū)分度的變化，目的是用這種方法來檢驗卷式的不同是否會對題目本身的參數產生影響。

2 研究結果

2.1 抽樣樣本量計算結果

表1 不同檢驗方法各單元所需樣本量（α=0.05；β=0.1）

表1所示，為使用PASS軟件估算得出的每單元所需的樣本總量。由于醫(yī)師資格考試“一卷多式”是以單元為基礎，也即每個單元都各自使用了5個卷式，而后面所作的其他各項差異分析基本也是單元內各卷式的比較，所以表中計算的是各個單元5種卷式加和后所需的樣本總量。

表中共使用了三種方法計算樣本量，每種估算標準都滿足α=0.05，統計效力為0.9，也即β=0.1。第一種方法是區(qū)間估計，即使用樣本平均數估計總體平均數時要達到以上統計效力所需最適樣本數；第二種方法為進行方差分析達到以上統計效力所需最適樣本數；第三種方法為分層抽樣所需最低樣本數。

一般的統計抽樣只使用最后一種方法來估算抽樣樣本量，但由于本研究后面將涉及方差分析和區(qū)間估計等統計分析，為了保證這兩種統計分析的統計效力，也分別對它們作了相應的樣本量估算。綜合以上三種估算方法，方差分析所需樣本量最大，因此本研究采用了此方法得出的樣本量來進行抽樣。同時為了方便計算樣本量，各單元統一取整10 000個考生樣本，同一單元不同卷式按照各自的考生數量比例抽取，各單元各卷式實際抽取樣本量見表2。

2.2 樣本方差分析結果

表2為各單元各卷式樣本考生的人數、平均數、標準差、眾數及中數等描述性指標。由表可知，各單元各卷式之間的平均數和標準差相差很小，單元內卷式平均數最高與最低值之間的差異都在1.5分以內。圖1為各單元各卷式分布圖，由圖中可知，單元內各卷式之間的分布形態(tài)基本一致。

表2 各單元各卷式樣本統計描述

圖1 各單元各卷式樣本分布

表3為單元內各卷式之間的方差分析檢驗結果。在進行方差分析前，先使用了SPSS軟件內ANOVA分析模塊的齊次性檢驗對各單元內卷式之間的方差齊次性進行了檢驗，結果表明單元內各卷式方差之間的差異均不顯著，基本認定滿足方差分析的假設條件。繼續(xù)使用SPSS軟件ANOVA模塊進行各單元方差分析，得到結果如表3所示。從表3中可知，各單元各卷式檢驗所得P值都大于0.05水平，也就是說各卷式平均數之間的差異均不顯著，無法推翻原假設，因此可以認為同一單元內各卷式之間的平均數基本相等。

表3 各單元不同卷式方差檢驗結果

2.3 試題難度分析結果

表4為各單元不同卷式試題難度的統計描述結果。為了檢驗試題參數的一致性，本研究分別計算了各個單元下同一試題在不同卷式中的難度參數，并以單元為基礎進行了統計描述分析，結果如表4所示。從表中可以看出，每個單元每個卷式的試題平均難度都在中等難度0.5～0.6之間，難度最大值接近1，難度最小值接近0.1。本研究中所使用的難度為試題的通過人數與總人數的比，也即通過率，所以難度數值越大，題目越容易。

表5為同一題目不同卷式所得難度值的差數分析結果。具體的計算方法為將同一試題不同卷式所得的難度值兩兩相減，由于每道試題分別對應5個卷式，排列組合，也即共有10種兩兩相減的形式，分別計算出這10個差數；因這里的相減沒有涉及方向，所以將10個差數都取絕對值后進行平均，即得到此題的平均差數。最后以單元為基礎計算各單元內部150題的平均難度的各種統計指標，結果如表5所示。從表5可知同一試題不同卷式之間的難度絕對差異平均數基本都在0.02左右，最大值不超過0.2，最小值均為0，全距（指最小值與最大值之間的距離）不超過0.2，因此可以認為同一試題在不同卷式中所得難度參數的差異很小。

表4 各單元試題難度統計描述

表5 各單元同一試題不同卷式難度絕對差異分析

2.4 試題區(qū)分度分析結果

表6為區(qū)分度的統計描述結果。因醫(yī)師資格考試醫(yī)學綜合筆試題目均為選擇題，且為0/1計分，所以區(qū)分度的計算公式采用了點二列相關。如表6所示，各單元試題的區(qū)分度基本在0.2～0.3之間。

表7為同一試題不同卷式區(qū)分度絕對差異的分析結果。所使用的計算方法同難度差異的計算基本相同。從表7中可以看出，同一試題不同卷式之間的差異平均數不到0.03，最大值也只在0.1左右，因此可以認為同一試題在不同卷式中所得難度參數的差異很小。

表6 各單元試題區(qū)分度統計描述

表7 各單元同一試題不同卷式區(qū)分度絕對差異分析

3 問題與討論

資格考試作為一種對人的知識、技能和創(chuàng)力進行考核或評價的活動，其結果直接影響到考標對象能否進入就業(yè)領域和專業(yè)崗位，因此必須保證考標的公平性、科學性和權威性[5]?！耙痪矶嗍健钡目荚嚹Ｊ秸菫榱朔婪犊忌鞅?，保障考試的公正性所采取的措施。由于試題的排列順序、呈現方式等因素不同就有可能導致作答不同卷式的考生成績出現差異。因此對不同卷式之間的等效性進行驗證分析就變得尤為必要。

本研究借鑒了經典測量理論中平行測驗這個概念，嘗試從考生分數與試題參數兩個方面來驗證不同卷式之間是否存在差異。從本研究得到的結果看，各單元5個卷式之間基本是等效的，單元內各卷式之間的平均數差異基本不足1分，分布圖形態(tài)基本相似；同一題目各卷式難度和區(qū)分度的差異很小，基本都不超過0.02。這個結果證明了醫(yī)師資格考試醫(yī)學綜合筆試（臨床執(zhí)業(yè)醫(yī)師）“一卷多式”具有公平性。

但本研究所采用的試題參數還是經典測驗理論下的難度與區(qū)分度，且只是以樣本總體作為計算對象。其實在對試題參數的變化進行分析時可以參考項目功能差異的概念。項目功能差異（DIF）通常是指兩組被試選擇某項目的某一答案的概率除了自身的特質水平外還要受到其他因素的影響，使得同一項目具有不同的特征曲線。[6]這個概念其實和本研究所討論的項目等效性基本相同，只是這里的其他影響因素為卷式不同。因此，下一步可以借鑒項目功能差異的分析方法，對試題參數的等效性進行更深入的研究。

[1]盧燕，張穎.使用聚類分析驗證Angoff專家判斷法有效性的研究[J].中國考試，2010（5）.

[2]凌玉.醫(yī)師資格考試考場管理和作弊防范措施效果評價[J].華夏醫(yī)學，2010，6（23）：310-312.

[3]王橋影，趙海燕.高等教育自學考試復本試卷的設計及其平行性控制[J].中國考試，2011（2）.

[4]漆書青，戴海崎，丁樹良.現代教育與心理測量學原理[M].南昌：南昌江西教育出版社.1998.

[5]劉孟州.日本資格考試制度的現狀及對我們的啟示[J].日本研究，1998（2）：52.

[6]Holland P W，Wainer H.Differential item functioning[M].Hills?dale，NJ:Erlaum，1993.

Equivalence Study of National Medical Licensing Examination Comprehensive Written Test

ZHANG Ying,LU Yan,FENG Pan and HE Jia

Since 2009,National Medical Licensing Examination Comprehensive Written Test（NMLE CW Test）has been given in the form of“same content with multiple sequences”.The same test content is presented to examinees with multiple types of item and option sequences.This paper studies the equivalence of papers with different sequences.The best sample size is calculated under the help of PASS software.Parallel paper is defined and analyzed.Discussion is made both from item function and final score.The data shows that the difference of average score between different papers applied in 2010 NMLE CW Test is less than 1.The distribution of scores is basically the same.Difficulty and differentiality varies little across papers（basically ＜0.02）.The result shows that different papers applied in 2011 NMLE CW Test are equivalent.

Same Content with Multiple Sequences；Parallel Paper；Equivalence

G405

A

1005-8427(2012)02-0044-6