全國衛(wèi)生專業(yè)技術(shù)資格考試信度評價及影響因素分析

劉清偉，張學高，胡榮波，汪本奎，陳聲宇，張艷春

(1.國家衛(wèi)生計生委人才交流服務中心，北京 100097；2.國家衛(wèi)生計生委衛(wèi)生統(tǒng)計信息中心，北京 100044；3.國家衛(wèi)生計生委衛(wèi)生發(fā)展研究中心，北京 100191)

2000年，原人事部、衛(wèi)生部下發(fā)《關(guān)于加強衛(wèi)生專業(yè)技術(shù)職務評聘工作的通知》之后，全國衛(wèi)生專業(yè)技術(shù)資格考試工作全面開展。衛(wèi)生計生行業(yè)初、中級職稱以考代評，考試實行全國統(tǒng)一組織，統(tǒng)一考試時間，統(tǒng)一考試大綱，統(tǒng)一考試命題，統(tǒng)一合格標準。衛(wèi)生專業(yè)技術(shù)資格考試在衛(wèi)生計生人才隊伍建設(shè)過程中承擔著人才評價的重要角色，是衛(wèi)生人力資源建設(shè)的重要環(huán)節(jié)。[1]考試的質(zhì)量主要是以考試的信度和效度來體現(xiàn)，其中信度表示考試成績的穩(wěn)定性和可靠性，主要評價測量中的隨機誤差。效度表示考試的有效性，主要評價測量中的系統(tǒng)誤差。而科學、合理地確定測試長度，則是提高考試質(zhì)量、考試的信度和效度的重要途徑之一。如果題量過少，則試題取樣的總體代表性就差，不能全面地測試被試的目標特質(zhì)；但題量過多，造成了題庫試題不必要的曝光，同時，考生在限定時間里的負擔過重，可能引起疲勞，這兩種情況都會降低考試的信度和效度。信度是效度最重要的基礎(chǔ)之一。因此在效度難以實際測量的情況下，測量信度就成為檢驗考試可靠程度可行并有效的方法。[2-5]因此，本文對全國衛(wèi)生專業(yè)技術(shù)資格考試信度及其影響因素進行分析，為進一步提高考試信度、效度，提高考試科學性提供理論依據(jù)。

1 資料來源與方法

1.1 全國衛(wèi)生專業(yè)技術(shù)資格考試試卷結(jié)構(gòu)

2017年全國衛(wèi)生專業(yè)技術(shù)資格考試每個專業(yè)開考基礎(chǔ)知識、相關(guān)專業(yè)知識、專業(yè)知識、專業(yè)實踐能力4個科目。其中臨床醫(yī)學類等73個專業(yè)均采用人機對話的方式進行，前3個科目為100問選擇題(包含A1、A2、A3、A4及B1型題)，第四科目為A3、A4及案例分析題型，為80問左右選擇題；其他45個專業(yè)采用紙筆作答方式進行考試，4個科目都為100問選擇題(包含A1、A2、A3、A4及B1型題)。紙筆考試所有試卷題型內(nèi)部按照試題難度和知識點排序，人機對話考試作答順序隨機。

1.2 數(shù)據(jù)來源及抽樣方法

分析抽取2017年全國衛(wèi)生專業(yè)技術(shù)資格考試118個專業(yè)中依據(jù)考試方式和專業(yè)級別分層抽樣，選取了6個專業(yè)。人機對話考試：內(nèi)科學(中級)、普通外科學(中級)；紙筆考試：藥學(士)、護理學(中級)、臨床醫(yī)學檢驗技術(shù)(師)、公共衛(wèi)生(中級)。所選專業(yè)包含了醫(yī)、藥、護、技、預防的二級學科。樣本量：由于護理學考生人數(shù)過多，所以隨機抽取10000名考生作為樣本，其他專業(yè)均為全樣本。

1.3 研究方法

1.3.1 衛(wèi)生專業(yè)技術(shù)資格考試信度的計算方法

根據(jù)衛(wèi)生專業(yè)技術(shù)資格考試包含題型豐富的特點，信度的計算選用同質(zhì)性信度值α系數(shù)

其中，α代表k為檢測項目數(shù)量(題量)，σ2xi為每一個檢測項目被試者得分的方差，σ2x為被試者在所有檢測項目總分的方差。

學者 DeVellis(1991)認為信度值：0.60～0.65(最好不要)；0.65～0.70(最小可接受值)；0.70～0.80(相當好)；0.80～0.90(非常好)。

1.3.2 計算并繪制題量-信度曲線

對抽樣專業(yè)四個科目進行信度分析。為了在獲得測試長度與信度關(guān)系的同時，還能夠了解影響試卷信度的其他因素，采取兩種試題抽樣方式分析試卷信度。試卷試題的排序是按照知識點、難度進行排序。第一種，按照試題序號順序，即從前2題逐漸增加至最大題號數(shù)；第二種，不考慮試題序號，隨機抽取試題，即從隨機抽取2題開始，每增加一道試題都隨機抽取，直至到最大題量。對于紙筆考試形式而言，第一種抽樣方法即是考生的實際作答順序；而第二種抽樣方法接近于人機對話考試的作答順序，人機對話考

試為題型內(nèi)部試題順序隨機。

2 研究結(jié)果

2.1 順序抽樣題量-信度計算結(jié)果

所有抽樣專業(yè)在測試長度(題量)10問以內(nèi)時信度值不穩(wěn)定，在10問至50問之間信度值迅速升高，達到60問時信度值均在0.76以上，60問后信度值上升緩慢，基本趨于平穩(wěn)，最大值均在0.83以上，最大值基本為測試長度的最長點，在測試長度內(nèi)未出現(xiàn)信度值下降現(xiàn)象，四個科目的曲線也呈現(xiàn)高度一致性，其中內(nèi)科學和外科學專業(yè)實踐能力的信度值在60問之前相對其他科目上升較慢，而在60問后仍然顯現(xiàn)較明顯的上升趨勢。具體見圖1～6。

2.2 隨機抽樣題量-信度計算結(jié)果

隨機抽樣與順序抽樣在信度值的上升趨勢、最大值及四個科目的一致性等方面均相似，60問時信度值都在0.71以上，各個科目最大值與順序抽樣完全相同，都在0.83以上。但是在測試長度60問以下時，信度值相對不穩(wěn)定，波動較大。內(nèi)科學和外科學專業(yè)實踐能力的信度值也沒有像順序抽樣一樣在60問后仍然顯現(xiàn)較明顯的上升趨勢，而是50問之前上升比順序抽樣明顯。具體見圖7～12。

圖1 護理學(中級)順序抽樣題量-信度曲線

圖2 藥學初級(士)順序抽樣題量-信度曲線

圖3 臨床醫(yī)學檢驗技術(shù)(師)順序抽樣題量-信度曲線

圖4 內(nèi)科學(中級)順序抽樣題量-信度曲線

圖5外科學(中級)順序抽樣題量-信度曲線

圖6公共衛(wèi)生(中級)順序抽樣題量-信度曲線

圖7 護理學(中級)隨機抽樣題量-信度曲線

圖8 藥學初級(士)隨機抽樣題量-信度曲線

圖9 臨床醫(yī)學檢驗技術(shù)初級(師)隨機抽樣題量-信度曲線

圖10 內(nèi)科學(中級)隨機抽樣題量-信度曲線

圖11外科學(中級)隨機抽樣題量-信度曲線

圖12公共衛(wèi)生(中級)隨機抽樣題量-信度曲線

3 討論與結(jié)論

3.1 全國衛(wèi)生專業(yè)技術(shù)資格考試信度評價

所抽取全部樣本試題按照順序和隨機兩種形式抽樣，也可以等同為紙筆考試和人機對話考試兩種形式在達到最大測試長度時，信度水平均已滿足測量學所要求的較高標準(0.8)，并且大多數(shù)專業(yè)在60題左右時信度水平就已達到0.8，在60題以上就呈緩慢上升趨勢。且各個專業(yè)、各個科目間的信度值相對均衡，沒有出現(xiàn)某一個專業(yè)的信度值過高或者過低的現(xiàn)象，也沒有出現(xiàn)某個科目的信度值過高或者過低現(xiàn)象，考試信度較好。全國衛(wèi)生專業(yè)技術(shù)資格考試信度較高也與所有試題都是客觀試題有關(guān)。[6]

3.2 全國衛(wèi)生專業(yè)技術(shù)資格考試信度影響因素分析

主要通過對比分析，即對于題量-信度曲線中出現(xiàn)的順序抽樣信度值曲線相對于隨機抽樣信度值曲線平滑進行分析。

3.2.1 測試長度是考試信度的最重要影響因素

不管是順序抽樣還是隨機抽樣，當試題量達到80問以上時信度系數(shù)都以達到0.8，并且已經(jīng)穩(wěn)定保持高信度值，該現(xiàn)象也進一步驗證了題量是信度最重要的影響因素。隨機作答題量較少時信度值不穩(wěn)定，題量在60問以下時不同考試科目間的信度值大小相對于順序作答會有所變化，但是當題量大于60問時，不同科目間的信度值大小基本與順序作答一致，且總體趨勢仍然是隨著題量的增加信度值增加。此結(jié)果對人機對話考試提出了達標信度最低題量的要求，相對于紙筆考試的60問，人機對話考試要70問以上才保持信度穩(wěn)定。

3.2.2 試題難度的正太分布可以提高考試信度

在題量一定時，如果題目太難，考生得分普遍偏低，整個分數(shù)分布變窄，信度值就低，如果題目太容易考生得分普遍偏高，同樣會使測驗分數(shù)變窄，信度值也會低。[7]所以隨機抽樣時不同難度試題隨機出現(xiàn)，所以就會出現(xiàn)題量較少時信度值忽高忽低不穩(wěn)定的現(xiàn)象。因此試題的難度分布越接近正態(tài)分布，考試的信度也越好；

3.2.3 提高試題區(qū)分度可以提高考試信度

區(qū)分度在試題難度值大或小的兩端時水平較低，在順序抽樣時，初始幾題的區(qū)分度都較低，所以信度值相對穩(wěn)定的保持低水平，而隨機抽樣時信度值出現(xiàn)了波動，同難度對信度的影響類同。因此提高試題的區(qū)分度也是保證試題信度的重要方法。[7]

3.2.4 增加案例分析題題型題量可以提高考試信度

抽樣專業(yè)中只有內(nèi)科學(中級)和外科學(中級)的專業(yè)實踐能力科目中包含了案例分析題，順序作答時是先答A3、A4型題，后答案例分析題，所以這兩個科目的順序抽樣曲線和隨機抽樣曲線的差別表現(xiàn)，提示案例分析題這樣題型相對于其他題型更容易提高測試信度。

3.2.5 試題按知識點排序可以提高順序作答考試的信度水平

同一知識點難度有一定的相近性特點，因此在順序抽樣時，同一知識點試題多會連續(xù)作答，在隨機抽樣時同一知識點會隨機作答，所以試卷知識點分布即知識結(jié)構(gòu)不僅影響到試卷的內(nèi)容效度，試題與知識點相關(guān)的排序也可以成為影響信度的一個因素；知識點按順序排序分布可能提升全國衛(wèi)生專業(yè)技術(shù)資格考試的信度水平，但是知識點排序?qū)τ诩埞P考試提升信度水平有意義，而對于人機對話的隨機作答方式的信度提高沒有貢獻。

參考文獻：

[1] 張 蕾，張學高，張 宏，等.衛(wèi)生專業(yè)技術(shù)資格考試10年發(fā)展與展望[J].中國考試，2010，(11)：44-48.

[2] 李 鳴.對合理確定考試題量的探討[J].韶關(guān)大學學報，1995，16(2)43-47.

[3] 竺培梁.測驗信度大盤點[J].外國中小學教育，2005，(6)18-25.

[4] 熊麗萍.公開考試中表現(xiàn)性評價信度和效度之研究[D].廣州：華南師范大學，2007.

[5] 劉清偉，張學高，汪本奎，等.衛(wèi)生專業(yè)技術(shù)資格考試測試長度科學性實證分析[J].中國考試，2010，(4)50-54.

[6] 田文燕.TEM-4測試信度實證研究——以2006-2011年TEM-4試題為例[J].五邑大學學報，2014，16(4)：80-85.

[7] 戴海琦，張 鋒，陳雪楓.心理與教育測量(第三版)[M].廣州：暨南大學出版社，2011.