臨床類別醫(yī)師資格實踐技能考試的內(nèi)容效度研究

李國建 朱智威 何 懼

臨床類別醫(yī)師資格實踐技能考試的內(nèi)容效度研究

李國建 朱智威 何 懼

醫(yī)師資格考試是依據(jù)《中華人民共和國執(zhí)業(yè)醫(yī)師法》舉行的衛(wèi)生行業(yè)準(zhǔn)入考試，對保證醫(yī)師準(zhǔn)入質(zhì)量具有重要作用。本文采用專家判斷法評價某年度臨床類別醫(yī)師資格實踐技能考試第一站病例分析試題內(nèi)容與臨床實踐的相關(guān)性、在臨床實踐中的運用頻率以及與本站考試目標(biāo)的契合程度，為臨床類別醫(yī)師資格實踐技能考試的內(nèi)容效度提供證據(jù)。

醫(yī)師資格考試；實踐技能考試；內(nèi)容效度

1 背景

醫(yī)師資格考試依據(jù)《中華人民共和國執(zhí)業(yè)醫(yī)師法》舉行，是評價申請醫(yī)師資格者是否具備從事臨床醫(yī)師工作所需的專業(yè)知識與技能的法定國家考試制度，對保證醫(yī)師準(zhǔn)入質(zhì)量、保護人民群眾健康發(fā)揮了獨特而重要的作用。醫(yī)師資格考試分為實踐技能考試和醫(yī)學(xué)綜合筆試，考生只有通過實踐技能考試才具備參加醫(yī)學(xué)綜合筆試的資格。鑒于醫(yī)師資格考試的高風(fēng)險、高利害性，收集該考試內(nèi)容效度方面的證據(jù)一直是考試機構(gòu)非常關(guān)注的工作內(nèi)容。內(nèi)容效度指考試內(nèi)容對于應(yīng)測內(nèi)容的代表性程度。實踐技能考試第一站病例分析考核的主要目的是考查應(yīng)試者綜合運用所學(xué)知識分析和解決臨床問題的能力，特別是對內(nèi)外婦兒各科常見、多發(fā)病的診斷與處理能力，是作為一個合格醫(yī)師所必須具備的基本技能。

本文采用專家判斷法，對某年度臨床類別醫(yī)師資格考試實踐技能考試第一站病例分析部分的測試內(nèi)容進行分析，評價考核內(nèi)容與臨床實踐的相關(guān)性、在臨床實踐中的運用頻率以及與本站考試目標(biāo)的契合程度，并分析這些試題的估計難度和實測難度的相關(guān)性，收集內(nèi)容效度證據(jù)，同時為進一步提高試題質(zhì)量提供數(shù)據(jù)支撐。

2 研究方法

選取某年度醫(yī)師資格考試實踐技能考試病例分析部分的63道試題，試題內(nèi)容涵蓋考試大綱要求的所有專業(yè)，請24位專家分別獨立對每道試題進行審查，并從四個方面進行評估判斷。24位專家均來自臨床教學(xué)醫(yī)院一線，從事臨床工作10年以上，具有豐富的臨床和教學(xué)經(jīng)驗。其中副教授8人，教授16人。涉及專業(yè)包括內(nèi)科（呼吸、消化、心血管、神經(jīng)內(nèi)科、風(fēng)濕、血液、內(nèi)分泌、傳染）、外科（普外科、胸外科、泌尿外科）婦產(chǎn)科和兒科。為確保專家評判的客觀性、降低專家背景對評判造成的偏差，專家成員均選自國家醫(yī)學(xué)考試中心專家數(shù)據(jù)庫，代表了全國的不同區(qū)域和醫(yī)療實踐的不同專業(yè)，20%的專家曾經(jīng)參與過所判斷試題的命制工作，其余80%的專家未參與過所判斷試題的命制和審校工作。

專家判斷的具體內(nèi)容為：①試題考試內(nèi)容與臨床醫(yī)學(xué)五年制本科畢業(yè)后一年考生的臨床實踐的相關(guān)程度，分為完全相關(guān)、基本相關(guān)、不相關(guān)3個評價等級；②試題內(nèi)容在臨床醫(yī)學(xué)五年制本科畢業(yè)后一年考生中的臨床實踐運用頻率，分為高頻次（一周一次或更多）、中頻次（介于高、低頻次之間）和低頻次（一年一次或更少）3個等級；③試題內(nèi)容與本站考核目標(biāo)的契合度，設(shè)置完全契合、基本契合、不契合3個等級；④試題難度。專家以臨床醫(yī)學(xué)五年制本科畢業(yè)后1年考生中為目標(biāo)考試對象進行預(yù)測難度判斷，難度由高至低設(shè)置1～9級。

本文中試題的實測難度（P）指全部應(yīng)試者中答對該題的人數(shù)，用百分比表示，P值越高，難度越低。因為實踐技能試題為主觀型試題，其難度的計算采用平均數(shù)方法，即（式中P表示難度指標(biāo)，X表示所有考生在這道題上的平均得分，K表示這道題的滿分）

統(tǒng)計專家判定結(jié)果，以ACCESS軟件建立數(shù)據(jù)庫，使用SPSS 10.0軟件進行統(tǒng)計分析。

3 結(jié)果

3.1 測試內(nèi)容與臨床實踐的相關(guān)性

24名專家判斷試題考查內(nèi)容與臨床醫(yī)學(xué)本科學(xué)生畢業(yè)后一年臨床工作的相關(guān)性，共回收問卷1 512份，專家判斷結(jié)果見表1。通過專家判斷，認(rèn)為某年度實踐技能考試病例分析試題與我國臨床實踐完全相關(guān)的占81%，基本相關(guān)的占16.8%，不相關(guān)的占2.2%。按照試題的實測難度將64道試題分成高、中、低等難度三組，經(jīng)統(tǒng)計學(xué)檢驗，三組試題的測試內(nèi)容在與臨床實踐相關(guān)程度上各組間存在顯著差異。專家認(rèn)為低難度組的試題與臨床實踐的相關(guān)性更高。

3.2 測試內(nèi)容在臨床實踐中的應(yīng)用頻率

專家判斷試題內(nèi)容在臨床工作中的使用頻率，共回收有效問卷1 512份，判斷結(jié)果見表2。根據(jù)專家判斷，35.7%的測試內(nèi)容在臨床上屬于高頻次使用的技能，55.2%的內(nèi)容屬于中等頻次應(yīng)用，9.1%屬于低頻次應(yīng)用?？傮w來說，大多數(shù)測試內(nèi)容在臨床上的應(yīng)用頻率較高。經(jīng)統(tǒng)計學(xué)檢驗，高、中、低等難度的三組試題的測試內(nèi)容在與臨床應(yīng)用頻率上各組間存在顯著差異，低難度組的測試內(nèi)容在臨床應(yīng)用上更為頻繁。

表1 專家判斷某年度實踐技能考試病例分析試題測試內(nèi)容與臨床工作的相關(guān)程度

3.3測試內(nèi)容與考試目的的契合度

專家根據(jù)臨床教學(xué)經(jīng)驗判斷試題內(nèi)容與考試目的的契合度，共回收有效問卷1 512份，判斷結(jié)果見表3。根據(jù)他們的判斷，77.1%的測試內(nèi)容與考試目的完全契合，22.8%為基本契合，與考試目標(biāo)不契合的僅占0.2%。經(jīng)統(tǒng)計學(xué)檢驗，高、中、低等難度的三組試題的測試內(nèi)容在與考試目標(biāo)的契合程度上各組間存在顯著差異，低難度組試題所考查的內(nèi)容與考試目的的契合程度更好。

3.4 試題預(yù)測難度與實測難度的相關(guān)性

專家估計64道試題的難度系數(shù)平均值為0.770，其實測難度的平均值為0.615。

專家估計難度與實測難度的散點圖如圖1所示，基本呈線性相關(guān)。進一步對兩者相關(guān)性進行分析，計算Pearson相關(guān)結(jié)果為0.675。表明專家對試題難度的估計與實際考試試題難度存在強的正相關(guān)關(guān)系。

圖1 專家估計難度與實測難度的相關(guān)性

4 結(jié)論與思考

醫(yī)師資格考試的結(jié)果決定考生能否具備執(zhí)業(yè)資格，政府、用人機構(gòu)和考生都高度關(guān)注其內(nèi)容效度。Monica M.Cuddy等曾采用專家判斷法評價美國醫(yī)師執(zhí)照考試（USMLE）第二站CK考試內(nèi)容的臨床相關(guān)性以及與考試目標(biāo)的契合程度，作為考試內(nèi)容效度的佐證。臨床實踐本身是一個十分復(fù)雜的過程，實踐技能考試在考查考生臨床基本技能和臨床思辨能力方面具有筆試不可比擬的優(yōu)越性，其內(nèi)容效度主要取決于能否利用各站考試的結(jié)果判斷考生是否具備從事臨床醫(yī)療工作的基本技能。因此，本文選擇具有豐富臨床經(jīng)驗的專家通過判斷每道試題與臨床實踐的相關(guān)性、臨床應(yīng)用頻率和與考試目標(biāo)的契合程度，為醫(yī)師資格實踐技能考試的內(nèi)容效度提供證據(jù)。

表2 專家判斷某年度實踐技能考試病例分析試題測試內(nèi)容在臨床工作的應(yīng)用頻次

表3 專家判斷某年度實踐技能考試病例分析試題測試內(nèi)容與考試目標(biāo)的契合程度

4.1 測試內(nèi)容與臨床實踐的相關(guān)性好

醫(yī)師資格考試以臨床醫(yī)師崗位勝任力為導(dǎo)向制定了準(zhǔn)入基本要求和考試大綱，其實踐技能考試的內(nèi)容緊緊圍繞畢業(yè)后一年考生的臨床工作崗位需求。根據(jù)考試大綱，病例分析部分的試題以臨床常見病的診斷和處理為主。在優(yōu)質(zhì)的試題開發(fā)專家團隊的保障下，經(jīng)過多輪試題審校，制定了每年實踐技能考試考生用題卡和考官評分標(biāo)準(zhǔn)。由表1可見：某年度實踐技能考試病例分析試題與我國臨床實踐完全相關(guān)的占81%，證明專家團隊命制的試題與臨床實踐高度相關(guān)，符合臨床工作崗位需求。

4.2 大多數(shù)測試內(nèi)容在臨床中應(yīng)用頻次較高

醫(yī)師資格考試的性質(zhì)和目的決定了其考試內(nèi)容以“基礎(chǔ)理論、基本知識、基本技能”為主。臨床技能考試的考查重點是考生是否掌握臨床執(zhí)業(yè)所需的基本技能。因此，考試內(nèi)容多以臨床常見和重要的操作技能為主。由表2可見：某年度實踐技能考試病例分析部分所測試的內(nèi)容僅有9.1%屬于低頻次應(yīng)用，大部分試題考察的是在臨床中經(jīng)常使用的技能。

4.3 測試內(nèi)容與第一站的考試目標(biāo)契合度高

所有參與專家判斷的專家均為醫(yī)師資格考試試題開發(fā)專家委員會成員，熟悉醫(yī)師資格考試的準(zhǔn)入標(biāo)準(zhǔn)、考試大綱，參與過醫(yī)師資格考試的命題，或作為考官擔(dān)任過實踐技能考試執(zhí)考工作。同時，他們均是在一線從事臨床工作、有著豐富執(zhí)業(yè)經(jīng)驗的專家。根據(jù)他們的判斷，77.1%的測試內(nèi)容與考試目的完全契合，22.8%為基本契合，表明試題質(zhì)量較高，基本達(dá)到了實踐技能考試第一站的測試目標(biāo)。

4.4 專家對試題難度的把握較好

實測難度高的試題與低難度組試題相比，無論在與臨床實踐的相關(guān)性、應(yīng)用頻次，還是與考試目標(biāo)的契合度方面均略差，因此，提示命題中應(yīng)當(dāng)適當(dāng)控制高難度試題的比例。

專家估計難度與考生實測難度的相關(guān)性分析，具有臨床及教學(xué)經(jīng)驗的專家對臨床醫(yī)師資格考試實踐技能考試第一站病例分析部分試題難度的估計與五年制醫(yī)學(xué)本科畢業(yè)后一年群體的實測難度高度相關(guān)，說明專家對試題難度的把握能力強，反映有豐富臨床和教學(xué)經(jīng)驗的專家團隊，對臨床教學(xué)現(xiàn)狀、考生能力、考試目的、考試內(nèi)容的把握能力值得信賴。這一結(jié)論提示我們，完全可以在考前組織具有權(quán)威性和代表性的專家團隊，對試題難度、與臨床實踐的相關(guān)性、臨床應(yīng)用頻率以及與考試目標(biāo)的契合度進行判斷，刪除難度過大、與臨床實踐相關(guān)性低、與考試目標(biāo)的契合度差的試題，提高命題質(zhì)量。

總體來說，經(jīng)過專家判斷，絕大多數(shù)試題內(nèi)容與臨床實踐高度相關(guān)，在臨床實踐中頻繁應(yīng)用，與考試目的契合度好，說明考試內(nèi)容符合考生臨床工作實際需要，符合崗位對人才的要求，符合考察臨床常見病的診斷和處理的考試內(nèi)容要求，符合考察學(xué)生應(yīng)用所學(xué)知識處理常見臨床問題的考試目的，為臨床類別醫(yī)師資格實踐技能考試的內(nèi)容效度提供了有力的證據(jù)。

[1]燕娓琴，謝小慶，譯.教育與心理測試標(biāo)準(zhǔn)[M].沈陽：沈陽出版社,2003:60-81

[2]衛(wèi)生部醫(yī)師資格考試委員會.醫(yī)師資格考試大綱（2013版）[M].北京：人民衛(wèi)生出版社，2013.

[3]Monica M.Cuddy,GF Dillon,BE Clauser,Assessing the validity of the USMLE step 2 clinical knowledge examination through an evalu-ation of its clinical relevance[J].Academic Medicine.October Sup-plement，2004，79（10）：43-45.

[4]Smith I L,Hambleton R.K.Content validity studies of licensing ex-aminations[J].Educational Measurement:Issues and Practice,1990, 9（4）:7-10.

Research of Content Validity for Clinical Skill Test of National Medical Licensing Examination

LI Guojian，ZHU Zhiwei&HE Ju

National Medical Licensing Examination is a vocational qualification test carried out following Law on Practicing Doctors,which has played important role in regulating management of medical behavior and improving the quality of medical service and people’s health.In order to accumulate content validity evidence for clinical skill test of National Medical Licensing Examination（NMLE）,experts were asked to view the test paper and complete survey questions related to the clinical relevance,frequency used in clinical practice and appropriateness of test content of clinical skill test.

National Medical Licensing Examination；Clinical Skill Test；Content Validity

G405

A

1005-8427（2016）02-0009-5

李國建，女，國家醫(yī)學(xué)考試中心，主治醫(yī)師，主任科員（北京 100097）

朱智威，男，中國醫(yī)科大學(xué)，碩士研究生（沈陽 110122）

何 懼，女，國家醫(yī)學(xué)考試中心，副研究員，處長（北京 100097）