OSCE評(píng)價(jià)與反饋系統(tǒng)的建立與應(yīng)用

鄭競力，羅雋宇，楊光耀，舒 濤，厲 巖

(1.華中科技大學(xué)網(wǎng)絡(luò)與計(jì)算中心;2.華中科技大學(xué)同濟(jì)醫(yī)學(xué)院;3.華中科技大學(xué)教務(wù)處，湖北 武漢 430030)

OSCE評(píng)價(jià)與反饋系統(tǒng)的建立與應(yīng)用

鄭競力1，羅雋宇2，楊光耀2，舒 濤2，厲 巖3*

(1.華中科技大學(xué)網(wǎng)絡(luò)與計(jì)算中心;2.華中科技大學(xué)同濟(jì)醫(yī)學(xué)院;3.華中科技大學(xué)教務(wù)處，湖北 武漢 430030)

現(xiàn)有的客觀結(jié)構(gòu)化臨床考試(Objective Structured Clinical Examination，OSCE)的評(píng)價(jià)方式以終結(jié)性評(píng)價(jià)為主，無法進(jìn)行復(fù)雜的數(shù)據(jù)分析，考核效率不高。因此，可將計(jì)算機(jī)信息技術(shù)應(yīng)用于傳統(tǒng)OSCE中，形成一種新的評(píng)價(jià)與反饋系統(tǒng)，進(jìn)而實(shí)現(xiàn)整個(gè)OSCE流程的無紙化，將終結(jié)性評(píng)價(jià)與形成性評(píng)價(jià)結(jié)合，并建立標(biāo)準(zhǔn)化的臨床技能資源庫，最終促進(jìn)臨床技能的教學(xué)和實(shí)踐。

客觀結(jié)構(gòu)化臨床考試;OSCE;信息技術(shù);無紙化

一、系統(tǒng)簡介

醫(yī)學(xué)模擬技術(shù)極大地提高了醫(yī)學(xué)專業(yè)教育水平和教學(xué)效果，對(duì)教學(xué)方法產(chǎn)生了革命性變革?？茖W(xué)有效的教學(xué)評(píng)估可以為教學(xué)方法的規(guī)劃、實(shí)施和決策提供重要依據(jù)?？陀^結(jié)構(gòu)化臨床考核(Objective Structured Clinical Examination，OSCE)自1975年由Harden與Gleson首次采用以來［1］，已有超過50個(gè)國家開始利用OSCE測量醫(yī)學(xué)生的臨床能力。OSCE提供了一種標(biāo)準(zhǔn)化的方法，從認(rèn)知、精神運(yùn)動(dòng)和情感三個(gè)方面對(duì)醫(yī)學(xué)生進(jìn)行評(píng)估［2］。通過這種方法，可以客觀地評(píng)估學(xué)生的實(shí)際臨床能力與不足，并可以及時(shí)給予詳細(xì)反饋，以便指導(dǎo)學(xué)生在今后的臨床實(shí)踐中有針對(duì)性地加以改進(jìn)。

OSCE通過采用多站式考核的方式，讓醫(yī)學(xué)生應(yīng)用標(biāo)準(zhǔn)化病人(Simulate Patients，SP)、醫(yī)學(xué)模擬人、計(jì)算機(jī)等進(jìn)行實(shí)際操作，以考核其采集臨床資料、臨床實(shí)際操作、臨床分析和臨床思維等方面的能力［3］。本案例中通過將計(jì)算機(jī)信息技術(shù)與傳統(tǒng)考核相結(jié)合的方式，建立了信息化的OSCE評(píng)價(jià)與反饋系統(tǒng)，構(gòu)建了一個(gè)醫(yī)學(xué)生網(wǎng)上學(xué)習(xí)與臨床技能中心實(shí)際操作相結(jié)合的互動(dòng)平臺(tái):(1)方便學(xué)校教學(xué)與學(xué)生自主學(xué)習(xí)和評(píng)價(jià);(2)實(shí)現(xiàn)了OSCE的無紙化考試，極大提高了工作效率;(3)將終結(jié)性評(píng)價(jià)與形成性評(píng)價(jià)完美結(jié)合起來，起到以評(píng)估促進(jìn)學(xué)習(xí)的作用;(4)利用機(jī)器學(xué)習(xí)技術(shù)構(gòu)建新型教學(xué)系統(tǒng)，根據(jù)系統(tǒng)記錄的歷史資料，針對(duì)不同學(xué)生進(jìn)行個(gè)性化學(xué)習(xí)評(píng)價(jià)與反饋;(5)利用強(qiáng)大的數(shù)據(jù)獲取與分析能力，排除考試過程中的影響因素，得出更為準(zhǔn)確客觀的成績評(píng)價(jià)與反饋;(6)利用大數(shù)據(jù)分析，輔助完善OSCE考核項(xiàng)目的設(shè)定、教師及SP的規(guī)范化培訓(xùn)，建立龐大的標(biāo)準(zhǔn)化醫(yī)學(xué)生技能項(xiàng)目資源庫。

二、改革背景

(一)醫(yī)學(xué)教育改革需要。

OSCE最初僅被作為傳統(tǒng)筆試的補(bǔ)充，但隨著對(duì)其認(rèn)識(shí)的深入以及不斷改革完善，被廣泛地應(yīng)用于臨床能力考試。國際醫(yī)學(xué)教育學(xué)會(huì)(IIME)于2002年4月公開發(fā)布了一個(gè)“全球醫(yī)學(xué)教育最基本要求”(Global Minimum Essential Requirements in Medical Education，GMER)的綱領(lǐng)性文件，IIME將“最基本要求”歸納為7個(gè)領(lǐng)域和具體的60條標(biāo)準(zhǔn)，對(duì)任何國家培養(yǎng)的醫(yī)生在醫(yī)學(xué)知識(shí)、技能、職業(yè)態(tài)度、行為和價(jià)值觀等方面提出了最基本要求［4］。而傳統(tǒng)的對(duì)醫(yī)學(xué)生的考核方式重理論、輕實(shí)踐，重結(jié)果、輕過程，更無法達(dá)到考核臨床思維檢驗(yàn)臨床能力評(píng)價(jià)綜合素質(zhì)的要求。OSCE避免了傳統(tǒng)考試的偶然性和變異性，減少了評(píng)價(jià)的主觀性，由于其較為全面的考試內(nèi)容，使評(píng)價(jià)遍及教育目標(biāo)分類學(xué)所包括的認(rèn)知、情感和精神運(yùn)動(dòng)3個(gè)領(lǐng)域，既考查了學(xué)生的基礎(chǔ)知識(shí)、技能，又突出了對(duì)學(xué)生創(chuàng)新思維、批判性思維以及提出問題、分析問題和解決問題能力的考查，充分發(fā)揮了考試的功能。此外，隨著我國醫(yī)師資格實(shí)踐技能考試的科學(xué)化標(biāo)準(zhǔn)化的不斷加強(qiáng)，推行OSCE勢在必行。

(二)傳統(tǒng)OSCE的不足。

OSCE的制定符合臨床實(shí)際，便于操作，能夠客觀、可信、全面、公平地評(píng)價(jià)學(xué)生的臨床操作能力，促進(jìn)了學(xué)生提高臨床實(shí)踐能力的意識(shí)和主動(dòng)性。

但與國內(nèi)外先進(jìn)的臨床實(shí)踐技能考核方式相比，該考核仍有不足:(1)SP的培訓(xùn)和管理有一定難度;(2)考核項(xiàng)目題庫質(zhì)量和數(shù)量有待提高，沒有完全聯(lián)系臨床實(shí)際;(3)評(píng)分標(biāo)準(zhǔn)需要更加科學(xué)公正，考核工作將更準(zhǔn)確公正;(4)考核結(jié)果難以進(jìn)行數(shù)據(jù)分析，無法形成對(duì)學(xué)校教學(xué)和學(xué)生技能提高有幫助的評(píng)價(jià)反饋［5］。因此，借助強(qiáng)大的計(jì)算機(jī)信息技術(shù)，利用人工智能、大數(shù)據(jù)分析、機(jī)器學(xué)習(xí)等新興技術(shù)，建立信息化的OSCE評(píng)價(jià)與反饋系統(tǒng)，來彌補(bǔ)傳統(tǒng)OSCE的不足之處，是十分有必要的。

三、OSCE的內(nèi)容與實(shí)施

(一)OSCE評(píng)價(jià)與反饋系統(tǒng)的建立。

系統(tǒng)采用數(shù)字化評(píng)價(jià)體系，定制流程采用B/S架構(gòu)，利用有線或無線網(wǎng)絡(luò)，通過Windows操作系統(tǒng)下通用的ASP.NET技術(shù)，SQL SERVER 2008數(shù)據(jù)庫保存完整的數(shù)據(jù)信息等方式建立和實(shí)現(xiàn)。主要包括:

1.技能考試項(xiàng)目庫。128個(gè)項(xiàng)目標(biāo)準(zhǔn)及操作流程，搭建合理框架。

2.SP評(píng)價(jià)系統(tǒng)。建立計(jì)算機(jī)上的標(biāo)準(zhǔn)化實(shí)時(shí)評(píng)價(jià)系統(tǒng)。

3.操作項(xiàng)目評(píng)價(jià)系統(tǒng)。建立標(biāo)準(zhǔn)化的計(jì)算機(jī)評(píng)分卷。

4.計(jì)算機(jī)考試系統(tǒng)。建立龐大的理論考試系統(tǒng)，可模擬病史搜集分析等考核。

5.分析反饋系統(tǒng)。綜合分析所搜集的數(shù)據(jù)，形成各種關(guān)于學(xué)生技能及SP評(píng)價(jià)水平的信息反饋。

6.硬件系統(tǒng)。建立標(biāo)準(zhǔn)化的OSCE考場，為信息化評(píng)價(jià)與反饋系統(tǒng)提供基礎(chǔ)。

系統(tǒng)的將傳統(tǒng)OSCE的紙質(zhì)評(píng)分表和人工統(tǒng)計(jì)分析等全部信息化，不僅節(jié)省了人力和物力的資源、提高了評(píng)價(jià)的標(biāo)準(zhǔn)化程度，還能將項(xiàng)目完成操作情況即時(shí)反饋，對(duì)學(xué)生每個(gè)考站考核項(xiàng)目的掌握率、錯(cuò)誤多發(fā)率等及時(shí)進(jìn)行分析，分析每個(gè)評(píng)分表的每個(gè)細(xì)項(xiàng)的掌握程度，所得出的結(jié)論科學(xué)的反饋到教學(xué)和培訓(xùn)過程中。

(二)OSCE的使用及評(píng)價(jià)反饋。

系統(tǒng)建立完成后，在使用過程中完成一系列數(shù)據(jù)的統(tǒng)計(jì)和分析，排除一些主觀因素影響，實(shí)時(shí)給出客觀、公正、標(biāo)準(zhǔn)的反饋結(jié)果。教學(xué)單位和學(xué)生本人可以在第一時(shí)間得到整個(gè)考試的通過率、錯(cuò)誤率以及考生的成績評(píng)價(jià)等信息，了解臨床技能水平。

在后期數(shù)據(jù)分析中，系統(tǒng)能對(duì)數(shù)據(jù)細(xì)分并結(jié)合評(píng)分表數(shù)據(jù)化，針對(duì)每個(gè)學(xué)生給出詳細(xì)的臨床技能掌握?qǐng)?bào)告，每個(gè)項(xiàng)目和每個(gè)操作流程的具體情況都能得到反饋。方便了學(xué)生的自學(xué)自查，促進(jìn)學(xué)生之后的學(xué)習(xí);指導(dǎo)后期的臨床技能教學(xué);同時(shí)，可以結(jié)合評(píng)價(jià)過程的數(shù)據(jù)記錄，對(duì)SP的評(píng)價(jià)標(biāo)準(zhǔn)化程度做出反饋，指導(dǎo)后期標(biāo)準(zhǔn)化病人的培訓(xùn)。

通過長期機(jī)器學(xué)習(xí)并結(jié)合成績分析，對(duì)項(xiàng)目及其評(píng)分表的客觀性等做出反饋，排除人為影響因素，讓考核項(xiàng)目的設(shè)置更加合理，同時(shí)發(fā)現(xiàn)評(píng)估量表設(shè)置的不合理之處，提升評(píng)估量表的效度和信度。

(三)系統(tǒng)使用的效果。

無紙化OSCE考試系統(tǒng)經(jīng)過不斷的建設(shè)和完善，已經(jīng)取得較為成熟的經(jīng)驗(yàn)，不僅能在學(xué)生考核后及時(shí)反饋考核結(jié)果，還能夠及時(shí)反饋學(xué)生優(yōu)勢和不足，達(dá)到了形成性評(píng)價(jià)的目的。

在此基礎(chǔ)上建設(shè)的臨床技能競賽現(xiàn)場評(píng)分系統(tǒng)，首次在2011年第二屆全國高等醫(yī)學(xué)院校大學(xué)生臨床技能競賽華中賽區(qū)的比賽中使用，每一輪競賽結(jié)束后，即時(shí)同步顯示各參賽隊(duì)得分，該系統(tǒng)的使用既活躍了賽站式競賽現(xiàn)場的競賽氣氛，同時(shí)也為競賽的公平性提供了堅(jiān)實(shí)的保障。得到了教育部領(lǐng)導(dǎo)和兄弟院校的充分肯定和高度評(píng)價(jià)，并使用于2012年4月在中南大學(xué)承辦第三屆全國高等醫(yī)學(xué)院校大學(xué)生臨床技能競賽華中賽區(qū)的比賽。

OSCE考試系統(tǒng)在我校的研究生臨床技能考試和住院醫(yī)生規(guī)范化培訓(xùn)的考核中多次使用，同時(shí)應(yīng)用于我校的三屆醫(yī)學(xué)生臨床技能競賽。

隨著OSCE無紙化考試工作的發(fā)展，豐富和完善了我校評(píng)價(jià)體系中的評(píng)價(jià)手段，很好地解決了OSCE考試不能及時(shí)將評(píng)價(jià)信息反饋給被評(píng)價(jià)者的問題，為OSCE考試作為有效的形成性評(píng)價(jià)手段奠定了基礎(chǔ)。

四、創(chuàng)新與特色

(一)OSCE的無紙化。

傳統(tǒng)的OSCE中使用紙質(zhì)評(píng)分表和人工統(tǒng)計(jì)分析數(shù)據(jù)，耗費(fèi)了大量的人力和物力，且評(píng)價(jià)結(jié)果往往不能及時(shí)反饋，影響到整個(gè)評(píng)價(jià)系統(tǒng)的效率。本系統(tǒng)通過計(jì)算機(jī)信息化技術(shù)，將項(xiàng)目評(píng)分量表數(shù)據(jù)化，評(píng)價(jià)人直接通過計(jì)算機(jī)對(duì)學(xué)生進(jìn)行評(píng)價(jià)，實(shí)時(shí)記錄所有信息，并通過計(jì)算機(jī)系統(tǒng)直接給出數(shù)據(jù)統(tǒng)計(jì)結(jié)果，大大節(jié)省了人力和物力，極大提高了OSCE的效率。同時(shí)實(shí)時(shí)記錄的各種信息，為之后的各種分析提供了各種可能。

(二)強(qiáng)大的個(gè)性化評(píng)價(jià)與反饋。

無紙化的應(yīng)用使得評(píng)價(jià)過程中各種數(shù)據(jù)都可以被記錄下來，為之后的評(píng)價(jià)反饋打下了堅(jiān)實(shí)基礎(chǔ)。針對(duì)教學(xué)單位可以給出考生總體通過率、每個(gè)項(xiàng)目通過率等信息，將結(jié)論性評(píng)價(jià)和形成性評(píng)價(jià)完美結(jié)合，應(yīng)用于之后的教學(xué)實(shí)踐。針對(duì)學(xué)生個(gè)人可給出個(gè)性化的評(píng)價(jià)反饋，讓學(xué)生了解自己對(duì)每個(gè)項(xiàng)目每項(xiàng)操作的掌握程度，促進(jìn)自學(xué)自查，指導(dǎo)日后的臨床實(shí)踐。針對(duì)SP的培訓(xùn)，通過對(duì)評(píng)價(jià)環(huán)節(jié)的數(shù)據(jù)分析，可以得出SP的不足之處，形成評(píng)價(jià)反饋，支持日后的SP培訓(xùn)工作。

(三)建立起標(biāo)準(zhǔn)化的臨床技能資源庫。

在獲取一定量的數(shù)據(jù)后進(jìn)行大數(shù)據(jù)分析，對(duì)每個(gè)考核項(xiàng)目每一個(gè)評(píng)價(jià)量表進(jìn)行統(tǒng)計(jì)分析，結(jié)合臨床實(shí)際，對(duì)評(píng)價(jià)量表進(jìn)行評(píng)估，改進(jìn)量表的設(shè)計(jì)，根據(jù)考試目的，嚴(yán)格劃定通過標(biāo)準(zhǔn)并縝密權(quán)衡考試成績的影響因素，在準(zhǔn)確把握考試信度與效度的同時(shí)帶動(dòng)學(xué)生學(xué)習(xí)［1］。采用SP使得每位學(xué)生面對(duì)相同問題，病人的病史、癥狀和體征均經(jīng)過標(biāo)準(zhǔn)化，使評(píng)價(jià)更為公平;龐大的項(xiàng)目資源庫足夠支撐設(shè)立多個(gè)考站，測試考生的多種臨床能力，避免傳統(tǒng)考試的偶然性和變異性，使臨床能力的評(píng)價(jià)更加準(zhǔn)確、客觀和標(biāo)準(zhǔn)。以此來完善建立標(biāo)準(zhǔn)化的臨床技能資源庫，使得OSCE真正公平、客觀、有效。

［1］Harden，R M，Gleeson，F(xiàn) A.Assessment of clinical competence using an objective structured clinical examination(OSCE)［J］.Medical Education，1979，13(1):41.

［2］Jacobs J C G，Denessen E，Postma C T.The structure of medical competence and results of an OSCE［J］.Netherlands Journal of Medicine，2004(62):397-403. ［3］楊玉萍，韋 嘉，王曉云，等.客觀結(jié)構(gòu)化考試在醫(yī)學(xué)生綜合臨床技能考試中的應(yīng)用［J］.中國高等醫(yī)學(xué)教育，2008(6):104-105.

［4］Core Committee;Institute for International Medical Education.Global minimum essential requirements in medical education［J］.Medical Teacher，2002，24(2):130-135.

［5］趙永亮，顏 偉，孫梯業(yè)，等.客觀結(jié)構(gòu)化臨床考試在醫(yī)學(xué)生臨床技能考試中的實(shí)踐研究［J］.中華醫(yī)學(xué)教育雜志，2008，28(5): 117-119.

Establishing and using a novel computer-based OSCE evaluation and feedback system

Zheng Jingli1，Luo Junyu2，Li Yan3，et al
(1.Network and Computation Center，Huazhong University of Science and Technology，Wuhan 430030，Hubei，China; 2.Tongji Medical College，Huazhong University of Science and Technology，Wuhan 430030，Hubei，China; 3.Academic Affairs office Huazhong University of Science and Technology，Wuhan 430030，Hubei，China)

The conventional Objective Structured Clinical Examination(OSCE)is often criticized for being resources consuming in its implementation，for its low assessment efficacy，for its emphasis on the outcome over the process of learning，and for its objectivity deficiency induced by the less standardized rating scale and item bank unfavorable for further analysis of the OSCE results.This paper introduces a computerized examination and feedback system that aims to be both summative and formative.The combination of modern information and communication technology and the conventional OSCE transforms the paper-based exam into a computerized one.In addition，this system comes with a standardized database for clinical skill assessment.This system will hopefully improve the efficacy of the OSCE，making its results fairer，more objective，and more efficient，which eventually benefits the teaching and practice of clinical skills.

Objective structured clinical examination;OSCE;Information technology;Paperless

G424.74

A

1002-1701(2015)09-0051-03

2014-12

鄭競力，男，碩士，工程師，研究方向:醫(yī)學(xué)信息化。

*通訊作者

10.3969/j.issn.1002-1701.2015.09.027