醫(yī)學(xué)在線教學(xué)資源評(píng)價(jià)指標(biāo)體系的構(gòu)建

王 軍，張 坤，張淑華，鄧明俊，張 華

(北京協(xié)和醫(yī)學(xué)院 1.繼續(xù)教育學(xué)院； 2.教學(xué)服務(wù)中心， 北京 100730)

近年來，中國教育信息化進(jìn)入新發(fā)展新階段，教育現(xiàn)代化改革迎來新機(jī)遇，教育信息化“十三五”規(guī)劃的總體部署和教育部關(guān)于加強(qiáng)高等學(xué)校在線開放課程建設(shè)應(yīng)用與管理的意見等，均強(qiáng)調(diào)教育信息化對(duì)教育改革發(fā)展的引領(lǐng)作用，指出要深化在線教育資源開發(fā)應(yīng)用和供給服務(wù)，由此產(chǎn)生了較大規(guī)模的在線教育資源。

1 在線教學(xué)資源評(píng)價(jià)研究的現(xiàn)狀

1.1 背景

優(yōu)質(zhì)在線教育資源充分地流動(dòng)和利用，對(duì)促進(jìn)教育資源應(yīng)用與共享，全面提高教學(xué)質(zhì)量意義重大。而評(píng)判在線教育資源的優(yōu)質(zhì)或否，則需要建立一定的標(biāo)準(zhǔn)?！督逃畔⒒臧l(fā)展規(guī)劃(2011—2020年)》指出需制定在線教學(xué)資源建設(shè)與共享的基本標(biāo)準(zhǔn)，建立在線教學(xué)資源評(píng)價(jià)與審查制度[1]。國家教育信息化“十三五”發(fā)展規(guī)劃也強(qiáng)調(diào)在線教育資源建設(shè)需建立準(zhǔn)入、評(píng)價(jià)指標(biāo)體系、評(píng)估方法及監(jiān)管機(jī)制。隨著在線教學(xué)資源的規(guī)?；瘮U(kuò)增，迫切需要評(píng)估、評(píng)價(jià)指標(biāo)體系保證教學(xué)資源的質(zhì)量。

1.2 在線教學(xué)資源評(píng)價(jià)中存在的問題及原因

關(guān)于在線教學(xué)資源及評(píng)價(jià)模型的相關(guān)研究，主要為在線教學(xué)資源的設(shè)計(jì)、建設(shè)及應(yīng)用[2]，及提出構(gòu)建課程建設(shè)的相關(guān)評(píng)價(jià)指標(biāo)體系。涉及到評(píng)價(jià)的內(nèi)容，則主要是從服務(wù)質(zhì)量評(píng)價(jià)展開[3]。具體方式通常是首先建設(shè)在線課程，再使用服務(wù)評(píng)價(jià)、學(xué)生學(xué)習(xí)效果評(píng)價(jià)方法等。而針對(duì)醫(yī)學(xué)在線教學(xué)資源的評(píng)價(jià)的相關(guān)研究較少，尚無一套具有綜合評(píng)價(jià)體系的模型，教學(xué)績效評(píng)價(jià)也較局限，導(dǎo)致投入很多資源建設(shè)的醫(yī)學(xué)課程并沒有充分發(fā)揮其應(yīng)有的作用。

分析其主要原因一是教學(xué)資源建設(shè)投入和產(chǎn)出難以量化，尤其是醫(yī)學(xué)教學(xué)資源，其利用效率統(tǒng)計(jì)涉及多方面，如學(xué)生的滿意度、醫(yī)學(xué)學(xué)科資源布局合理程度、師生對(duì)大量的臨床實(shí)踐課需求是否滿足，課程自身的醫(yī)學(xué)或科普價(jià)值和使用后的效果等，必須通過長期追蹤才能獲取較準(zhǔn)確的反饋數(shù)據(jù)；二是現(xiàn)代化教學(xué)資源迭代更新速度快，數(shù)量成指數(shù)級(jí)增長，同時(shí)醫(yī)學(xué)教育需要臨床指導(dǎo)教師多、實(shí)踐教學(xué)占比高、臨床教學(xué)的實(shí)際操作感替代難度大等特點(diǎn)使教學(xué)資源呈現(xiàn)出種類的復(fù)雜性和多樣性，因此相應(yīng)的評(píng)價(jià)體系就需要有不同的標(biāo)準(zhǔn)和要求，用統(tǒng)一的標(biāo)準(zhǔn)來評(píng)價(jià)資源的有效性難度較大。

2 在線教學(xué)資源評(píng)價(jià)研究的框架

2.1 評(píng)價(jià)目標(biāo)

教學(xué)資源評(píng)價(jià)目標(biāo)需指向明確，使最終指向不僅應(yīng)包括對(duì)在線教學(xué)資源在教學(xué)性等方面的質(zhì)量的檢驗(yàn)，同時(shí)也可對(duì)教學(xué)資源進(jìn)行發(fā)展方向的引導(dǎo)?？上葘⒔虒W(xué)資源具體化為視頻資料類、微課類、課件類、手術(shù)示教類、機(jī)能實(shí)驗(yàn)類、試卷類、互動(dòng)答疑類等具體的素材資源；再細(xì)化、量化素材的視頻數(shù)量(個(gè)數(shù))、時(shí)間(分鐘)，學(xué)科系統(tǒng)化的課程的門數(shù)、題庫數(shù)、互動(dòng)次數(shù)；最后是要和授課教師、學(xué)生需求相匹配，設(shè)計(jì)指標(biāo)可包括用戶活躍度、反復(fù)觀看的視頻段、建設(shè)完成率、教師的在線課程復(fù)建率等，并逐項(xiàng)說明目標(biāo)設(shè)立績效。

2.2 評(píng)價(jià)體系基本要素

評(píng)價(jià)指標(biāo)體系的三要素包括評(píng)價(jià)主體、評(píng)價(jià)方法及評(píng)價(jià)指標(biāo)。

評(píng)價(jià)主體：因參與評(píng)價(jià)的不同主體的觀念和立場(chǎng)不同，評(píng)價(jià)標(biāo)準(zhǔn)則不盡相同。需要根據(jù)專業(yè)主體評(píng)價(jià)者的身份設(shè)計(jì)不同的類別。目前根據(jù)實(shí)際使用情況可分為系統(tǒng)管理員、授課(示教)教師、醫(yī)學(xué)專家、在校醫(yī)學(xué)生或者醫(yī)學(xué)繼續(xù)教育等其他使用者等幾類。在評(píng)價(jià)的時(shí)候，根據(jù)不同的需要，可以進(jìn)行單獨(dú)或者多個(gè)個(gè)體的組合。

評(píng)價(jià)方法：通過定量和定性相結(jié)合的方法對(duì)教學(xué)資源的價(jià)值進(jìn)行判斷。定性的評(píng)價(jià)方法存在較強(qiáng)的主觀性，可在主觀評(píng)價(jià)上引入精確的技術(shù)手段，將復(fù)雜問題分解成若干個(gè)小問題，并充分利用人們分析、判斷綜合問題的能力，對(duì)復(fù)雜問題進(jìn)行量化分析，將定性問題進(jìn)行量化處理，主流的方法有層次分析法、回歸分析法、模糊綜合評(píng)判法、數(shù)據(jù)包絡(luò)分析方法EDA等[4]。

評(píng)價(jià)指標(biāo)：評(píng)價(jià)指標(biāo)是評(píng)價(jià)目標(biāo)的可操作化分解，需要根據(jù)評(píng)價(jià)對(duì)象和主體設(shè)計(jì)，重點(diǎn)反映教學(xué)資源質(zhì)量的優(yōu)劣，并有利于未來教學(xué)資源的優(yōu)化發(fā)展。

3 醫(yī)學(xué)在線教學(xué)資源評(píng)價(jià)指標(biāo)體系

3.1 評(píng)價(jià)指標(biāo)體系構(gòu)建原則

針對(duì)不同學(xué)科類型的教學(xué)資源建立分類評(píng)價(jià)指標(biāo)，是科學(xué)地開展教學(xué)資源評(píng)價(jià)的基本原則。醫(yī)學(xué)教育資源可按照教學(xué)學(xué)科專業(yè)性的不同進(jìn)行分類管理，現(xiàn)階段教學(xué)資源類型主要包括臨床教學(xué)素材、教學(xué)課件、在線課程、教學(xué)案例、手術(shù)示教、病案資料、機(jī)能實(shí)驗(yàn)、虛擬仿真和科普知識(shí)等，并根據(jù)教學(xué)技術(shù)的發(fā)展不斷擴(kuò)充和深入。

3.2 分類評(píng)價(jià)指標(biāo)體系構(gòu)建

在線教學(xué)資源評(píng)價(jià)因受多種因素的影響，需融合成綜合評(píng)價(jià)系統(tǒng)，系統(tǒng)主要由評(píng)價(jià)指標(biāo)、評(píng)價(jià)標(biāo)準(zhǔn)和權(quán)重系數(shù)三個(gè)要素有機(jī)組合而成，同時(shí)根據(jù)不同的評(píng)價(jià)目標(biāo)，可建立不同的評(píng)價(jià)指標(biāo)體系。根據(jù)醫(yī)學(xué)教育特點(diǎn)，初步構(gòu)建了醫(yī)學(xué)在線教學(xué)資源評(píng)價(jià)指標(biāo)體系，將指標(biāo)設(shè)置為教學(xué)資源使用量、使用滿意度、相關(guān)活動(dòng)均衡性、產(chǎn)出數(shù)量等4個(gè)大類的一級(jí)指標(biāo)，再設(shè)置多個(gè)二級(jí)指標(biāo)完善數(shù)據(jù)統(tǒng)計(jì)。具體見表1。

表1 醫(yī)學(xué)在線教學(xué)資源評(píng)價(jià)指標(biāo)體系Table 1 Evaluation index system for online medical teaching resources

續(xù)表1

3.3 評(píng)價(jià)方式機(jī)制和策略

3.3.1 定性評(píng)價(jià)與定量評(píng)價(jià)相結(jié)合方式L通過充分應(yīng)用專家、管理者、師生的主觀評(píng)價(jià)和以數(shù)學(xué)模型定量分析相結(jié)合的手段，從多個(gè)角度分析教學(xué)資源的應(yīng)用情況和存在不足。在資源開發(fā)上線應(yīng)用時(shí)成立評(píng)價(jià)專家小組，對(duì)教學(xué)資源進(jìn)行全面的主觀定性評(píng)價(jià)，在資源發(fā)布后通過師生在線訪問教學(xué)資源情況，利用數(shù)學(xué)模型和統(tǒng)計(jì)方法自動(dòng)化定量評(píng)價(jià)相應(yīng)的教學(xué)資源，最終采用一定的軟件工具將專家組的意見和線上行為量化的指標(biāo)綜合，形成一份可視化的評(píng)價(jià)報(bào)表，通過此信息來評(píng)估教學(xué)資源的整體情況。

3.3.2 運(yùn)用PDCA循環(huán)理論優(yōu)化評(píng)價(jià)指標(biāo)的方式:教學(xué)資源的建設(shè)、應(yīng)用和評(píng)價(jià)分析需充分考慮資源利用的全過程周期的整體情況，設(shè)計(jì)一個(gè)評(píng)價(jià)管理體系非常重要[5]。PDCA(戴明循環(huán))是按Plan(計(jì)劃)、Do(執(zhí)行)、Check(檢查)、Act(糾正)的順序進(jìn)行質(zhì)量管理，建立動(dòng)態(tài)的評(píng)建結(jié)合的機(jī)制，可以使在線教學(xué)資源的建設(shè)逐步優(yōu)化到一個(gè)良性循環(huán)的狀態(tài)，實(shí)現(xiàn)“資源評(píng)價(jià)→建設(shè)→反饋→優(yōu)化→建設(shè)”的機(jī)制，不斷完善評(píng)價(jià)指標(biāo)的范圍和質(zhì)量，推動(dòng)教學(xué)資源建設(shè)評(píng)價(jià)的良性循環(huán)。

3.3.3 以學(xué)習(xí)者為中心的評(píng)價(jià)策略:醫(yī)學(xué)教育不僅包括大量的理論課程，還有復(fù)雜的實(shí)驗(yàn)、解剖、手術(shù)示教等課程，學(xué)習(xí)者在使用在線教學(xué)資源學(xué)習(xí)時(shí)，與教學(xué)者互動(dòng)的部分難以完全達(dá)到傳統(tǒng)教學(xué)中的面對(duì)面?zhèn)魇谥R(shí)的效果。因此在建設(shè)在線教學(xué)資源時(shí)，應(yīng)充分以“學(xué)習(xí)者為中心”，充分發(fā)揮學(xué)習(xí)者的學(xué)習(xí)主觀能動(dòng)性，調(diào)動(dòng)學(xué)習(xí)者的積極性和主動(dòng)性[6]，進(jìn)而跨越時(shí)空對(duì)學(xué)習(xí)者進(jìn)行指導(dǎo)，突破教學(xué)平臺(tái)、教學(xué)方式等變化及課程學(xué)科孤立等障礙,對(duì)課程進(jìn)行階段性、持續(xù)性評(píng)價(jià)。讓醫(yī)學(xué)學(xué)習(xí)者在學(xué)習(xí)全過程中積極使用、反饋意見，扭轉(zhuǎn)傳統(tǒng)課堂教學(xué)只針對(duì)認(rèn)識(shí)的評(píng)價(jià)，重視非認(rèn)知的評(píng)價(jià)，進(jìn)而在完成在線教學(xué)資源學(xué)習(xí)過程后進(jìn)行討論，對(duì)指標(biāo)體系進(jìn)行優(yōu)化整理。

3.3.4 強(qiáng)調(diào)教學(xué)專家評(píng)判策略:制定教學(xué)醫(yī)學(xué)專家評(píng)價(jià)體系非常重要。醫(yī)學(xué)教育是精英教育，作為醫(yī)學(xué)學(xué)習(xí)者，其被傳授的教育內(nèi)容跟國家衛(wèi)生安全、人民生命健康息息相關(guān)，教學(xué)資源內(nèi)容必須嚴(yán)謹(jǐn)，慎之又慎。不同領(lǐng)域醫(yī)學(xué)學(xué)科專家的授課經(jīng)驗(yàn)和指導(dǎo)意見充分發(fā)揮了醫(yī)學(xué)教育“傳、幫、帶”的重要作用，能從不同的工作領(lǐng)域及高層次醫(yī)學(xué)思維角度對(duì)相關(guān)研究提出全面的客觀建議[7]，因此在線教學(xué)資源效果評(píng)價(jià)中尤其需重視征詢醫(yī)學(xué)專家的意見及態(tài)度。一般可采用德爾菲法征求專家意見，并根據(jù)其經(jīng)驗(yàn)和主觀判斷對(duì)涉及的在線教學(xué)資源的內(nèi)容、應(yīng)用、理論知識(shí)點(diǎn)的合理性、實(shí)用性等進(jìn)行評(píng)判。

4 討論

醫(yī)學(xué)教育是理論知識(shí)繁復(fù)、實(shí)踐性強(qiáng)、資源投入巨大的教學(xué)過程，利用在線教學(xué)資源可以不受時(shí)空限制地展示實(shí)踐活動(dòng)，不但方便有效地提高理論知識(shí)的教學(xué)效果，而且有助于教學(xué)成本的控制。目前中國優(yōu)質(zhì)醫(yī)學(xué)教育資源稀缺，加強(qiáng)在線教學(xué)資源的建設(shè)與評(píng)價(jià)控制，構(gòu)建一套在線教學(xué)資源使用的評(píng)價(jià)體系，不僅可以擴(kuò)大優(yōu)質(zhì)醫(yī)學(xué)資源的受眾范圍，為課程學(xué)習(xí)者提供高質(zhì)量的學(xué)習(xí)服務(wù)，提高醫(yī)學(xué)教學(xué)的影響力和社會(huì)價(jià)值，還可為其他同類課程進(jìn)行在線開放教學(xué)資源建設(shè)提供借鑒，促進(jìn)教學(xué)資源利用的良性發(fā)展。本文初步建立包含4個(gè)一級(jí)指標(biāo)和48個(gè)二級(jí)指標(biāo)的醫(yī)學(xué)在線教學(xué)課程績效評(píng)價(jià)指標(biāo)體系，在具體評(píng)價(jià)時(shí)，根據(jù)醫(yī)學(xué)課程及應(yīng)用特點(diǎn)設(shè)計(jì)不同的評(píng)價(jià)手段和方法，先梳理清楚在線教學(xué)資源建設(shè)的相關(guān)要素，再選擇建立合理的指標(biāo)體系，并在實(shí)踐中不斷地優(yōu)化完善，明確評(píng)價(jià)主體的范圍，形成一種建設(shè)的長效機(jī)制，指導(dǎo)評(píng)價(jià)教學(xué)活動(dòng)的開展，為提高教學(xué)質(zhì)量提供科學(xué)的建設(shè)參考。