基于CIPP模型和層次分析法的臨床線上教學(xué)質(zhì)量評(píng)價(jià)體系的構(gòu)建

張 衡,李克放,王紅玉,胡玥玥,劉媛媛,劉 揚(yáng),陳 輝,陳衛(wèi)東

受新型冠狀病毒感染(corona virus disease 2019,COVID-19)疫情的影響,教育部要求各高校開展線上教學(xué)。隨著線上教學(xué)逐步開展和趨于正軌,線上教學(xué)的關(guān)注點(diǎn)從最初的恢復(fù)教學(xué)活動(dòng)和秩序逐漸轉(zhuǎn)移到提高教學(xué)水平質(zhì)量[1]。然而,目前的線上教學(xué)實(shí)踐存在一些弊端:教師激勵(lì)和監(jiān)管機(jī)制不足、課程質(zhì)量良莠不齊、學(xué)生“逃課”現(xiàn)象時(shí)有發(fā)生、師生之間交流減少等。臨床醫(yī)學(xué)專業(yè)的教師多為在疫情防控和臨床診療中肩負(fù)一線工作的醫(yī)生,同時(shí)面臨繁重的科研任務(wù),投入到臨床教學(xué)工作的時(shí)間和精力相對(duì)較少,且臨床教學(xué)強(qiáng)調(diào)理論與實(shí)踐結(jié)合,臨床醫(yī)學(xué)線上教學(xué)質(zhì)量難以保證。因此,建立一個(gè)科學(xué)、完整的臨床線上教學(xué)質(zhì)量評(píng)價(jià)體系,客觀評(píng)價(jià)教師教學(xué)活動(dòng),監(jiān)督學(xué)生學(xué)習(xí)過(guò)程,提高教學(xué)質(zhì)量是目前亟待解決的問(wèn)題。本研究通過(guò)文獻(xiàn)復(fù)習(xí)、Delphi法,運(yùn)用CIPP模型建立臨床線上教學(xué)質(zhì)量評(píng)價(jià)指標(biāo),運(yùn)用層次分析法計(jì)算各級(jí)指標(biāo)權(quán)重,構(gòu)建臨床線上教學(xué)質(zhì)量評(píng)價(jià)體系。

1 資料與方法

1.1 總體設(shè)計(jì) 首先通過(guò)查閱資料建立臨床線上教學(xué)質(zhì)量評(píng)價(jià)指標(biāo),然后應(yīng)用層次分析法計(jì)算各級(jí)指標(biāo)權(quán)重,構(gòu)建臨床線上教學(xué)質(zhì)量評(píng)價(jià)體系,流程圖見(jiàn)圖1。

1.2 資料來(lái)源 通過(guò)中國(guó)知網(wǎng)、萬(wàn)方、維普、Pubmed、Medline等中英文數(shù)據(jù)庫(kù),搜集國(guó)內(nèi)外關(guān)于CIPP模型用于臨床教學(xué)、線上教學(xué)質(zhì)量評(píng)價(jià)的論文,提取質(zhì)量評(píng)價(jià)指標(biāo)后應(yīng)用Delphi法向?qū)＜易稍儭?/p>

1.3 研究方法

1.3.1 CIPP模型 CIPP模型也稱決策導(dǎo)向型評(píng)價(jià)模型。美國(guó)著名教育評(píng)價(jià)專家Stufflebeam1965年在分析總結(jié)“教育評(píng)價(jià)之父”泰勒提出的行為目標(biāo)模式的基礎(chǔ)上提出了決策導(dǎo)向型評(píng)價(jià)模式[2]。CIPP評(píng)價(jià)模式包括背景、輸入、過(guò)程評(píng)價(jià)和結(jié)果評(píng)價(jià),各種評(píng)價(jià)英文的首字母構(gòu)成CIPP。背景評(píng)價(jià)是評(píng)估研究對(duì)象周圍的環(huán)境、分析存在的問(wèn)題、確定研究的需要和明確研究的目標(biāo)。輸入評(píng)價(jià)是在確定研究目標(biāo)后,評(píng)估實(shí)現(xiàn)目標(biāo)所需要的條件、資源和所設(shè)計(jì)方案的可行性和優(yōu)缺點(diǎn)。過(guò)程評(píng)價(jià)是對(duì)方案實(shí)施過(guò)程中的執(zhí)行效率、不利因素等進(jìn)行及時(shí)地評(píng)估,不斷地反饋和修正。結(jié)果評(píng)價(jià)是對(duì)所達(dá)到的目標(biāo)進(jìn)行衡量與解釋,探討付出與產(chǎn)出的關(guān)系,為擴(kuò)展或終止研究提供依據(jù)[3]

1.3.2 Delphi法 Delphi 法[4]是將所研究的問(wèn)題函詢?cè)擃I(lǐng)域的專家,收集所有專家意見(jiàn)并進(jìn)行總結(jié),再匿名反饋給專家,經(jīng)過(guò)多次重復(fù)直至獲得統(tǒng)一的意見(jiàn)。應(yīng)用Delphi法向?qū)＜易稍?。該方法向每個(gè)成員征求意見(jiàn)或看法,在實(shí)施的時(shí)候,采取背對(duì)背方式,并且利用多次征求的方式進(jìn)行,最后將不同意見(jiàn)綜合在一起。本研究在蚌埠醫(yī)學(xué)院第一附屬醫(yī)院中選取臨床、教學(xué)和管理專家20名,專家工作年限均在10年及以上,具有中級(jí)以上職稱和線上臨床教學(xué)管理經(jīng)驗(yàn),并同意支持配合完成咨詢工作,專家基本信息見(jiàn)表1。將提取質(zhì)量評(píng)價(jià)指標(biāo)進(jìn)行專家咨詢,并對(duì)結(jié)果進(jìn)行整理、歸納和總結(jié),初步建立臨床線上教學(xué)臨床在線教學(xué)質(zhì)量評(píng)價(jià)各級(jí)指標(biāo)。

表1 被函問(wèn)專家一般情況

1.3.3 層次分析法 層次分析法是一種把定性分析和定量分析相結(jié)合的層次權(quán)重決策分析方法。它是把復(fù)雜問(wèn)題中的各個(gè)因素劃分為目標(biāo)、準(zhǔn)則、方案等層次,利用數(shù)學(xué)方法對(duì)每一層次的因素的重要性權(quán)重進(jìn)行計(jì)算和排序,根據(jù)計(jì)算結(jié)果選擇相應(yīng)的決策。建立層次結(jié)構(gòu)模型是指把分析的問(wèn)題分解成三至四層。第一層是目標(biāo)層,即要解決的具體問(wèn)題;第二層是準(zhǔn)則層,即衡量目標(biāo)層問(wèn)題的具體實(shí)現(xiàn)方法;子準(zhǔn)則層是對(duì)準(zhǔn)則層的細(xì)化;最底層的方案層是決策時(shí)從中選出一個(gè)最佳方案。是否需要子準(zhǔn)則層,需要根據(jù)具體的問(wèn)題而定。示意圖見(jiàn)圖2。本研究通過(guò)層次分析法構(gòu)建臨床線上教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)層次結(jié)構(gòu)模型,計(jì)算各級(jí)指標(biāo)權(quán)重,提高臨床線上教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系的科學(xué)性和權(quán)威性。

1.3.4 專家的積極系數(shù)和權(quán)威系數(shù) 積極系數(shù)是指專家參與調(diào)查的積極程度,一般用回收的有效問(wèn)卷數(shù)與發(fā)放問(wèn)卷的總數(shù)比值表示。權(quán)威系數(shù)(Cr)是指專家的代表性,反映調(diào)查結(jié)果的可靠性和權(quán)威性,主要用判斷程度(Ca)和熟悉程度(Cs)計(jì)算。Ca是指專家對(duì)每個(gè)問(wèn)題的判斷依據(jù),通常包括理論依據(jù)、實(shí)踐經(jīng)驗(yàn)、國(guó)內(nèi)外資料、直覺(jué)四類。Cs表示專家對(duì)每個(gè)問(wèn)題的熟悉程度,分為5個(gè)等級(jí)。Ca、Cs在本研究中的賦值詳見(jiàn)表2。Cr≥0.7一般認(rèn)為研究結(jié)果是可靠的。權(quán)威程度計(jì)算公式:Cr=(Cs+Ca)/2。

表2 判斷依據(jù)及熟悉程度分類

1.3.5 變異系數(shù)和協(xié)調(diào)系數(shù)(W) 變異系數(shù)為標(biāo)準(zhǔn)差和平均值之比。一般認(rèn)為,變異系數(shù)<0.2,說(shuō)明可信度較高。本研究中可進(jìn)行多輪咨詢,直至發(fā)現(xiàn)賦值的變異系數(shù)<0.2。Kendall′sW系數(shù),是一個(gè)等級(jí)相關(guān)系數(shù),可用于計(jì)算多個(gè)等級(jí)變量的關(guān)聯(lián)程度。對(duì)各級(jí)指標(biāo)的評(píng)價(jià)由專家自由評(píng)分,分值限定在0～1分,專家給出的分值越高說(shuō)明專家對(duì)該項(xiàng)指標(biāo)的認(rèn)可程度越高,反之越低。一般情況下,0≤W≤1。W值越大,說(shuō)明專家的協(xié)調(diào)度和對(duì)指標(biāo)的認(rèn)可度越高。

同一評(píng)價(jià)者無(wú)相同等級(jí)評(píng)定時(shí),W的計(jì)算公式:

其中,N指被評(píng)價(jià)的對(duì)象數(shù),本研究中指各級(jí)指標(biāo)數(shù);K為評(píng)分者人數(shù)或評(píng)分所依據(jù)的標(biāo)準(zhǔn)數(shù),本研究中指20位專家;S為每個(gè)被評(píng)價(jià)對(duì)象所評(píng)等級(jí)之和與所有這些和的平均數(shù)的離差平方和。

1.3.6 權(quán)重 權(quán)重是指每個(gè)指標(biāo)在總體中所占有的比重或地位等。指標(biāo)中的權(quán)重具有下列特點(diǎn):同一級(jí)指標(biāo)的權(quán)重之和為1;同級(jí)指標(biāo)被分解為各個(gè)子系統(tǒng)時(shí),每個(gè)子系統(tǒng)中各指標(biāo)權(quán)重之和為1。本研究用層次分析法計(jì)算各級(jí)指標(biāo)權(quán)重,同時(shí)我們引入了變異系數(shù)來(lái)判斷計(jì)算出來(lái)的權(quán)重結(jié)果合理性分析。若變異系數(shù)波動(dòng)幅度較小,說(shuō)明計(jì)算出的權(quán)重可靠程度更高。層次分析法計(jì)算方法如下:(1)構(gòu)建判斷矩陣。收集數(shù)據(jù)后構(gòu)建判斷矩陣,判斷矩陣的標(biāo)度Mij可以是1～9及其倒數(shù)。當(dāng)2個(gè)因素相比,1表示2個(gè)因素同樣重要,3表示一個(gè)元素比另一個(gè)元素稍微重要,5表示一個(gè)元素比另一個(gè)元素明顯重要,7表示一個(gè)元素比另一個(gè)元素強(qiáng)烈重要,9表示一個(gè)元素比另一個(gè)元素極端重要,2、4、6、8表示上述兩相鄰判斷的中間值,倒數(shù)表示相應(yīng)2個(gè)因素交換次序比較的重要性。(2)利用matlab法進(jìn)行層次排序和一致性檢驗(yàn)。當(dāng)n階矩陣A=(aij)n×n的最大特征值λ≈n時(shí),可以確定判斷矩陣具有一致性,則它對(duì)應(yīng)的特征向量W=(w1,w2,…,wn)能夠反映各個(gè)因素的比重。其中,CI=(λmax-n)/(n-1),是一致性指標(biāo);RI是平均隨機(jī)一致性指標(biāo),對(duì)應(yīng)1～9階的矩陣,RI∈(0,0,0.58,0.90,1.12,1.24,1.32,1.41,1.45);CR=CI、RI是一致性比率,當(dāng)CR<0.1,可以認(rèn)為判斷矩陣具有滿意的一致性。如果判斷矩陣不具有滿意的一致性,則需要調(diào)整判斷矩陣以使CR<0.1。(3)根據(jù)綜合權(quán)重分析結(jié)果建立指標(biāo)體系。經(jīng)過(guò)反復(fù)調(diào)整判斷矩陣,以及專家的咨詢確認(rèn),最后確定判斷矩陣。利用上面的matlab程序判斷矩陣進(jìn)行層次排序和一致性檢驗(yàn)。從結(jié)果分析,CR均<0.1,表明通過(guò)了一致性檢驗(yàn),該層次結(jié)構(gòu)模型和各個(gè)指標(biāo)的權(quán)重合理,可以作為臨床線上教學(xué)質(zhì)量評(píng)價(jià)的指標(biāo)體系。

2 結(jié)果

2.1 積極系數(shù)和權(quán)威系數(shù) 發(fā)放問(wèn)卷20份全部收回且均有效,積極系數(shù)為100 %;專家提出意見(jiàn)的比率為90%(18/20)。本研究中Cs=0.752,Ca=0.865,Cr=0.809。

2.2 變異系數(shù)和協(xié)調(diào)系數(shù) 本研究構(gòu)建的臨床線上教學(xué)質(zhì)量評(píng)價(jià)指標(biāo)體系共有一級(jí)評(píng)價(jià)指標(biāo)4個(gè),包括19個(gè)二級(jí)評(píng)價(jià)指標(biāo)和45個(gè)三級(jí)指標(biāo)。專家對(duì)三級(jí)指標(biāo)的評(píng)分見(jiàn)表3。本輪咨詢最終一級(jí)指標(biāo)的肯德?tīng)枀f(xié)調(diào)系數(shù)為0.580(χ2=130.01,P<0.01),說(shuō)明專家意見(jiàn)協(xié)調(diào)較好,指標(biāo)評(píng)估的結(jié)果可信度較高。

表3 專家對(duì)三級(jí)指標(biāo)的評(píng)分

2.3 權(quán)重 一級(jí)指標(biāo)的權(quán)重分別是:0.23、0.24、0.27、0.26,說(shuō)明一級(jí)指標(biāo)均有重要作用,二級(jí)指標(biāo)重要性開始出現(xiàn)分化(見(jiàn)表4)。

表4 各級(jí)指標(biāo)權(quán)重及變異系數(shù)

3 討論

3.1 構(gòu)建臨床線上教學(xué)評(píng)價(jià)體系的重要性 2020年,英國(guó)聯(lián)合信息系統(tǒng)委員會(huì)發(fā)布的報(bào)告《評(píng)價(jià)未來(lái):面向2025 的五個(gè)原則和目標(biāo)》指出,隨著數(shù)字教育時(shí)代的到來(lái),未來(lái)的教育評(píng)價(jià)應(yīng)遵循真實(shí)性、無(wú)障礙獲取、適當(dāng)?shù)刈詣?dòng)化、持續(xù)性及安全性五大原則,需要提高教師的數(shù)字化技能,增強(qiáng)教師用新的方法評(píng)估教育的信心并允許教師有更多的時(shí)間去實(shí)踐,從而推動(dòng)數(shù)字教育的發(fā)展[6]。臨床醫(yī)學(xué)教學(xué)質(zhì)量直接影響到醫(yī)學(xué)生的臨床思維、技能水平和醫(yī)療服務(wù)質(zhì)量。在疫情背景下開展的臨床線上教學(xué),這種新的教學(xué)模式的出現(xiàn)使得教學(xué)質(zhì)量評(píng)價(jià)無(wú)章可循,無(wú)法可依。 因此,構(gòu)建臨床線上教學(xué)質(zhì)量評(píng)估體系,有助于對(duì)教學(xué)方法設(shè)計(jì)、教學(xué)活動(dòng)實(shí)施、教學(xué)結(jié)果反饋等方面進(jìn)行全面監(jiān)管和評(píng)估[7]。 CIPP 評(píng)價(jià)模式是在綜合分析行為目標(biāo)模式、目標(biāo)游離評(píng)價(jià)模式等的基礎(chǔ)上,建立起來(lái)的具有全面性、過(guò)程性、發(fā)展性等特點(diǎn)的教育評(píng)價(jià)模式。行為目標(biāo)模式過(guò)于關(guān)注預(yù)期的目標(biāo),目標(biāo)游離評(píng)價(jià)模式過(guò)于注重實(shí)際效果。CIPP模式則融合多種評(píng)價(jià)方式于一體,不僅僅局限于結(jié)果評(píng)價(jià),可以較全面地反映線上教學(xué)的實(shí)際情況。它具有決策導(dǎo)向功能,可以為統(tǒng)計(jì)者提供決策信息[8]。本研究建立了一個(gè)含4個(gè)一級(jí)指標(biāo)、19個(gè)二級(jí)指標(biāo)、45個(gè)三級(jí)指標(biāo)的臨床線上教學(xué)評(píng)價(jià)體系,為線上教學(xué)評(píng)價(jià)提供豐富的指標(biāo)和參考標(biāo)準(zhǔn)等。

3.2 基于Delphi法的評(píng)價(jià)指標(biāo)體系的構(gòu)建 Delphi 法應(yīng)用的具體流程包括成立專門研究小組,制作咨詢表,挑選專家并進(jìn)行多輪函問(wèn),統(tǒng)計(jì)數(shù)據(jù)并進(jìn)行計(jì)算,初步建立評(píng)價(jià)體系。本項(xiàng)目共詢問(wèn)了20位專家,集中了眾多優(yōu)秀教師的觀點(diǎn),增強(qiáng)了研究結(jié)果的可信度和說(shuō)服力。本研究將提取的質(zhì)量評(píng)價(jià)指標(biāo)制作成問(wèn)卷發(fā)放給專家,采用匿名搜集信息法,減少了專家之間的橫向聯(lián)系,得出數(shù)據(jù)相對(duì)真實(shí)可靠。從咨詢表的統(tǒng)計(jì)結(jié)果來(lái)看[8],咨詢表的回收率為100%,說(shuō)明專家參與該項(xiàng)目的積極性較高,并且大部分專家積極地對(duì)指標(biāo)提出了意見(jiàn)和看法。專家的權(quán)威系數(shù)為0.809,提示本研究的專家權(quán)威程度相對(duì)較高,給出的意見(jiàn)比較可靠,有相當(dāng)大的參考價(jià)值。變異系數(shù)多數(shù)<0.2,說(shuō)明專家協(xié)調(diào)程度很高?？系?tīng)枀f(xié)調(diào)系數(shù)為0.580,>0.5,說(shuō)明專家的協(xié)調(diào)度較高。同時(shí),該方法也存在一定局限性,如存在主觀判斷性、忽視小部分人的看法而可能使結(jié)果與實(shí)際不符等。首輪調(diào)查問(wèn)卷中納入的評(píng)價(jià)指標(biāo)內(nèi)容(如教學(xué)實(shí)施評(píng)價(jià))部分來(lái)源于已發(fā)表文獻(xiàn)[9],存在時(shí)間局限性,不知是否會(huì)對(duì)結(jié)果產(chǎn)生影響,所以本點(diǎn)評(píng)表內(nèi)容仍需在后續(xù)實(shí)踐中考核并進(jìn)一步優(yōu)化。

3.3 基于matlab的層次分析法和權(quán)重分析 本研究應(yīng)用 matlab軟件進(jìn)行層次分析法相關(guān)因素的權(quán)重計(jì)算。應(yīng)用matlab 法計(jì)算權(quán)重具有簡(jiǎn)便易用、處理強(qiáng)大、程序可視化、提高研究效率等優(yōu)點(diǎn)[10]。權(quán)重反映專家對(duì)評(píng)價(jià)指標(biāo)的認(rèn)可度和該指標(biāo)存在的合理性。從權(quán)重計(jì)算結(jié)果來(lái)看,本研究中一級(jí)指標(biāo)權(quán)重相差較小,而二級(jí)、三級(jí)指標(biāo)權(quán)重相差較大。若評(píng)價(jià)指標(biāo)權(quán)重越高,說(shuō)明該指標(biāo)在教學(xué)評(píng)價(jià)體系中的重要性越高,用于評(píng)價(jià)線上教學(xué)情況更合理且更具代表性。從整體水平上分析,各指標(biāo)變異系數(shù)大都集中在0.052～0.250,一級(jí)指標(biāo)權(quán)重大小幾乎相當(dāng)(分別是0.23、0.24、0.27、0.26),說(shuō)明專家對(duì)指標(biāo)評(píng)價(jià)的一致性較高且認(rèn)為這四個(gè)指標(biāo)的重要程度大致相同。從局部分析,如在教學(xué)背景評(píng)價(jià)方面,可以發(fā)現(xiàn)線上資源和教學(xué)投入評(píng)價(jià)權(quán)重占比相對(duì)較高,而辦學(xué)定位、政策環(huán)境方面評(píng)價(jià)占比相對(duì)較低。這說(shuō)明線上教學(xué)評(píng)價(jià)應(yīng)更側(cè)重于從專業(yè)課程資源,課外學(xué)習(xí)資源等方面進(jìn)行評(píng)價(jià)。最后,對(duì)于權(quán)重較高的指標(biāo),說(shuō)明越應(yīng)從這些方面進(jìn)行線上教學(xué)評(píng)價(jià)。

綜上,基于CIPP模型和層次分析法的臨床線上教學(xué)質(zhì)量評(píng)價(jià)體系可基本反映臨床線上教學(xué)與管理情況,對(duì)評(píng)價(jià)臨床線上教學(xué)質(zhì)量和探索、完善臨床線上教學(xué)模式有一定的參考價(jià)值。CIPP評(píng)價(jià)模式對(duì)于評(píng)價(jià)臨床線上教學(xué)質(zhì)量具有重要意義,有極大的探索和推廣價(jià)值。它和層次分析法有機(jī)結(jié)合、互相補(bǔ)充,構(gòu)建了一個(gè)較完備的質(zhì)量評(píng)價(jià)體系。本研究也可說(shuō)明線上教學(xué)作為一種新教學(xué)模式,既有廣受歡迎之處又有亟待完善之處,需要進(jìn)一步改進(jìn)和優(yōu)化。本研究尚處于初步階段,存在評(píng)價(jià)指標(biāo)不夠全面、研究樣本量小、代表性不夠強(qiáng)等問(wèn)題,其科學(xué)性及可行性也有待進(jìn)一步驗(yàn)證。在進(jìn)一步研究中,可以采取擴(kuò)大試驗(yàn)范圍、不斷豐富和完善評(píng)價(jià)指標(biāo)、及時(shí)科學(xué)反饋評(píng)價(jià)信息、有效運(yùn)用評(píng)價(jià)反饋結(jié)果等[11]方式,增強(qiáng)評(píng)價(jià)體系的合理性和科學(xué)性。