方宏偉
2016年6月,中國(guó)成為《華盛頓協(xié)議》第18個(gè)正式工程聯(lián)盟成員,標(biāo)志著我國(guó)工程教育質(zhì)量認(rèn)證體系實(shí)現(xiàn)了工程教育國(guó)際互認(rèn)和工程師資格國(guó)際互認(rèn),國(guó)內(nèi)越來(lái)越多的工科專業(yè)開(kāi)始按照認(rèn)證標(biāo)準(zhǔn)進(jìn)行建設(shè),并積極參與工程教育認(rèn)證[1].
工程教育專業(yè)認(rèn)證中畢業(yè)要求達(dá)成度評(píng)價(jià)過(guò)程是證明專業(yè)人才培養(yǎng)是否滿足工程教育認(rèn)證的12條通用標(biāo)準(zhǔn)要求的重要手段[2].目前畢業(yè)達(dá)成度評(píng)價(jià)主要有兩種方法[3]:①基于校外問(wèn)卷調(diào)查的間接評(píng)價(jià)法.②基于校內(nèi)課程達(dá)成度的直接評(píng)價(jià)法.直接評(píng)價(jià)法中,畢業(yè)要求達(dá)成度評(píng)價(jià)的基礎(chǔ)數(shù)據(jù)來(lái)自支撐課程的考核,因此課程達(dá)成度是評(píng)價(jià)畢業(yè)要求達(dá)成情況的基礎(chǔ),是畢業(yè)要求達(dá)成度評(píng)價(jià)的主要支撐[4],即課程目標(biāo)達(dá)成情況計(jì)算結(jié)果將被用于進(jìn)行畢業(yè)要求的達(dá)成度計(jì)算.對(duì)所有支撐課程進(jìn)行有效準(zhǔn)確的達(dá)成度評(píng)價(jià)直接影響專業(yè)培養(yǎng)目標(biāo)的實(shí)現(xiàn)情況,也是提升課堂教學(xué)質(zhì)量,促進(jìn)專業(yè)教學(xué)持續(xù)改進(jìn)的必要條件.因此,研究工程認(rèn)證中的課程達(dá)成度評(píng)價(jià)方法具有重要的實(shí)際意義.
直接評(píng)價(jià)法中,課程指標(biāo)法具有一定說(shuō)服力[5].課程指標(biāo)法在計(jì)算達(dá)成度時(shí)需要兩方面的內(nèi)容[6]:①依據(jù)畢業(yè)指標(biāo)點(diǎn)和課程目標(biāo),以及教學(xué)內(nèi)容、教學(xué)環(huán)節(jié)、考核方式的特點(diǎn)建立一個(gè)支撐關(guān)系矩陣,要求每門課程的課程大綱設(shè)置若干個(gè)課程目標(biāo),這些課程目標(biāo)支撐相對(duì)應(yīng)的畢業(yè)要求分指標(biāo)點(diǎn),圍繞課程目標(biāo)進(jìn)行教學(xué)設(shè)計(jì)并開(kāi)展教學(xué)活動(dòng),完成后對(duì)課程目標(biāo)和課程的達(dá)成度進(jìn)行分析評(píng)價(jià);②課程達(dá)成度的計(jì)算需要合理的權(quán)重分配系數(shù),而權(quán)重的確定是一個(gè)難點(diǎn)[7],目前計(jì)算方法主要是層次分析法(Analytic Hierarchy Process,AHP)[8],教學(xué)實(shí)踐中發(fā)現(xiàn)不同課程目標(biāo)或者課程之間存在反饋評(píng)價(jià)關(guān)系[9],比如,前期課程目標(biāo)的教師教學(xué)效果和學(xué)生掌握程度會(huì)直接影響后期課程目標(biāo)的實(shí)現(xiàn),同時(shí)后期課程目標(biāo)的完成情況也反映了前期課程目標(biāo)的實(shí)現(xiàn)程度,而課程也分為基礎(chǔ)課、專業(yè)基礎(chǔ)課、專業(yè)課,三者之間存在明顯的相互依存關(guān)系.AHP不能反應(yīng)評(píng)價(jià)元素間的反饋關(guān)系,而ANP更適用于具有反饋關(guān)系的元素權(quán)重計(jì)算.
以“土力學(xué)”課程為例,在完成畢業(yè)要求指標(biāo)點(diǎn)的分解、確定課程目標(biāo)對(duì)畢業(yè)要求指標(biāo)點(diǎn)支撐后,建立教學(xué)內(nèi)容對(duì)課程目標(biāo),以及畢業(yè)要求指標(biāo)點(diǎn)的支撐關(guān)系矩陣,闡述了基于ANP和工程教育認(rèn)證理論的課程達(dá)成度計(jì)算過(guò)程.
ANP體現(xiàn)了許多復(fù)雜系統(tǒng)內(nèi)部元素的依存關(guān)系和下層元素對(duì)上層元素的反饋影響,各元素的關(guān)系用類似網(wǎng)絡(luò)結(jié)構(gòu)表示,典型ANP網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖1.ANP首先將系統(tǒng)元素劃分為兩大部分,第一部分稱為控制因素層,可以沒(méi)有決策準(zhǔn)則,但至少有一個(gè)目標(biāo);第二部分為網(wǎng)絡(luò)層,由所有受控制層支配的元素組構(gòu)成,內(nèi)部是互相影響的網(wǎng)絡(luò)結(jié)構(gòu),判斷矩陣標(biāo)準(zhǔn)見(jiàn)表1,計(jì)算過(guò)程由超級(jí)決策軟件SD(Super Decision)[10]實(shí)現(xiàn).
圖1 ANP網(wǎng)絡(luò)結(jié)構(gòu)圖
表1 判斷矩陣標(biāo)準(zhǔn)度的意義
首先根據(jù)工程認(rèn)證標(biāo)準(zhǔn)的培養(yǎng)目標(biāo)制定畢業(yè)要求,并詳細(xì)分解指標(biāo)點(diǎn),在此基礎(chǔ)上確立課程體系評(píng)價(jià)矩陣,見(jiàn)表2.
Ci表示評(píng)價(jià)依據(jù)Ai的 占 比;Lij表示評(píng)價(jià)依據(jù)Ai中課程目標(biāo)Bj的占比;Iij表示在評(píng)價(jià)依據(jù)Ai中學(xué)生針對(duì)課程目標(biāo)Bj的平均得分率,平均得分率=學(xué)生平均得分/目標(biāo)分值.
通過(guò)公式(1)[11]計(jì)算課程目標(biāo)達(dá)成度Mj:
式中:R表示考核依據(jù)類別集,包括考試、實(shí)驗(yàn)、作業(yè)等.
由ANP計(jì)算課程目標(biāo)權(quán)重Dj,通過(guò)公式(2)進(jìn)行課程達(dá)成度的評(píng)價(jià):
式中:Dj表示目標(biāo)Bj的權(quán)重.計(jì)算的M與設(shè)置的課程達(dá)成度標(biāo)準(zhǔn)進(jìn)行對(duì)比,如果大于該標(biāo)準(zhǔn),則合格,如小于該標(biāo)準(zhǔn),則不合格,需要進(jìn)行改進(jìn),由此形成循環(huán)教學(xué)評(píng)價(jià),實(shí)現(xiàn)對(duì)畢業(yè)要求指標(biāo)點(diǎn)的不斷調(diào)整,驅(qū)動(dòng)持續(xù)改進(jìn).通常來(lái)講,學(xué)生考核成績(jī)基本符合正態(tài)分布,而在平均數(shù)左右的一個(gè)標(biāo)準(zhǔn)差范圍內(nèi)函數(shù)曲線面積為0.68[1],由于在進(jìn)行成績(jī)等級(jí)評(píng)定時(shí)數(shù)值通常取整,因此,地質(zhì)工程專業(yè)“土力學(xué)”課程設(shè)定達(dá)成度合格標(biāo)準(zhǔn)為0.70.以上計(jì)算過(guò)程采用MATLAB編程實(shí)現(xiàn).
表2 課程評(píng)價(jià)矩陣
工程認(rèn)證的三個(gè)理念[12],即“學(xué)生為中心”“成果產(chǎn)出為導(dǎo)向”“持續(xù)改進(jìn)為目標(biāo)”,其中“以學(xué)生為中心”是指以全體學(xué)生的知識(shí)技能和能力培養(yǎng)為中心,“成果導(dǎo)向”強(qiáng)度注重學(xué)生的學(xué)習(xí)成果,“持續(xù)改進(jìn)”要求專業(yè)定位清晰,具有明確可行的改進(jìn)機(jī)制和效果評(píng)價(jià)能力.以ANP為工具構(gòu)建了課程達(dá)成度技術(shù)流程圖,見(jiàn)圖2.
圖2 基于ANP和工程認(rèn)證三個(gè)理念的課程達(dá)成度計(jì)算流程圖
根據(jù)工程教育認(rèn)證標(biāo)準(zhǔn)和地質(zhì)類專業(yè)補(bǔ)充標(biāo)準(zhǔn),結(jié)合吉林建筑大學(xué)地質(zhì)工程專業(yè)特點(diǎn),根據(jù)對(duì)應(yīng)畢業(yè)要求指標(biāo)點(diǎn)的要求,本課程制定了5個(gè)課程目標(biāo)對(duì)應(yīng)畢業(yè)指標(biāo)點(diǎn)的關(guān)系,見(jiàn)表3,教學(xué)內(nèi)容支撐課程目標(biāo)及考核方式見(jiàn)表4,根據(jù)表3和表4可得“土力學(xué)”課程體系評(píng)價(jià)矩陣(表5).
表5中C1~C3采用課程組討論人為分配權(quán)重方法,C11~C18和C21~C23采用教學(xué)內(nèi)容所占課時(shí)量比重分配權(quán)重方法,比如C11和C21對(duì)應(yīng)教學(xué)內(nèi)容A11和A21課時(shí)量都為2個(gè)學(xué)時(shí),教學(xué)內(nèi)容A1和A2課時(shí)量分別為40個(gè)學(xué)時(shí)和8個(gè)學(xué)時(shí),因此可得C11=2/40=0.05和C21=2/8=0.25,而C31和C32為平時(shí)考核類型,即讀書報(bào)告A31和作業(yè)A32在教學(xué)內(nèi)容A1中占的比例為1∶6(表4),因此C31=1/7=0.14和C32=6/7=0.86.采用公式(1)計(jì)算課程目標(biāo)達(dá)成度Mj時(shí),評(píng)價(jià)依據(jù)占比(權(quán)重)采用一級(jí)指標(biāo)權(quán)重乘以二級(jí)指標(biāo)權(quán)重方法 得 到[13],例如A11的 計(jì)算權(quán)重C1-11=C1×C11=0.6×0.05=0.03.根據(jù)表5數(shù)據(jù),由公式(1)計(jì)算得 到Mj=(0.696 6,0.607 6,0.817 5,0.893 0,0.900 0).
課程目標(biāo)的反饋關(guān)系見(jiàn)表6,其中判斷準(zhǔn)則為要達(dá)成的課程目標(biāo),支撐課程目標(biāo)為關(guān)聯(lián)課程目標(biāo),如為了實(shí)現(xiàn)課程目標(biāo)B1(具備本課程堅(jiān)實(shí)的基礎(chǔ)理論知識(shí)及應(yīng)用能力),需要B2(基于數(shù)學(xué)和力學(xué)知識(shí)掌握基本理論)、B3(應(yīng)用基本理論分析工程問(wèn)題)、B4(具備研究能力)的支撐;由ANP計(jì)算相關(guān)權(quán)重,反饋網(wǎng)絡(luò)圖見(jiàn)圖3,比較矩陣見(jiàn)圖4.如以課程目標(biāo)B1為判斷準(zhǔn)則的支撐目標(biāo)B2、B3、B4比較矩陣見(jiàn)圖4(a).根據(jù)相關(guān)土力學(xué)知識(shí)點(diǎn)和表1的矩陣標(biāo)準(zhǔn)度可知,對(duì)于課程目標(biāo)B1而言,支撐課程目標(biāo)B2(基于數(shù)學(xué)和力學(xué)知識(shí)掌握基本理論)比B3(應(yīng)用基本理論分析工程問(wèn)題)稍微重要(標(biāo)準(zhǔn)度取3),課程目標(biāo)B2(基于數(shù)學(xué)和力學(xué)知識(shí)掌握基本理論)比B4(具備研究能力)明顯重要(標(biāo)準(zhǔn)度取5),根據(jù)前兩項(xiàng)的重要標(biāo)準(zhǔn)度取值可得課程目標(biāo)B3(應(yīng)用基本理論分析工程問(wèn)題)比B4(具備研究能力)的重要度在稍微和明顯之間(標(biāo)準(zhǔn)度取4).
表3 課程目標(biāo)支撐畢業(yè)指標(biāo)點(diǎn)
表4 教學(xué)內(nèi)容支撐課程目標(biāo)及考核方式
圖3 課程目標(biāo)網(wǎng)絡(luò)分析ANP反饋圖
課程目標(biāo)權(quán)重計(jì)算結(jié)果見(jiàn)圖5,可知Dj=[0.43,0.31,0.11,0.1,0.05],根據(jù)公式(2)計(jì)算得到課程達(dá)成度M=0.71,課程目標(biāo)達(dá)成度見(jiàn)圖6.由圖6可知,本課程達(dá)成度M=0.71,略大于達(dá)成合格標(biāo)準(zhǔn)0.7,基本滿足要求,說(shuō)明考核方式和教學(xué)內(nèi)容的課時(shí)量與權(quán)重分配,以及課程目標(biāo)ANP權(quán)重計(jì)算結(jié)果合理.課程目標(biāo)B1達(dá)成度M1約等于0.7,課程目標(biāo)B3、B4、B5達(dá)成度M3、M4、M5都大于0.7,滿足達(dá)成 要求,然而課程目標(biāo)B2達(dá)成度M2小于0.7,不滿足達(dá)成要求,因此需要反饋評(píng)價(jià),可以根據(jù)課程達(dá)成度流程圖2進(jìn)行改進(jìn).
表5 土力學(xué)課程體系評(píng)價(jià)矩陣
圖4 課程目標(biāo)比較矩陣
圖5 ANP計(jì)算課程目標(biāo)權(quán)重
圖6 課程達(dá)成度計(jì)算結(jié)果
首先與學(xué)生開(kāi)展交流,包括對(duì)課程目標(biāo)的授課內(nèi)容、考核方法、平時(shí)課堂教學(xué)方法等的反饋評(píng)價(jià),然后進(jìn)行課程組內(nèi)討論,以表5數(shù)據(jù)為基礎(chǔ),得出課程與目標(biāo)達(dá)成度滿足和不滿足達(dá)成度合格標(biāo)準(zhǔn)的原因及對(duì)策,反饋評(píng)價(jià)如下:
①目前大學(xué)生就業(yè)形勢(shì)嚴(yán)峻,因此學(xué)生們學(xué)習(xí)積極性較高,由圖6可知體現(xiàn)在課程目標(biāo)B4(理論教學(xué)并結(jié)合課內(nèi)實(shí)驗(yàn)培養(yǎng)研究能力)和B5(團(tuán)隊(duì)意識(shí))的達(dá)成度M4及M5大致為0.9,遠(yuǎn)高于達(dá)成標(biāo)準(zhǔn)0.7;由表5可知,課程目標(biāo)B1達(dá)成度M1偏低(約等于0.7),B2達(dá)成度M2不滿足達(dá)成要求(小于0.7)的原因是教學(xué)內(nèi)容中的土中應(yīng)力(A14)、土的壓縮性和地基沉降計(jì)算(A15)對(duì)應(yīng)課程目標(biāo)B1和B2得分率I14-1=0.36和I15-1=0.5,以 及I14-2=0.35和I15-2=0.44偏低,都小于0.6(不及格).
表6 判斷準(zhǔn)則與支撐的課程目標(biāo)
②土中應(yīng)力(A14)的計(jì)算涉及到地下水位和土層分界面情況時(shí),計(jì)算容易出錯(cuò),表明相關(guān)定義講解不夠深入,計(jì)算的訓(xùn)練也不足;土的壓縮性和地基沉降計(jì)算(A15)是“土力學(xué)”課程中計(jì)算內(nèi)容較為繁雜部分,包括分層總和法和規(guī)范法,相關(guān)計(jì)算概念和公式較多.針對(duì)以上不足,課程組重點(diǎn)幫助學(xué)生梳理知識(shí)脈絡(luò),加強(qiáng)與學(xué)生課堂交流互動(dòng),做到“教完即學(xué)會(huì)”.
③教學(xué)方式上,結(jié)合探究式、案例式教學(xué)法講授土中應(yīng)力(A14)相關(guān)定義和例題計(jì)算,采用問(wèn)題教學(xué)法講授土的壓縮性和地基沉降計(jì)算(A15),采用PPT動(dòng)畫演示相關(guān)定義,加強(qiáng)課后習(xí)題訓(xùn)練,由表5可知,與土的物理性質(zhì)實(shí)驗(yàn)(A21)和壓縮實(shí)驗(yàn)(A22)相關(guān)的課程目標(biāo)達(dá)成度B4、B5達(dá)成度M4、M5較高,表明學(xué)生對(duì)實(shí)驗(yàn)課程積極性較高,而土的物理性質(zhì)實(shí)驗(yàn)(A21)包含土中應(yīng)力(A14)知識(shí)點(diǎn),壓縮實(shí)驗(yàn)(A22)包含土的壓縮性和地基沉降計(jì)算(A15)知識(shí)點(diǎn),因此,在實(shí)驗(yàn)課程中應(yīng)加強(qiáng)相關(guān)知識(shí)點(diǎn)的聯(lián)系,而不只是簡(jiǎn)單地會(huì)用土力學(xué)實(shí)驗(yàn)儀器.
根據(jù)以上反饋改進(jìn)意見(jiàn)和措施,第二年考試得分率I14-1=0.67、I14-2=0.7、I15-1=0.67、I15-2=0.68,都大于0.6,改進(jìn)后Mj=(0.801 3,0.776 9,0.775 8,0.917 5,0.930 0),根據(jù)公式(2)計(jì)算得到課程達(dá)成度M=0.830 7,見(jiàn)圖7.
圖7 持續(xù)改進(jìn)后的課程達(dá)成度計(jì)算結(jié)果
基于ANP和“以學(xué)生為中心”“成果產(chǎn)出為導(dǎo)向”和“持續(xù)改進(jìn)為目標(biāo)”三個(gè)工程認(rèn)證核心理念構(gòu)建了一種可持續(xù)改進(jìn)的課程達(dá)成度計(jì)算方法:首先由支撐畢業(yè)指標(biāo)點(diǎn)的課程目標(biāo),以及對(duì)應(yīng)教學(xué)內(nèi)容構(gòu)成課程評(píng)價(jià)關(guān)聯(lián)矩陣,計(jì)算每個(gè)課程目標(biāo)的達(dá)成度,然后由ANP計(jì)算課程目標(biāo)權(quán)重,課程目標(biāo)達(dá)成度與權(quán)重乘積之和為課程達(dá)成度評(píng)價(jià)值;以“土力學(xué)”課程為例進(jìn)行驗(yàn)算,結(jié)果表明課程達(dá)成度大于設(shè)定的合格標(biāo)準(zhǔn).某些課程目標(biāo)沒(méi)有滿足標(biāo)準(zhǔn),以課程評(píng)價(jià)關(guān)聯(lián)矩陣數(shù)據(jù)為基礎(chǔ),以工程認(rèn)證三個(gè)理念為依據(jù),針對(duì)課程目標(biāo)未達(dá)成原因進(jìn)行改進(jìn),第二年課程達(dá)成度滿足設(shè)定的標(biāo)準(zhǔn).
該文的方法完全適用于各個(gè)工科專業(yè)畢業(yè)達(dá)成度的計(jì)算,此時(shí)課程目標(biāo)變?yōu)橹蜗嚓P(guān)專業(yè)的各門課程,由ANP計(jì)算各門課程的反饋評(píng)價(jià)權(quán)重,與各門課程達(dá)成度乘積之和即為專業(yè)畢業(yè)達(dá)成度,持續(xù)改進(jìn)反饋系統(tǒng)(圖2)依然可以作為改進(jìn)評(píng)價(jià)方法,這也是后續(xù)所要進(jìn)行的工作.