李 軍 成 利
(武漢船舶職業(yè)技術(shù)學(xué)院,湖北武漢 430050)
我國是貿(mào)易大國,也是航運大國,航運業(yè)承擔(dān)著我國對外貿(mào)易90%的運輸量和國內(nèi)貿(mào)易50%的運輸量[1]。在推動航運業(yè)可持續(xù)發(fā)展進程中,航運人才是重要力量,航海職業(yè)教育是不可缺少的重要環(huán)節(jié)。當(dāng)前我國有近54萬高級船員服務(wù)于國內(nèi)外船東,在船船員的職業(yè)培訓(xùn)一直是航運界關(guān)注的話題,如何提高培訓(xùn)質(zhì)量,滿足船員個性化學(xué)習(xí)要求,是航海類職業(yè)院校近年來思考的重要課題,MOOC 的發(fā)展為解決此類問題提供了契機,航海職業(yè)院校紛紛開發(fā)建設(shè)MOOC,但大量重復(fù)建設(shè)的MOOC 存在同質(zhì)化、低質(zhì)化現(xiàn)象。為保證MOOC 質(zhì)量,建立合適的MOOC 質(zhì)量評價體系,構(gòu)建科學(xué)合理的評價模型,幫助提高MOOC 質(zhì)量顯得尤為重要。
經(jīng)過文獻(xiàn)檢索,發(fā)現(xiàn)現(xiàn)有MOOC 質(zhì)量評價都是在網(wǎng)絡(luò)課程、精品課程質(zhì)量評價的基礎(chǔ)上發(fā)展起來的,主要有實驗法、觀察法、分析法和指標(biāo)體系評價法等,指標(biāo)體系評價法客觀性好、容易操作,近年來已成為眾多學(xué)者研究的對象。部分學(xué)者在運用指標(biāo)體系評價法時,注重評價指標(biāo)體系的構(gòu)建,陳永平[2]構(gòu)建了傳統(tǒng)教學(xué)、MOOC與SPOC相結(jié)合的教學(xué)質(zhì)量評價指標(biāo)體系;部分學(xué)者不僅注重評價指標(biāo)體系的構(gòu)建,還確立各層指標(biāo)權(quán)重,童小素等[3]借鑒網(wǎng)絡(luò)課程評價標(biāo)準(zhǔn),綜合各方面因素建立MOOC 質(zhì)量評估指標(biāo)體系,并應(yīng)用層次分析法確立指標(biāo)權(quán)重;張巖等[4]構(gòu)建了層次分明、結(jié)構(gòu)清晰的MOOC 質(zhì)量評價體系,并用Matlab 軟件計算各個指標(biāo)權(quán)重;部分學(xué)者不滿足上述研究,引入模糊綜合評價數(shù)學(xué)模型對指標(biāo)體系展開評價,李加軍等[5]學(xué)者構(gòu)建了3 層結(jié)構(gòu)的MOOC 質(zhì)量評價指標(biāo)體系,利用層次分析法確定各層指標(biāo)權(quán)重,應(yīng)用模糊綜合評估模型對MOOC 質(zhì)量進行綜合評估;趙馨蕊等[6]建立了大學(xué)物理MOOC 質(zhì)量評估指標(biāo)體系,并用模糊綜合評價法對3 所大學(xué)的大學(xué)物理MOOC 進行綜合評判;還有部分學(xué)者借鑒了工程領(lǐng)域的綜合評價方法,建立起多種類型的綜合評價模型,姚凱[7]應(yīng)用層次分析法構(gòu)建MOOC質(zhì)量評價指標(biāo)體系,并用Vague集的相似度量法建立了評價模型;岳進等[8]設(shè)計多層次的MOOC適切性評估指標(biāo)體系,以區(qū)間數(shù)理論為基礎(chǔ)采用群決策法建立了MOOC適切性評估模型。
綜上所述,學(xué)者們在運用指標(biāo)體系評價法時,普遍先建立評估指標(biāo)體系,然后用層次分析法計算指標(biāo)權(quán)重,再應(yīng)用各種類型的綜合評價模型進行評價,得出一個量化評價結(jié)果,但是研究的深度仍然不足。當(dāng)對兩個指標(biāo)衡量重要性時,層次分析法并沒有考慮專家在知識、閱歷及經(jīng)驗上的差異,專家賦值過于絕對,忽視了指標(biāo)權(quán)重和指標(biāo)值的不確定性因素,影響評價結(jié)果的科學(xué)性、合理性。
鑒于此,本研究引入模糊數(shù)學(xué)理論改進層次分析法,運用三角模糊層次法TEAHP 確定指標(biāo)權(quán)重,相較于層次分析法不僅充分考慮了專家賦值的模糊性,還省略了判斷矩陣一致性檢驗程序,促使群決策法具有良好的容錯性,如此評價的結(jié)果才更為科學(xué)、合理。
構(gòu)建科學(xué)、合理的評價指標(biāo)體系是開展MOOC 質(zhì)量評價的基礎(chǔ),評估指標(biāo)的遴選和構(gòu)建除了需要考慮教育部頒布的《網(wǎng)絡(luò)課程評價規(guī)范(CELTS-22)》,還需借鑒國內(nèi)外學(xué)者對MOOC質(zhì)量研究的優(yōu)秀成果。陳永平等[2]學(xué)者將“課程設(shè)計”、“課程運用”、“課程教學(xué)”“課程學(xué)習(xí)”和“課程管理”作為一級指標(biāo),下設(shè)20 個二級指標(biāo),一級指標(biāo)的設(shè)置僅考慮了“教”的維度;童小素等[3]將“課程內(nèi)容”、“教學(xué)設(shè)計”“學(xué)習(xí)支持”列為一級指標(biāo),下設(shè)26個二級指標(biāo),二級指標(biāo)過多,評價時容易丟失指標(biāo)信息;李加軍等[5]將“教學(xué)評價”、“教學(xué)過程”、“導(dǎo)航設(shè)計”“課程內(nèi)容”作為一級指標(biāo),下設(shè)16 個二級指標(biāo),從“教”與“平臺”兩個維度設(shè)置一級指標(biāo),缺少“學(xué)”的維度,指標(biāo)設(shè)置不甚全面;趙馨蕊等[6]將“教學(xué)隊伍”、“教學(xué)目標(biāo)”、“教學(xué)方法”、“教學(xué)內(nèi)容”“教學(xué)活動”、“教學(xué)評價”作為一級指標(biāo),下設(shè)16 個二級指標(biāo),一級指標(biāo)較多并且僅以“教”的維度設(shè)置,指標(biāo)設(shè)置不合理;姚凱[7]將“課程內(nèi)容”、“界面設(shè)計”、“課程管理”、“教學(xué)設(shè)計”、“媒體技術(shù)”作為一級指標(biāo),下設(shè)23 個二級指標(biāo),二級指標(biāo)較多,結(jié)構(gòu)不合理;岳進[8]等將教學(xué)內(nèi)容、教學(xué)方式、評價方式和技術(shù)手段作為一級指標(biāo),下設(shè)20 個二級指標(biāo),一級指標(biāo)設(shè)置沒有考慮學(xué)生學(xué)習(xí)感受。
綜上,以上學(xué)者以不同視角構(gòu)建的MOOC 質(zhì)量評價指標(biāo)體系,具有極大地參考價值,但是也存在評價指標(biāo)層次不清晰、結(jié)構(gòu)不合理、覆蓋不全面、重視“教”、忽略學(xué)習(xí)體驗和平臺設(shè)計、沒有考慮專業(yè)特點等問題。為此,為提高航海類專業(yè)MOOC質(zhì)量,經(jīng)過咨詢MOOC 開發(fā)專家和比較現(xiàn)有評價指標(biāo)優(yōu)缺點,構(gòu)建一套航海類專業(yè)MOOC 質(zhì)量評價體系,如圖1所示。
圖1 航海類專業(yè)MOOC質(zhì)量評估指標(biāo)體系
該指標(biāo)體系從教師、學(xué)生和平臺三個維度對MOOC 質(zhì)量進行評價,遴選的指標(biāo)充分考慮了學(xué)校屬性、專業(yè)特點和學(xué)生的學(xué)習(xí)體驗,該指標(biāo)體系按照指標(biāo)屬性不同,具有三層結(jié)構(gòu)特征,分別由3個一級指標(biāo)、11個二級指標(biāo)和29個三級指標(biāo)組成。
對MOOC進行質(zhì)量評價,需要確定評價等級,本研究將MOOC 質(zhì)量優(yōu)劣劃分為5 個等級,分別為優(yōu)秀、良好、中等、及格和待提高,對應(yīng)評價集為Z={Z1,Z2,Z3,Z2,Z5}。為了適于三角模糊層次分析法和群決策的MOOC質(zhì)量評價模型,需對評價等級進行量化處理,“優(yōu)秀”、“良好”、“中等”、“及格”和“待提高”對應(yīng)的量化區(qū)間分別為:[100,90]、(90-80]、(80-70]、(70-60]和(60-0]。
MOOC 質(zhì)量評價指標(biāo)體系為多維度、多層次體系,并且各級評價指標(biāo)都屬于定性指標(biāo)。傳統(tǒng)的層次分析法確定指標(biāo)權(quán)重時,沒有考慮專家在知識、閱歷和經(jīng)驗上的差異,過于絕對,認(rèn)為因素之間相對重要性只有一種情況。本研究引入模糊數(shù)學(xué)理論改進層次分析法,運用三角模糊層次分析法(TFAHP)計算指標(biāo)權(quán)重,相較于層次分析法(AHP)更加充分考慮了專家賦值的模糊性,有效彌補了傳統(tǒng)的AHP在模糊決策上的缺陷。
由于三角模糊數(shù)能夠有效地表達(dá)難以用精確數(shù)值描述的信息,因此,在解決不確定多屬性決策和不確定性評價問題時,三角模糊數(shù)應(yīng)用廣泛。設(shè)M為實數(shù)域R上的一個模糊數(shù),當(dāng)M的隸屬函數(shù)(從R到[0,1]上的連續(xù)映射)滿足
那么M就是一個三角模糊數(shù),即為M=[l,m,u],其中l(wèi) 為下限值,m為中值,u為上限值。因為層次分析法無法計算模糊型評價指標(biāo)的權(quán)重,因此,在層次分析法的基礎(chǔ)上逐漸演化成三角模糊層次分析法(TFAHP),兩者基本原理類似,主要區(qū)別為TFAHP 用三角模糊數(shù)代替實數(shù)構(gòu)造判斷矩陣,以三角模糊數(shù)運算法則計算權(quán)重,計算結(jié)果用三角模糊數(shù)形式呈現(xiàn),最后,轉(zhuǎn)換為實數(shù)權(quán)重。
步驟1:邀請MOOC開發(fā)專家對k層n個指標(biāo)進行兩兩比較,并用三角模糊數(shù)賦值,當(dāng)專家給出模糊判斷后,就可構(gòu)建模糊判斷矩陣:,其中和uij分別為三角模糊數(shù)的悲觀值、可能值和樂觀值,多名專家的模糊評判結(jié)果可以運用三角模糊數(shù)運算法則求平均值作為綜合三角模糊數(shù)。
步驟2:依據(jù)三角模糊數(shù)定理:
其中i,j=1,2,3…n,計算第k層第i個指標(biāo)的綜合模糊權(quán)重,同理也可以求出同一層第j個指標(biāo)的綜合模糊權(quán)重。
步驟3:依據(jù)三角模糊數(shù)定理:
步驟4:根據(jù)三角模糊數(shù)定理:
將三角模糊數(shù)權(quán)重轉(zhuǎn)化為實數(shù)權(quán)重,最后歸一化處理得到第k層指標(biāo)權(quán)重Wk。
依據(jù)上述介紹的TFAHP 計算指標(biāo)權(quán)重的方法。首先在廣泛征求MOOC開發(fā)專家基礎(chǔ)上構(gòu)建MOOC 質(zhì)量一級評價指標(biāo)三角模糊數(shù)判斷矩陣,如表1所示。
表1 一級評價指標(biāo)三角模糊數(shù)判斷矩陣
接著運用三角模糊數(shù)運算法則求平均值得綜合三角模糊數(shù)判斷矩陣,然后根據(jù)公式(2)求出一級指標(biāo)綜合三角模糊數(shù)權(quán)重,再依據(jù)公式(3)(4)求得一級指標(biāo)實數(shù)權(quán)重WU=(0.25,0.60,0.15)。同理可以得到二級指標(biāo)實數(shù)權(quán)重和三級指標(biāo)實數(shù)權(quán)重,如表2所示。
表2 各級指標(biāo)實數(shù)權(quán)重
前面構(gòu)建了MOOC 質(zhì)量評價的多屬性、多層次指標(biāo)體系,應(yīng)用TFAHP計算出三級指標(biāo)的三角模糊數(shù)權(quán)重和實數(shù)權(quán)重,下面將三角模糊數(shù)、AHP和群決策理論相結(jié)合,構(gòu)建基于TFAHP和群決策的MOOC質(zhì)量評價模型,具體步驟如下:
步驟1:在廣泛征求MOOC 開發(fā)專家基礎(chǔ)上,構(gòu)建MOOC質(zhì)量評價指標(biāo)體系。
步驟2:依據(jù)TFAHP 方法及步驟構(gòu)造評價指標(biāo)三角模糊數(shù)判斷矩陣,依次計算MOOC 質(zhì)量評價指標(biāo)體系中的k 層指標(biāo)三角模糊數(shù)權(quán)重和實數(shù)權(quán)重Wk。
步驟3:邀請y名由MOOC開發(fā)專家和學(xué)生組成的評價團隊,然后請評價團隊根據(jù)評語集對k 層的第i 個指標(biāo)進行評價,如果有x名專家認(rèn)為第i個指標(biāo)屬于評語等級Zh,則其隸屬于評語等級Zh的隸屬度為:,其中i=1,2,3…n,h=1,2,3…5,如此可以求得第k層所有指標(biāo)隸屬度,再歸一化處理就可以建立第k層模糊評判矩陣。
步驟4:求出k層全部指標(biāo)的權(quán)重Wk和建立起k層模糊評判矩陣Rk后,根據(jù)矩陣的乘法運算法則Sk=Wk?Rk就可計算k 層指標(biāo)評價結(jié)果,逐層向上計算直到最終結(jié)果S。
下面以某高職在超星平臺建設(shè)的某專業(yè)課程為例,實例驗證基于三角模糊層次分析和群決策的MOOC評價模型的科學(xué)性、合理性和實用性。
邀請MOOC 開發(fā)專家和學(xué)習(xí)該MOOC 的學(xué)生代表組成100 人的評價委員會。首先對第三級指標(biāo)相對于評價集的符合性進行定性評價,然后依據(jù)MOOC質(zhì)量評價模型的步驟3,用群決策的方法將定性評價轉(zhuǎn)化成隸屬度,再歸一化處理即可建立第三級指標(biāo)模糊評價矩陣。如表3所示:
表3 三級指標(biāo)模糊評價矩陣
根據(jù)MOOC質(zhì)量評價模型步驟4,在求得三級指標(biāo)實數(shù)權(quán)重和建立三級指標(biāo)模糊評價矩陣的基礎(chǔ)上,用矩陣乘法運算計算出評價結(jié)果,三級指標(biāo)評價結(jié)果如下:
三級指標(biāo)評價結(jié)果也是二級指標(biāo)隸屬度,同理可以求得二級指標(biāo)評價結(jié)果,如下:
最終評價結(jié)果量化值為:Su?D'=77.9,對應(yīng)“中等”等級,完全符合實際情況,該課程在2021年度學(xué)校組織的評審中榮獲校級精品在線開放課程,但是距離省級精品在線開放課程有一定差距,距離國家精品在線開放課程有很大差距。
同理,除了對最終評價結(jié)果進行量化分析外,還需要對各級指標(biāo)評價結(jié)果進行量化分析,方便建設(shè)者準(zhǔn)確地了解MOOC 建設(shè)的優(yōu)點和不足,從而發(fā)揚優(yōu)點改進不足,提高MOOC 建設(shè)質(zhì)量。其它各級指標(biāo)評價結(jié)果量化值及評價等級,如表4所示。
表4 各級指標(biāo)評價結(jié)果量化值及評價等級
由表4 可知,“新穎性”指標(biāo)量化值為“72.26”評價等級為“中等”,其原因在于課程內(nèi)容陳舊,與現(xiàn)代化的智能柴油機脫節(jié),不能體現(xiàn)近幾年船舶智能柴油機的科研成就;“主持人”量化得分“77.39”評價等級為“中等”,其原因在于主持人為非雙師型教師,雖然學(xué)歷較高,但是碩士研究生畢業(yè)后一直在學(xué)校任教,未曾到航運企業(yè)實習(xí),實踐經(jīng)驗不足,另外主持人為講師職稱,在本專業(yè)科研能力方面略顯不足;“教學(xué)方法”得分“73.48”,究其原因,在于課程團隊教師在授課時較少采用項目驅(qū)動教學(xué)法,多采用傳統(tǒng)授課法,傳統(tǒng)教學(xué)法已經(jīng)無法激勵學(xué)生學(xué)習(xí)興趣;“教學(xué)內(nèi)容”得分“72.81”,主要原因在于教學(xué)內(nèi)容中缺乏航海文化元素,缺乏利用文化育人,培養(yǎng)學(xué)生人文素養(yǎng)的環(huán)節(jié);“學(xué)習(xí)任務(wù)”量化得分“76.22”,被評為“中等”,其原因在于教師安排的學(xué)習(xí)任務(wù)較單一,除了課后作業(yè)、視頻瀏覽外,缺乏輔助材料的學(xué)習(xí),單元測試也缺乏;“生生協(xié)作”評分“76.37”,評級“中等”,其原因在于教師授課內(nèi)容理論偏多,較少安排實驗環(huán)節(jié),學(xué)生缺少互相協(xié)作操作大型船舶設(shè)備的機會;“學(xué)情反饋”得分“78.99”,評級“中等”,課程團隊在超星平臺建設(shè)課程,雖然平臺能自動計算作業(yè)、測試完成率、及格率,包括每道題正誤率,但是課程團隊較少審閱這些數(shù)據(jù),不能及時反饋學(xué)情,無法形成正反饋;“存在感”得分“72.76”,得分較低,究其原因主要在于學(xué)生在學(xué)習(xí)圈存在感較低,一方面學(xué)生缺乏學(xué)習(xí)主動性,交流的主動性,另一方面教師跟學(xué)生交流溝通較少,導(dǎo)致學(xué)生存在感低;“滿意度”得分“76.67”,評級為中等,表明仍有一部分學(xué)生學(xué)完后對課程不甚滿意,需要課程團隊后期與學(xué)生加強溝通,了解原因查找不足;“深層次思考”得分較低“70.76”分,主要在于課程服務(wù)的對象為在職船員,普遍缺乏深度學(xué)習(xí)能力,缺乏知識遷移能力,因此該項目得分較低,后期需加強學(xué)員學(xué)習(xí)能力培養(yǎng);“解決現(xiàn)實問題能力”評分“70.86”,得分較低,在于學(xué)員在成長過程中,家長著重文化學(xué)習(xí),缺乏生活體驗,導(dǎo)致學(xué)員專業(yè)知識不能與日常生活中需要解決的問題結(jié)合在一起;“學(xué)習(xí)導(dǎo)航”得分“76.89”,評級“中等”,在于超星學(xué)習(xí)通平臺為新開發(fā)的網(wǎng)絡(luò)學(xué)習(xí)平臺,雖然基本功能齊全,但是在菜單布置、導(dǎo)航設(shè)計方面還有不符合人機工程學(xué)的地方;“顏色搭配”得分較低“70.67”,究其原因在于超星學(xué)習(xí)通網(wǎng)頁設(shè)計方面不注重顏色搭配、畫面沉悶,不符合視覺習(xí)慣,學(xué)習(xí)者長期學(xué)習(xí)會感覺視覺疲勞;“特色功能”得分最低“66.46”,評級及格,雖然超星學(xué)習(xí)通平臺基本功能健全,能滿足教師開發(fā)課程及學(xué)員在線學(xué)習(xí)基本需求,但是與國外主流網(wǎng)絡(luò)學(xué)習(xí)平臺比較,仍然缺乏“個人學(xué)習(xí)空間、學(xué)習(xí)痕跡追蹤、筆記功能”等特色功能,雖然具備防作弊功能,但是使用效果不佳,需要后期完善。
MOOC 質(zhì)量評價是促進MOOC 質(zhì)量提高的重要手段,本研究針對MOOC 質(zhì)量評價指標(biāo)所具有的多屬性、多層次、不確定性和模糊性特點。首先采用三角模糊數(shù)和層次分析法相結(jié)合的方法計算出MOOC質(zhì)量評價指標(biāo)的三角模糊數(shù)權(quán)重和實數(shù)權(quán)重,解決了以往層次分析法計算指標(biāo)權(quán)重模糊性不足的缺陷,然后提出運用群決策的方法計算指標(biāo)隸屬度,構(gòu)建模糊評價矩陣,最后構(gòu)建了基于三角模糊層次分析法和群決策法的MOOC質(zhì)量評價模型。實例驗證了MOOC質(zhì)量評價模型的科學(xué)性、合理性和可操縱性,為解決類似的多屬性、多層次、不確定評價問題提供了一個新的思路和方法,也為提高航海類專業(yè)MOOC建設(shè)質(zhì)量提供理論依據(jù)。