基于層次分析法—熵權(quán)法的教學(xué)實驗室評價體系構(gòu)建

田 夏

（上海交通大學(xué)教務(wù)處，上海200240）

0 引 言

高校教學(xué)實驗室以培養(yǎng)學(xué)生實踐能力、創(chuàng)新能力和提高教學(xué)質(zhì)量為核心，是培養(yǎng)學(xué)生綜合能力的重要場所［1］。高校教學(xué)實驗室建設(shè)投入是國家高等教育投入的重要組成部分，教學(xué)實驗室的建設(shè)質(zhì)量對我國高等教育內(nèi)涵式發(fā)展具有重大影響［2］。

1995年7月原國家教委印發(fā)了關(guān)于高等學(xué)?；A(chǔ)課教學(xué)實驗室評估辦法及評估標(biāo)準(zhǔn)表，全國743所普通高校的4 977個基礎(chǔ)課教學(xué)實驗室完成了自評估工作，2 883個教學(xué)實驗室進(jìn)行了省級評估，2 803個教學(xué)實驗室合格達(dá)標(biāo)，各級政府投入資金13．7億元［3］。該次評估體系指標(biāo)包括“體制與管理”“實驗教學(xué)”“儀器設(shè)備”“實驗隊伍”“環(huán)境與安全”“規(guī)章制度”等6個方面39項具體要求。但1995年的考核辦法僅為合格性評估，且指標(biāo)反饋基本是“全或無”的評價，部分指標(biāo)完全依賴專家的主觀評價，全國近5 000余個教學(xué)實驗室的評價顯示通過率高、評審質(zhì)量不佳、缺乏持續(xù)改進(jìn)等弊端。2004年教育部發(fā)布《全面實施2003—2007年教育振興行動計劃》，提出“進(jìn)一步深化高校教學(xué)改革，建設(shè)一批示范教學(xué)基地和基礎(chǔ)課程實驗教學(xué)示范中心”，2005年5月教育部發(fā)布《關(guān)于開展高等學(xué)校實驗教學(xué)示范中心建設(shè)和評審工作的通知》，正式啟動國家級實驗教學(xué)示范中心建設(shè)，并對建設(shè)目標(biāo)、建設(shè)內(nèi)容、評審指標(biāo)等作出明確規(guī)定［4］。實驗教學(xué)示范中心的評審與考核包含教學(xué)、隊伍、管理、信息化、設(shè)備與環(huán)境、成果與示范六大類指標(biāo)，六大類指標(biāo)雖有權(quán)重分布，但在實際評審過程中，各種數(shù)據(jù)完全依賴評審專家的主觀判斷，評審難度較大，也存在評審效率低下的問題。2017年，教育部發(fā)布《關(guān)于提交2017年度國家級實驗教學(xué)示范中心年度考核報告的通知》，要求對全國901個國家級實驗教學(xué)示范中心進(jìn)行“5年定期評估”，但評估方式和具體的評估指標(biāo)并未公布。

由于教學(xué)實驗室以人才培養(yǎng)為目標(biāo)，涉及指標(biāo)多元，產(chǎn)出難以量化，導(dǎo)致目前針對教學(xué)實驗室評價的研究較為零散，缺乏系統(tǒng)、操作性強(qiáng)的評價體系［5-6］。僅有的評價指標(biāo)也源自2005年教育部的評價指標(biāo)，該評價指標(biāo)操作性不強(qiáng)，評定方式完全依據(jù)主觀性評定，缺乏一定的模型支撐。國內(nèi)現(xiàn)有的教學(xué)實驗室評價模型相關(guān)研究也較少：中國石油大學(xué)（華東）物理實驗教學(xué)中心構(gòu)建了面向?qū)W生、教師、實驗技術(shù)人員的多元化定量考核體系，該體系從教學(xué)、科研、成果等多維度對實驗中心進(jìn)行考核，體系全面但完全依賴于考核組評分且評分指標(biāo)較多，操作起來較為困難［7］。湖南省食品科學(xué)技術(shù)實驗教學(xué)示范中心依據(jù)領(lǐng)導(dǎo)聽課與檢查、學(xué)校和學(xué)院督導(dǎo)團(tuán)聽課、學(xué)生對實驗課的意見反饋、同行教師聽課與評議、教學(xué)文件檢查進(jìn)行評估，該評價方式局限于教學(xué)層面，體系性尚有欠缺［8］?？茖W(xué)合理的教學(xué)實驗室評價體系有助于激發(fā)各實驗室人才培養(yǎng)動力，并解決高校教學(xué)實驗室考核評價的實際問題。

1 基于層次分析法——熵權(quán)法的教學(xué)實驗室評價體系構(gòu)建

1.1 評價體系的建立

將目標(biāo)層A進(jìn)行分解，分解為若干準(zhǔn)則層B（1級指標(biāo)），再以準(zhǔn)則層為目標(biāo)分解實施層C（2級指標(biāo)）的各項因素指標(biāo)，構(gòu)建評價體系。結(jié)合教育部對教學(xué)實驗室的考核要求并結(jié)合多位實驗實踐教學(xué)專家意見，采用德爾菲法，依據(jù)客觀性、科學(xué)性、代表性的原則，制定準(zhǔn)則層指標(biāo)（1級指標(biāo)）6項、實施層指標(biāo)（2級指標(biāo)）19項，評價體系如圖1、表1所示。

圖1 高校教學(xué)實驗室評價體系

表1 教學(xué)實驗室評價指標(biāo)分解

1.2 混合模型構(gòu)建

層次分析法（AHP，Analytic Hierarchy Process）是由美國運(yùn)籌學(xué)家發(fā)明的一種科學(xué)決策的方法，將復(fù)雜的目標(biāo)層進(jìn)行分解，通過一系列的比較評判確定各評價指標(biāo)重要性的量度，具有較好的數(shù)學(xué)模型支持，廣泛用于科學(xué)決策、系統(tǒng)規(guī)劃、考核評估等多個領(lǐng)域，該方法的優(yōu)勢在于能明確準(zhǔn)則層與目標(biāo)層的關(guān)系以及確定各評價指標(biāo)權(quán)重［9-10］。

熵的概念最早由Clausius于1865年提出，之后信息論之父C．E．Shannon在1948年將熵的概念引入信息領(lǐng)域，利用“信息熵”作為衡量信息紊亂程度的測度。熵的概念從宏觀上反映了系統(tǒng)在微觀狀態(tài)下的不確定性程度，熵權(quán)法是一種客觀賦權(quán)的方法，通過客觀排序真實反映指標(biāo)的實際情況，根據(jù)各項指標(biāo)的差異程度，利用信息熵對各指標(biāo)初步給定的權(quán)重調(diào)整實現(xiàn)動態(tài)賦權(quán)、確定權(quán)重，優(yōu)點(diǎn)是不受主觀因素的干擾，對系統(tǒng)的評價較為公正客觀，同時較為簡便［11］。

層次分析法與熵權(quán)法聯(lián)合使用多應(yīng)用于工程、金融等領(lǐng)域的評價模型中［12-15］。研究將層次分析法與熵權(quán)法結(jié)合使用，構(gòu)建混合評價模型應(yīng)用于教學(xué)實驗室評價。由于1級指標(biāo)較少且較為固定，參考教育部對于教學(xué)實驗室的明確要求和考核導(dǎo)向，準(zhǔn)則層對目標(biāo)層（1級指標(biāo)）權(quán)重宜采用層次分析法，由各實驗實踐教學(xué)專家參考教育部分類要求確定；目標(biāo)層（1級指標(biāo)）內(nèi)涵豐富，實施層指標(biāo)（2級指標(biāo)）較多且變化性較強(qiáng)，宜采用熵權(quán)法動態(tài)篩選各項2級指標(biāo)數(shù)據(jù)取得，具有可調(diào)整、效率高、易操作、避免主觀性的優(yōu)點(diǎn)，可以高效大批量實施評價。本研究中，準(zhǔn)則層對目標(biāo)層（1級指標(biāo)）權(quán)重確定采用層次分析法賦權(quán)，措施層對準(zhǔn)則層（2級指標(biāo)）權(quán)重采用熵權(quán)法賦權(quán)，最后結(jié)合準(zhǔn)則層和實施層運(yùn)算得出各實驗教學(xué)示范中心評分。

1.3 準(zhǔn)則層對目標(biāo)層（1級指標(biāo)）權(quán)重分析——層次分析法

（1）確定要素集。U 為目標(biāo)層，U1，U2，…，Um代表1級指標(biāo)，為準(zhǔn)則層；U11，U12，…，Umn代表2級指標(biāo)，為實施層。

將目標(biāo)層U分解為準(zhǔn)則層，準(zhǔn)則層分解為實施層：

根據(jù)評價體系通過目標(biāo)分解，實驗教學(xué)示范中心準(zhǔn)則層為U1～Umm項。m項準(zhǔn)則層分別分解為若干實施層。

（2）構(gòu)建判斷矩陣。使用成對比較和專家咨詢法來構(gòu)造判斷矩陣，A ＝（aij）m×m，比較1級指標(biāo)Um之間的相對重要性，標(biāo)度值由Saaty的1～9值法決定。

（3）一致性檢驗與一級指標(biāo)權(quán)重確定。通過計算可得出各一級指標(biāo)的權(quán)重wi，i＝ ｛1，2，…，m｝，帶有偏差的最大特征值為λmax。計算一致性指標(biāo)CI，CI＝（λmax－m）／（m －1），式中m 為一致性矩陣具有的最大特征值。

一致性比率指標(biāo)為CR＝CI／RI，RI為判斷矩陣的平均隨機(jī)一致性指標(biāo)，當(dāng)CR＜0．1時，認(rèn)為層次分析排序的結(jié)果有滿意的一致性，即權(quán)數(shù)的分配是合理的。剔除未通過一致性檢驗（CR≥0．1）的判斷矩陣，采用權(quán)重算術(shù)平均法綜合各位專家意見，計算準(zhǔn)則層對目標(biāo)層U（1級指標(biāo)）的權(quán)重集合。

1．4 實施層對準(zhǔn)則層（2級指標(biāo)）權(quán)重分析——熵權(quán)法

（1）構(gòu)建原始化矩陣和標(biāo)準(zhǔn)矩陣。每一1級指標(biāo)下的所有2級指標(biāo)采用熵權(quán)法進(jìn)行判定。在某個1級指標(biāo)下，n個2級指標(biāo)，p個被評價對象，構(gòu)建原始化矩陣和標(biāo)準(zhǔn)矩陣：

對判斷矩陣B＝（bij）p×n進(jìn)行歸一化處理，歸一化后的標(biāo)準(zhǔn)矩陣：

（2）計算信息熵。根據(jù)標(biāo)準(zhǔn)矩陣B′＝ （bij′）p×n，計算各指標(biāo)的熵值，熵值用Ej表示，Ej＝－bijln bij／ln n，j＝ ｛1，2，…，n｝。

（3）計算實施層對準(zhǔn)則層（2級指標(biāo)）熵權(quán)。得到第i個1級指標(biāo)下面的2級指標(biāo)的權(quán)重為

1．5 權(quán)重最終確定

綜合1級指標(biāo)權(quán)重、2級指標(biāo)權(quán)重，計算出各評價對象各最終的考核評價值

其中，l＝ f（i，j，p），表示標(biāo)準(zhǔn)化矩陣B′中第p 個中心第i個1級指標(biāo)下第j個2級指標(biāo)對應(yīng)的元素值。

2 基于層次分析法——熵權(quán)法的教學(xué)實驗室評價體系實證

我校共有本科實驗教學(xué)實驗室32個，分布在20個院系，承擔(dān)全校本科生實驗實踐教學(xué)任務(wù)，其中9個大型教學(xué)實驗室（中心）承擔(dān)了全校70%的實驗實踐教學(xué)任務(wù)（約120萬人時），體量上具有一定的代表性。同時9個大型教學(xué)實驗室（中心）基本涵蓋了理科（物理、化學(xué)）、工科（機(jī)械、電子、工程訓(xùn)練、工程力學(xué)、材料）、生命科學(xué)（生命、農(nóng)業(yè)）學(xué)科，也具備一定的學(xué)科代表性。通過數(shù)據(jù)統(tǒng)計和深度訪談，對所需的19項基礎(chǔ)數(shù)據(jù)進(jìn)行搜集，根據(jù)2017年各教學(xué)實驗室的數(shù)據(jù)，采用層次分析法-熵權(quán)法混合評價模型進(jìn)行實證。

2.1 數(shù)據(jù)處理

2.1.1 采用層次分析法，確定1級指標(biāo)的權(quán)重

根據(jù)構(gòu)建的指標(biāo)體系，確定各1級指標(biāo)權(quán)重判斷矩陣。本研究采用專家訪談（德爾菲法），收集8位教學(xué)實驗室主任和實踐教學(xué)專家對指標(biāo)權(quán)重判斷的問卷調(diào)查與實際建議，采用層次分析法對判斷矩陣進(jìn)行數(shù)據(jù)處理?，F(xiàn)以其中1位專家的判斷為例說明，依據(jù)該專家經(jīng)驗判斷得出教學(xué)實驗室評價1級指標(biāo)的判斷矩陣（見表2）。

表2 某一位專家的判斷矩陣

*矩陣中數(shù)字越大，說明行要素比列要素越重要，最大數(shù)字為9；最小數(shù)字為1，表示同等重要。倒數(shù)表示相對不重要程度，其中1／9表示最不重要。

矩陣歸一化處理后計算1級權(quán)重為

（0．030，0．133，0．251，0．462，0．062，0．062）

進(jìn)行一致性檢驗

所有8位專家判斷矩陣均通過一致性檢驗，最終對選取的8位專家的指標(biāo)權(quán)重值進(jìn)行算術(shù)平均值計算1級權(quán)重。

2．1．2 采用熵權(quán)法，確定2級指標(biāo)權(quán)重

根據(jù)熵權(quán)法，計算各1級指標(biāo)下若干2級指標(biāo)的熵權(quán)原始數(shù)據(jù)矩陣（bij）p×n，再經(jīng)過標(biāo)準(zhǔn)化處理，標(biāo)準(zhǔn)化的熵權(quán)矩陣（bij′）p×n。計算9 個評價對象，實驗環(huán)境1級指標(biāo)下3 項2 級指標(biāo)的熵權(quán)矩陣（bij′）9×3（見表3）。

計算實驗環(huán)境1級指標(biāo)下3項2級指標(biāo)的信息熵Ej，Ej為（0．569，0．769，0．771）。

最后，計算得到該1級指標(biāo)下各個2級指標(biāo)的權(quán)重（0．486，0．260，0．254）。類似地可以得到其他5 個1級指標(biāo)下的各項2級評價指標(biāo)權(quán)重。

2．1．3 綜合1級指標(biāo)、2級指標(biāo)權(quán)重計算評價得分

綜合1級指標(biāo)權(quán)重、2級指標(biāo)權(quán)重，得出教學(xué)實驗室考核指標(biāo)總權(quán)重（見表4）。

結(jié)合標(biāo)準(zhǔn)化數(shù)據(jù)B′，計算出各評價對象最終考核得分Sp（見表5）。

表3 實驗環(huán)境1級指標(biāo)下3項2級指標(biāo)的熵權(quán)矩陣bij′

表4 教學(xué)實驗室考核指標(biāo)體系與權(quán)重

2.2 評價體系的結(jié)論與分析

2.2.1 整體結(jié)論與分析

評價體系在實際操作中可以給每一所教學(xué)實驗室具體綜合評價，對參評對象進(jìn)行總體排序，同時也能給出各評價維度的評價意見和各教學(xué)實驗室需要進(jìn)一步提升的方向。以電子電工實驗中心評價結(jié)果為例，電子電工實驗中心在9個被評價的教學(xué)實驗室中排序第二，各項指標(biāo)均高于均值，其中教學(xué)服務(wù)、信息化開放對整體評價貢獻(xiàn)度較大，但師資保障和教學(xué)成果兩個維度處于整體中等水平，有進(jìn)一步提升空間（見圖2）。

表5 教學(xué)實驗室綜合評價表

圖2 評價分析反饋結(jié)果圖

2.2.2 1級指標(biāo)評價分析

根據(jù)層次分析法的1級指標(biāo)評價與權(quán)重分布，發(fā)現(xiàn)專家對于教學(xué)服務(wù)、師資保障、實驗環(huán)境3個維度較為關(guān)注，這3個維度構(gòu)成教學(xué)實驗室的保障性指標(biāo)；對于成果與研究、信息化開放、示范輻射作用關(guān)注度和權(quán)重分配較弱，這3個因素構(gòu)成教學(xué)實驗室的激勵性指標(biāo)。我國處于高等教育大眾化時期，教學(xué)實驗室的基本軟硬件（保障性指標(biāo)）對于教學(xué)實驗室作用基礎(chǔ)，成果與研究、信息化開放、示范輻射作用（激勵性指標(biāo)）未來的作用將逐步提升，同樣指標(biāo)體系作為一個開放的體系，也可以依據(jù)不同時期對教學(xué)實驗室的不同定位和不同要求進(jìn)行權(quán)重調(diào)整。

2.2.3 2級指標(biāo)評價分析

基于熵權(quán)法的2級指標(biāo)評價可以給予各被評價對象診斷性分析，確定各被評價對象后續(xù)質(zhì)量提升的方式。以整體排序第一的被評價對象——工程訓(xùn)練中心為例，在1級指標(biāo)“成果與研究”上落后于其他教學(xué)實驗室，通過分析2級指標(biāo)評分發(fā)現(xiàn)，該中心在教學(xué)論文、教學(xué)成果上存在較大不足，也是制約該中心后續(xù)進(jìn)一步發(fā)展的“短板要素”。

3 對兩種評價體系的思考

3.1 基于層次分析法——熵權(quán)法的教學(xué)實驗室評價體系優(yōu)點(diǎn)

（1）與評價要求結(jié)合緊密。本評價體系指標(biāo)和1級權(quán)重的確定由實驗實踐教學(xué)專家參考教育部相關(guān)規(guī)章和要求完成，可以保證評價體系的評價指標(biāo)與教育部的指導(dǎo)性要求相結(jié)合，具有一定的規(guī)范性，可以滿足考核主體的考核目標(biāo)。同時層次分析法相較于傳統(tǒng)的指標(biāo)權(quán)重確定方法，更具有專業(yè)性和科學(xué)性。

（2）考核評價的效率性。效率性是實行大范圍、大規(guī)模考核的重要考慮因素，高效率低成本的考核評價體系可以大幅度節(jié)省人力物力。近20項2級指標(biāo)使用熵權(quán)法完全基于各教學(xué)實驗室數(shù)據(jù)客觀評價，對評價多數(shù)量的教學(xué)實驗室具有很強(qiáng)的優(yōu)勢，同時也能兼顧數(shù)據(jù)統(tǒng)計周期問題，避免實際評價實施過程中專家再度主觀介入，省時省力。

（3）動態(tài)性與開放性。層次分析法的指標(biāo)權(quán)重確定是一個動態(tài)的過程，根據(jù)不同“成長周期”的教學(xué)實驗室，考核的側(cè)重點(diǎn)和要求不同，層次分析法的動態(tài)性解決了傳統(tǒng)的僵化考核體系的弊端。熵權(quán)法確定指標(biāo)權(quán)重具有較好的開放性，各2級指標(biāo)數(shù)量可以隨著評價要求增加和動態(tài)調(diào)整，但并不降低評價的效率。

（4）持續(xù)改進(jìn)性。考核評價的基本作用在于質(zhì)量提升和糾偏，基于層次分析法與熵權(quán)法的評價體系能明確判斷被評價對象各考核指標(biāo)高低，便于評價者及時反饋給被評價對象，避免傳統(tǒng)評價體系缺失持續(xù)改進(jìn)環(huán)節(jié)的弊端。同時評價模型可以在各1級、2級指標(biāo)維度篩選出“榜樣標(biāo)桿”，更適合教學(xué)實驗室對標(biāo)建設(shè)和標(biāo)準(zhǔn)化制定。

3.2 基于層次分析法——熵權(quán)法的教學(xué)實驗室評價體系不足與改進(jìn)

（1）差異化實驗室的評價不完善。本評價體系對于評價不同層次、不同學(xué)科的教學(xué)實驗室區(qū)分度不夠，不能完全體現(xiàn)差異化評價。后續(xù)可以考慮針對不同類型、不同學(xué)科的教學(xué)實驗室賦予不同的1級指標(biāo)權(quán)重，以適應(yīng)不同學(xué)科類別教學(xué)實驗室的考核評價。

（2）科學(xué)考評的維度有待提升。2級指標(biāo)的熵權(quán)法判定完全基于客觀數(shù)據(jù)進(jìn)行相對性評價，絕對性評價有所缺失，且不同年度的評價數(shù)值缺乏縱向可比性。此外，評價中僅參考客觀數(shù)據(jù)無法鑒別數(shù)據(jù)的真實性，也無法進(jìn)行多方位多角度評價。本評價體系適合大規(guī)模、大范圍的初步評價，復(fù)評和精細(xì)化評價還需要與專家主觀評價結(jié)合起來，使評價更為有效。