基于AHP和排序比的高校本科教學質量評價方法

鄧曉衡，劉鐵雄,鄭靜益,沈海瀾

（1.中南大學 信息科學與工程學院，湖南 長沙 410083；2.中南大學 本科生院，湖南 長沙 410083）

0 引 言

教學質量是高等學校的生命線。教學質量評價是高等學校實現(xiàn)高校教學科學管理的重要保證。然而高校教學系統(tǒng)涉及主體多，影響因素多，具有開放性、復雜性等特征，給建立科學、有效的高校本科教學質量評價方法帶來了難度。用哪些指標去評價，以及用什么樣的方法去評價是教學質量評價的基本問題。學者針對教學質量評價從不同角度已經(jīng)展開了許多有效的研究[1-4]。

1 總體方案

AHP層次分析法由美國著名的運籌學家、匹茲堡大學薩迪( T.L.Saaty) 教授提出[5]，其基本思想是通過對系統(tǒng)的多個因素的分析，劃出各因素間相互聯(lián)系的有序層次，并對每一層次的各因素給出相對重要性的定量表示，進而建立數(shù)學評價模型，計算出每一層次全部因素的相對重要性的權值。AHP層次模型主要包括目標層、中間層和方案層。

利用AHP層次方法研究本科教學質量評價問題的總體方案是：第一步，對專家通過座談、問卷調查的方式確定本科教學質量評價指標，建立指標體系層次化框架；第二步，利用AHP方法，結合專家自身經(jīng)驗和專業(yè)知識，基于1-9標度法[6]分別對每一層內各項指標進行兩兩比較和重要性評價，建立判斷矩陣；第三步，對判斷矩陣進行一致性檢驗，計算得到每一層評價指標相對于上一層評價目標的量化權重；第四步，綜合考慮指標的權重和被評目標的相對優(yōu)勢，建立綜合考慮指標權重和相對排序的評價模型。

2 評價方法和過程

2.1 構建評價指標體系

在對專家進行問卷調查的基礎上，依據(jù)AHP層次化模型，建立本科教學質量評價指標體系，見表1。其中包括一級指標6個（B1～B5），二級指標18個（C1～C18）和三級指標44個（D1～D44）。按照AHP模型，將本科教學質量G定義為目標層，一級指標、二級指標、三級指標分別定義為準則層1、準則層2和準則層3。

2.2 計算評價指標權重

根據(jù)AHP方法，首先采用1-9標度法分別對每一層內各項指標進行兩兩比較和重要性評價，建立判斷矩陣。然后對判斷矩陣進行一致性檢驗，計算該矩陣的最大特征值和其對應的特征向量。一致性檢驗通過，特征向量即為該層指標相對于上一層指標的權重；一致性檢驗沒有通過，需要重新構造判斷矩陣。以目標層G與準則層B的判斷矩陣G-B表構造為例，見表2。

表1 高校本科教學質量評價指標體系層次框架

表2 目標層G與準則層1的判斷矩陣G-B

計算該矩陣的最大特征值λmax和其對應的特征向量，得到λmax=6.11，特征向量w=（0.083 0.083 0.333 0.083 0.333 0.083）。

根據(jù)公式（1）和（2）以及平均隨機一致性指標R.I.的取值[6]（表3）計算得到C.I.=0.000,C.R.= 0.000。

表3 平均隨機一致性指標R.I.的取值

由于C.R.=0.000＜0.1表明判斷矩陣具有可接受的一致性，所以最終優(yōu)化后準則層1中各指標的權重為w=（0.083 0.083 0.333 0.083 0.333 0.083）按照上述方法依次計算出各層指標對其上一層指標的權重。各層指標相對于目標層G的權重則為該目標每一層的權重之積，如C1對B1的權重為0.333，B1對G的權重為0.083，則C1對G的權重為0.333×0.083=0.028。

2.3 建立考慮權重和排序比的綜合評價模型

經(jīng)典的加權平均模型如公式（3），其中k為評價指標個數(shù)，xi為F在指標qi上的指標值，φi為指標qi對應的權重系數(shù)，S為個體F在加權平均模型下的綜合評價值。

加權平均模型考慮了評價指標的重要性和被評價單位在該指標上的評分兩個因素，但是加權平均模型無法體現(xiàn)出被評價個體在群體中同一指標上的相對優(yōu)劣情況。

比如：兩個被評價單位F1和F2在權重相同的兩個評價指標B1和B2上的評分均為90分，利用加權平均模型在綜合評分中看不出兩者區(qū)別。但是F1的90分位于100個評價個體中的前1%，而F2的90分位于100個評價個體中的后1%。如何在加權平均模型基礎上體現(xiàn)出被評價個體在全體中的相對表現(xiàn)情況，我們引入一個排序比因子，并將排序比因子、權重和評分3個因素綜合考慮構建評價模型。

定義1（排序比因子）：設被評價群體個體總數(shù)為N，待評價個體為F，F(xiàn)在指標q上的得分值為s，群體中指標q上得分值低于s的個體個數(shù)為N(F,q)，則F在指標q上的排序比因子Q(F,q)為：

綜合考慮權重和排序比因子的綜合評價模型如公式（5）：

其中Snew為個體F在綜合模型下的綜合評價值，k為評價指標個數(shù)，xi為F在指標qi上的指標值，φi為指標qi對應的權重系數(shù)，Q(F,qi)為個體F在指標qi上的排序比因子值，λ為排序比因子對評價結果的影響程度參數(shù)，由人工設定。當λ=0時，綜合模型等價于加權平均模型。

以表4的數(shù)據(jù)為例，共有F1～F4四個參評單位，q1～q4四個評價指標，F(xiàn)1～F4 在q1～q4的評價結果分為A、B、C、D四個等級。q1～q4四個評價指標的權重分別為0.2、0.3、0.3、0.2，λ設為0.2，等級A～D對應的分值分別為100、80、60、40。則加權平均模型下F1的綜合評價值為

S=0.2×80+0.3×80+0.3×100+0.2×60=82 ；綜合權重和排序比模型下F1的綜合評價值為

類似地，可以計算出F2～F4在兩個模型下的綜合評價值，見表4。

表4 兩個評價模型的評價結果

從表4中可以看到，利用權重和排序比綜合模型可以進一步獲得個體在群體中的相對表現(xiàn)，比如個體F1和F3，雖然兩者的加權平均值相同，但是F1的綜合模型值更高，表明F1在某些指標上具有更好的相對表現(xiàn)。同時，利用兩個模型評價值之差，也可以判斷出個體在群體中的相對表現(xiàn)的整體情況。差值越大，表明相對表現(xiàn)越好。

3 方法實現(xiàn)和應用情況

根據(jù)上述定義的指標體系和評價模型，實際應用中開發(fā)了本科教學狀態(tài)數(shù)據(jù)采集平臺，完成數(shù)據(jù)采集和質量評價。數(shù)據(jù)采集平臺框架見圖1。

數(shù)據(jù)來源于兩個方面：一方面與學校教學管理系統(tǒng)對接，由系統(tǒng)自動收集各二級學院各年度的客觀性教學狀態(tài)基礎數(shù)據(jù)，比如四級率、畢業(yè)率等；另一方面，需要專家評定打分的數(shù)據(jù)，由專家在平臺在線進行評分。最后依據(jù)本文模型進行二級學院本科教學質量的綜合評價。

圖1 教學基礎數(shù)據(jù)采集平臺框架

我們所提方法在我校已經(jīng)進行了實際應用，對教學管理發(fā)揮了較好的支持作用。方法有如下優(yōu)勢：①評價指標體系比較完整地概括了學校的主要教學質量監(jiān)測點，也受到被評價單位的認可。層次化的指標體系與專家的指標設定習慣相符，易于擴充和變更，1-9標度法的定性比較適合以專家經(jīng)驗為基礎的初值設定。②利用AHP評價方法將定性和定量結合起來的優(yōu)勢，在專家定性比較的基礎上給出量化的權重值，能夠既充分發(fā)揮專家的宏觀判斷優(yōu)勢，又能彌補專家精確數(shù)值量化評價的困難，適合教學這樣復雜系統(tǒng)的特性。③在加權平均模型的基礎上引入排序比因子構建評價模型，評價人員不僅能獲得個體的總體表現(xiàn)，同時能夠獲得更多的個體在群體中的相對表現(xiàn)信息。

4 結 語

高質量的本科教學評價對提高教學質量至關重要。我們結合高校本科教學質量評價的關鍵問題，構建基于AHP和排序比的高校本科教學質量綜合評價方法。隨著收集數(shù)據(jù)的增多，下一步的工作中，我們將引入機器學習方法，研究基于機器學習的教學質量評價方法。