基于層次分析法的成績綜合評(píng)價(jià)模型改進(jìn)

周 妍，張 然，王東生

(1.銅陵學(xué)院 機(jī)械工程學(xué)院，安徽 銅陵 244061；2.銅陵學(xué)院 數(shù)學(xué)與計(jì)算機(jī)學(xué)院，安徽 銅陵 244061)

一、引言

地方應(yīng)用型本科高校的核心任務(wù)就是培養(yǎng)綜合素質(zhì)高、基礎(chǔ)技術(shù)過硬、創(chuàng)新能力突出的應(yīng)用型人才[1]。培養(yǎng)應(yīng)用型人才除了完備的培養(yǎng)體系之外，客觀公正的考核評(píng)價(jià)體系也尤為重要?？陀^的成績評(píng)價(jià)體系旨在發(fā)掘?qū)W生的潛力，有利于用人單位選拔更適合的人才[2]。構(gòu)造評(píng)價(jià)模型反映學(xué)生客觀的學(xué)習(xí)效果，發(fā)現(xiàn)學(xué)生自身的長處和薄弱環(huán)節(jié)，進(jìn)而推動(dòng)課程教學(xué)改革，促進(jìn)教學(xué)改革效果和效益最大化。同時(shí)，通過模型的反饋信息，也可以促進(jìn)學(xué)生在今后的學(xué)習(xí)過程中清楚地認(rèn)識(shí)到自己的學(xué)習(xí)情況，不斷調(diào)整學(xué)習(xí)狀態(tài)，達(dá)到最高的學(xué)習(xí)效率。這也能對(duì)職業(yè)規(guī)劃起到一定的指引作用。

隨著高等學(xué)校教學(xué)改革的不斷深化，教學(xué)模式進(jìn)一步多元化，考核內(nèi)容繁多。目前的考核結(jié)果一般為平時(shí)成績、實(shí)驗(yàn)成績和期末成績的加權(quán)平均計(jì)算。該方法過于粗糙，權(quán)重設(shè)置不夠合理，無法綜合反映出學(xué)生的真實(shí)學(xué)習(xí)水平[3-4]。層次分析法(Analytic Hierarchy Process，AHP)可以將定性與定量因子在同一尺度下進(jìn)行評(píng)價(jià)與比較，是一種科學(xué)的決策方法，在發(fā)動(dòng)機(jī)缸體生產(chǎn)線設(shè)備可用性的模糊綜合評(píng)價(jià)[5]，鐵路安全風(fēng)險(xiǎn)綜合評(píng)估[6]，區(qū)域交通一體化評(píng)價(jià)[7]等領(lǐng)域均取得了有效應(yīng)用成果。本文以機(jī)器人技術(shù)課程為依托，分析了傳統(tǒng)評(píng)價(jià)方法的弊端和缺陷，然后采用層次分析法改進(jìn)了學(xué)生成績的綜合評(píng)價(jià)模型。通過AHP確定評(píng)價(jià)指標(biāo)的相對(duì)權(quán)重，最終確定每個(gè)學(xué)生的綜合評(píng)價(jià)結(jié)果并排序，提煉出學(xué)生的優(yōu)缺點(diǎn)評(píng)價(jià)信息。實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)模型相比，新的模型能夠明顯提高綜合評(píng)價(jià)結(jié)果的客觀性、準(zhǔn)確性，反饋信息驗(yàn)證了評(píng)價(jià)模型的準(zhǔn)確性、客觀性和實(shí)用性。

二、傳統(tǒng)成績評(píng)價(jià)模型的不足與改進(jìn)

(一)傳統(tǒng)成績評(píng)價(jià)模型

目前成績評(píng)價(jià)模型由各項(xiàng)考核指標(biāo)簡單加權(quán)計(jì)算綜合得分，然后根據(jù)得分進(jìn)行評(píng)價(jià)。具體計(jì)算方法如下：

總成績=期末考試成績*w1+平時(shí)成績*w2+實(shí)驗(yàn)成績*w3，權(quán)重通常由經(jīng)驗(yàn)確定，一般w1取60%～70%，w2、w3一共取30%～40%。

(二)不足與改進(jìn)

目前的評(píng)價(jià)模型優(yōu)勢在于考核項(xiàng)目較少，評(píng)價(jià)過程簡單。但在廣泛使用過程中發(fā)現(xiàn)其評(píng)價(jià)結(jié)果客觀性較差，評(píng)價(jià)結(jié)果比較單一。最終結(jié)果僅有分?jǐn)?shù)排名，所以難以給出合理化建議反饋給學(xué)生，學(xué)生無法通過評(píng)價(jià)結(jié)果了解自己的薄弱環(huán)節(jié)。主要不足體現(xiàn)在以下幾點(diǎn)：

(1)評(píng)價(jià)指標(biāo)權(quán)重之間的相互影響關(guān)系未充分考慮。

(2)評(píng)價(jià)指標(biāo)過少，客觀性差，難以全面正確評(píng)價(jià)學(xué)生的真實(shí)水平。

(3)線上指標(biāo)及學(xué)習(xí)過程的指標(biāo)未考慮。

(4)評(píng)價(jià)指標(biāo)之間只用簡單的加權(quán)平均方法計(jì)算，最終得分的區(qū)分度不高。

針對(duì)上述不足，本文對(duì)評(píng)價(jià)指標(biāo)進(jìn)行細(xì)化和拓展，采用AHP將評(píng)價(jià)指標(biāo)分層，充分考慮不同指標(biāo)之間的相互影響，根據(jù)綜合權(quán)重得到最終得分。使用者可根據(jù)自己的側(cè)重點(diǎn)，改變相對(duì)重要度，從而彌補(bǔ)了傳統(tǒng)算法的缺點(diǎn)。

三、改進(jìn)的成績綜合評(píng)價(jià)模型

(一)概述

機(jī)器人技術(shù)課程采用以項(xiàng)目為依托的線上線下融合式教學(xué)。在整個(gè)教學(xué)過程中，用一個(gè)綜合項(xiàng)目貫穿整個(gè)學(xué)習(xí)過程。全班分為10個(gè)組，每個(gè)組一個(gè)項(xiàng)目，每組同學(xué)均需明確設(shè)計(jì)任務(wù)，確定設(shè)計(jì)方案，分配設(shè)計(jì)任務(wù)，完成硬件設(shè)計(jì)，軟件設(shè)計(jì)，經(jīng)濟(jì)性分析，撰寫設(shè)計(jì)說明書，匯報(bào)設(shè)計(jì)成果。教師在每個(gè)環(huán)節(jié)均要給出評(píng)價(jià)和指導(dǎo)。

課堂教學(xué)以項(xiàng)目為導(dǎo)向進(jìn)行課程講授，利用雨課堂平臺(tái)輔助線下教學(xué)，教師線下授課過程中利用雨課堂平臺(tái)完成簽到和隨機(jī)提問，并將授課PPT同步推送到學(xué)生手機(jī)上。雨課堂可以搜集學(xué)生對(duì)課堂教學(xué)的掌握情況，并據(jù)此發(fā)布相關(guān)測試題目。授課結(jié)束后，通過雨課堂發(fā)送本節(jié)課的作業(yè)題和討論題，以及下節(jié)課的預(yù)習(xí)題。

課程同步開設(shè)課內(nèi)實(shí)驗(yàn)，實(shí)驗(yàn)開設(shè)以能力培養(yǎng)為原則。實(shí)驗(yàn)分為基礎(chǔ)實(shí)驗(yàn)和創(chuàng)新實(shí)驗(yàn)兩部分，由實(shí)驗(yàn)教師專門負(fù)責(zé)，要求完成實(shí)驗(yàn)報(bào)告，提交項(xiàng)目報(bào)告書，完成項(xiàng)目匯報(bào)。

(二)評(píng)價(jià)指標(biāo)的遴選

1.客觀成績

(1)期末考試成績(A11)

期末考試重點(diǎn)考查學(xué)生對(duì)基礎(chǔ)知識(shí)的掌握，閱卷采用課題組成員流水閱卷。

(2)期中考試成績(A12)

期中考試反映了本學(xué)科的階段性學(xué)習(xí)效果，主要目的是提示學(xué)生補(bǔ)缺補(bǔ)差，試卷同樣在試題庫中抽取，試卷題型與總分和期末考試相同。

2.實(shí)踐成績

(1)基礎(chǔ)實(shí)驗(yàn)報(bào)告成績(A21)

基礎(chǔ)實(shí)驗(yàn)要求操作規(guī)范準(zhǔn)確并要求完成實(shí)驗(yàn)報(bào)告的撰寫。其中最重要的是對(duì)實(shí)驗(yàn)結(jié)果的分析以及討論，這些是主要的評(píng)分要點(diǎn)。

(2)基礎(chǔ)實(shí)驗(yàn)操作成績(A22)

教師通過實(shí)驗(yàn)平臺(tái)演示基礎(chǔ)實(shí)驗(yàn)操作，學(xué)生以重復(fù)實(shí)驗(yàn)為主。實(shí)驗(yàn)操作的規(guī)范性為主要的得分點(diǎn)，由專職實(shí)驗(yàn)教師組打分。

(3)創(chuàng)新實(shí)驗(yàn)報(bào)告成績(A23)

創(chuàng)新實(shí)驗(yàn)反映了學(xué)生的融會(huì)貫通、發(fā)散思維以及創(chuàng)新能力，重點(diǎn)是創(chuàng)新點(diǎn)的建立和實(shí)驗(yàn)結(jié)果的分析討論，由專職實(shí)驗(yàn)教師組打分。

(4)創(chuàng)新實(shí)驗(yàn)操作成績(A24)

創(chuàng)新實(shí)驗(yàn)是基于實(shí)驗(yàn)臺(tái)的創(chuàng)新性搭建，因此創(chuàng)新實(shí)驗(yàn)的操作是否符合規(guī)范、是否有創(chuàng)新理念是主要的得分點(diǎn)，由專職實(shí)驗(yàn)教師組打分。

(5)綜合項(xiàng)目報(bào)告成績(A25)

項(xiàng)目報(bào)告主要考查學(xué)生對(duì)項(xiàng)目的研究背景、項(xiàng)目問題的描述、項(xiàng)目方案、解決方案是否有詳細(xì)準(zhǔn)確的闡述，反映了學(xué)生綜合實(shí)踐能力以及概括表述創(chuàng)新實(shí)踐能力。該項(xiàng)分?jǐn)?shù)由項(xiàng)目組教師給出。

(6)綜合項(xiàng)目操作成績(A26)

綜合項(xiàng)目反映了學(xué)生的動(dòng)手能力、綜合實(shí)踐能力、創(chuàng)新能力和協(xié)作能力。該項(xiàng)打分由項(xiàng)目組教師給出。

3.過程考核成績

(1)討論成績(A31)

課堂討論可以激發(fā)學(xué)習(xí)興趣，了解學(xué)習(xí)狀況，開拓學(xué)生的思路。此項(xiàng)成績由教師和討論小組長共同給出。

(2)項(xiàng)目匯報(bào)成績(A32)

項(xiàng)目匯報(bào)包括闡述工作內(nèi)容，展示項(xiàng)目成果，綜合反映了學(xué)生的臨場反應(yīng)能力以及知識(shí)儲(chǔ)備。該項(xiàng)成績由答辯組教師給出。

(3)項(xiàng)目創(chuàng)新性成績(A33)

在整個(gè)項(xiàng)目過程中該成績可以體現(xiàn)出創(chuàng)新性內(nèi)容。該項(xiàng)分?jǐn)?shù)由項(xiàng)目組指導(dǎo)教師給出。

(4)小組協(xié)作成績(A34)

團(tuán)隊(duì)不僅僅強(qiáng)調(diào)個(gè)人的工作成績，更強(qiáng)調(diào)整體業(yè)績，團(tuán)隊(duì)協(xié)作能力是應(yīng)對(duì)職場的重要能力。本項(xiàng)分?jǐn)?shù)由項(xiàng)目組指導(dǎo)教師給出。

(5)出勤率(A35)

出勤率反映了學(xué)生對(duì)課程的態(tài)度是否端正。出勤率由雨課堂系統(tǒng)直接給出。

(6)課堂互動(dòng)(A36)

課堂互動(dòng)旨在反映學(xué)生在課堂上精力是否集中，以及對(duì)授課內(nèi)容的理解程度。良好的互動(dòng)對(duì)教師的教與學(xué)生的學(xué)是雙向促進(jìn)的。課堂互動(dòng)成績由授課教師給出。

(7)作業(yè)成績(A37)

作業(yè)是學(xué)習(xí)過程中必不可少的一個(gè)環(huán)節(jié)。學(xué)生通過作業(yè)反映對(duì)課程的掌握程度，培養(yǎng)獨(dú)立思考能力。此項(xiàng)成績由雨課堂系統(tǒng)和教師共同給出。

(8)預(yù)習(xí)成績(A38)

良好的預(yù)習(xí)效果會(huì)使學(xué)習(xí)效率倍增。預(yù)習(xí)成績由雨課堂系統(tǒng)給出。

(三)計(jì)算評(píng)價(jià)指標(biāo)權(quán)重

基于AHP成績綜合評(píng)價(jià)模型的評(píng)價(jià)指標(biāo)權(quán)重計(jì)算步驟如下：

1.建立層次結(jié)構(gòu)模型

考慮課程考核的各環(huán)節(jié)，綜合所有評(píng)價(jià)指標(biāo)建立如圖1所示的層次模型。

圖1 綜合評(píng)價(jià)層次模型

2.構(gòu)造判斷矩陣

領(lǐng)域?qū)＜医M由授課教師、實(shí)驗(yàn)教師、教務(wù)處和實(shí)踐管理處人員、正在學(xué)習(xí)和往屆學(xué)習(xí)過機(jī)器人技術(shù)的學(xué)生、機(jī)器人專業(yè)從業(yè)人員。通過領(lǐng)域?qū)＜艺{(diào)查并查閱相關(guān)文獻(xiàn)，得出層次評(píng)價(jià)指標(biāo)的重要度數(shù)值，則得出判斷矩陣如表1～4所示。

表1 頂層因素判斷矩陣

頂層因素判斷矩陣：最大特征值λmax=3.135 61，一致性CR=0.130 395，CI=0.067 805 4，滿足一致性檢驗(yàn)。

表2 客觀成績層判斷矩陣

客觀成績層判斷矩陣：最大特征值λmax=2，一致性CR=0，CI=0，滿足一致性檢驗(yàn)。

實(shí)踐成績層判斷矩陣：最大特征值λmax=6.381 82，一致性CR=0.060 605 6，CI=0.076 363，滿足一致性檢驗(yàn)。

過程考核成績層判斷矩陣：最大特征值λmax=8.646 33，一致性CR=0.065 484 4，CI=0.092 333，滿足一致性檢驗(yàn)。

3.一致性檢驗(yàn)

求出最大特征根λmax之后，進(jìn)行一致性檢驗(yàn)，即計(jì)算一致性比例CR：

當(dāng)CR小于0.1時(shí)，認(rèn)為判斷矩陣的一致性是可接受的，否則需要重新調(diào)整各元素權(quán)重。

4.計(jì)算各元素權(quán)重

見表5～6所示。

表3 實(shí)踐成績層判斷矩陣

表4 過程考核成績層判斷矩陣

表5 中間層權(quán)重

表6 底層權(quán)重

5.計(jì)算綜合成績得分

根據(jù)上述綜合權(quán)重得出綜合成績計(jì)算公式：

綜合成績=0.0228×A11+0.0685×A12+0.037×A21+0.0341×A22+0.0915×A23+0.0996×A24+0.2257×A25+0.2257×A26+0.0071×A31+0.0172×A32+0.0645×A33+0.0224×A34+0.0441×A35+0.0081×A36+0.0266×A37+0.0089×A38

隨機(jī)選取2017級(jí)機(jī)械電子工程專業(yè)50名學(xué)生成績，驗(yàn)證模型的有效性。計(jì)算出學(xué)生成績綜合評(píng)價(jià)得分如表7所示(得分取整數(shù))。

表7 評(píng)價(jià)得分表

最終得分通過對(duì)各項(xiàng)成績的加權(quán)求和來計(jì)算，充分考慮了各方面元素之間的相互影響。

(四)結(jié)果分析

根據(jù)學(xué)生的最終得分，結(jié)合學(xué)生的平時(shí)表現(xiàn)及授課教師的反饋，該成績綜合評(píng)價(jià)模型總體上能客觀準(zhǔn)確反映學(xué)生的學(xué)習(xí)狀況。學(xué)習(xí)主動(dòng)性強(qiáng)、平時(shí)表現(xiàn)優(yōu)秀的學(xué)生均得到了相匹配的成績；學(xué)習(xí)能動(dòng)性差、努力程度欠佳的學(xué)生成績相對(duì)差一些。樣本中包含的特例恰恰反映了模型的客觀性，能夠準(zhǔn)確將客觀因素反映在最終得分上，有效地彌補(bǔ)了傳統(tǒng)模型的缺陷。樣本中幾個(gè)特例情況如下：

樣本11期末考試74分，期中考試93。由于該生期末考試當(dāng)日發(fā)燒，最后的分析題沒寫完就提前交卷了。但是該生平時(shí)學(xué)習(xí)認(rèn)真，曾在省級(jí)機(jī)器人大賽中獲得一等獎(jiǎng)。該評(píng)價(jià)模型得出的最終得分為95，真實(shí)地反映了該生的正常水平，基本彌補(bǔ)了期末考試的失誤。

樣本20期末考試65分，最終得分為91。從各項(xiàng)考核成績能夠清晰地看出，該生平時(shí)成績表現(xiàn)突出，無論是實(shí)驗(yàn)還是綜合項(xiàng)目均表現(xiàn)優(yōu)秀，上課也很認(rèn)真，課堂互動(dòng)積極主動(dòng)，課后作業(yè)、預(yù)習(xí)作業(yè)都完成得較好。雖然期末成績并不理想，但最終得分比較客觀地反映了該生的實(shí)際表現(xiàn)。

樣本17期末考試87分。該生平時(shí)學(xué)習(xí)認(rèn)真、態(tài)度端正，但動(dòng)手能力相對(duì)較弱，實(shí)操類成績偏低，因此影響了最終得分，僅為77分。同時(shí)可以發(fā)現(xiàn)，該班的期末考試成績比期中考試成績有所提高，一方面教師從各種數(shù)據(jù)的反饋中發(fā)現(xiàn)問題，適當(dāng)調(diào)整了教學(xué)方法；另一方面學(xué)生也可以從自己的期中考試成績中發(fā)現(xiàn)問題，在后續(xù)學(xué)習(xí)中有針對(duì)性地強(qiáng)化訓(xùn)練，這恰恰說明了期中成績對(duì)學(xué)生有一定的督促和警示作用。

四、結(jié)論

基于層次分析法的成績綜合評(píng)價(jià)模型不同于以往的評(píng)價(jià)模型，其優(yōu)點(diǎn)主要有以下幾點(diǎn)：

(1)充分考慮了學(xué)生各方面的學(xué)習(xí)影響因素，包括客觀考試成績、實(shí)踐能力、課堂表現(xiàn)、作業(yè)、考勤等，將因素之間的相互影響確定為綜合權(quán)重，通過模型反映到最終得分中，有效地將學(xué)生成績綜合得分差異化。

(2)不僅給出最終得分，還包括了學(xué)習(xí)期間各環(huán)節(jié)的得分。學(xué)生可以更直觀地了解自己的學(xué)習(xí)情況，教師也可以通過各項(xiàng)成績了解學(xué)生的學(xué)習(xí)狀況，有針對(duì)性地對(duì)學(xué)生進(jìn)行綜合分析和綜合評(píng)價(jià)。

(3)將線上和線下教學(xué)環(huán)節(jié)和教學(xué)內(nèi)容融合在一起，評(píng)價(jià)結(jié)果更加客觀、全面、真實(shí)。

(4)在綜合考慮了各個(gè)評(píng)價(jià)指標(biāo)相對(duì)重要性的基礎(chǔ)之上，確定了綜合權(quán)重系數(shù)，結(jié)果顯示綜合項(xiàng)目報(bào)告和綜合項(xiàng)目操作成績的權(quán)重最大，反映了樣本數(shù)據(jù)來源的真實(shí)情況，即應(yīng)用型本科學(xué)校的定位，從而驗(yàn)證了本文模型的客觀性和適用性。

基于層次分析法的成績綜合評(píng)價(jià)模型可以有效得出綜合評(píng)價(jià)得分，反映出評(píng)價(jià)對(duì)象真實(shí)的學(xué)習(xí)情況以及存在的問題，可以為學(xué)生、教師、用人單位、競賽選拔、能力測試提供參考依據(jù)。