教學質(zhì)量多目標評價方法的研究及應(yīng)用

曾燕， 陳高云

(成都信息工程學院軟件工程學院， 成都610225)

教學質(zhì)量多目標評價方法的研究及應(yīng)用

曾燕， 陳高云

(成都信息工程學院軟件工程學院， 成都610225)

針對課程教學全過程的特點對課程教學質(zhì)量進行科學評價是教學改革的重要任務(wù)。提出基于懲罰因子的層次分析法建立課程教學質(zhì)量多目標評價模型，采用學生評教數(shù)據(jù)、教師評學數(shù)據(jù)和課堂考勤提問等授課過程中的大量客觀數(shù)據(jù)，利用層次分析法將教學質(zhì)量量化，并采用懲罰因子對評價結(jié)果進行修正，對課程的教學質(zhì)量進行綜合評估，從而為課程教學的改革提供決策支持。將評價模型運用于課程教學過程化管理平臺，對三個學院的37名教師和2100名學生的課程教學質(zhì)量進行了評估實驗，結(jié)果表明，基于懲罰因子的層次分析法的課程教學質(zhì)量多目標評價方法能夠客觀、科學地反映教師的課程教學質(zhì)量。

層次分析法；懲罰因子；多目標評價；教學質(zhì)量

引言

隨著信息化社會的發(fā)展，新時代更加需要兼具創(chuàng)新精神和實踐能力的新型人才，教學質(zhì)量的創(chuàng)新和提高是高等教育發(fā)展和社會各界時刻關(guān)注的問題之一[1]。要培養(yǎng)出優(yōu)秀的實用型人才，課程教學是關(guān)鍵。課堂教學質(zhì)量評價是教育質(zhì)量體系的核心環(huán)節(jié)之一，國內(nèi)外研究人員進行了廣泛而深入的研究，提出了基于權(quán)值計算的問卷式主觀評價模型[2]、全程性課程教學質(zhì)量評價模型、多元化課程教學質(zhì)量評價模型等多種課程教學質(zhì)量評價模型。教學質(zhì)量具有多維性的評價指標[3]，如Marsh和Dunkin提出：教學技能、師生關(guān)系、結(jié)構(gòu)、組織和作業(yè)量五個評價維度[4]，以及Kolitch提出的課程組織、行為管理、學生成績評價和師生關(guān)系四個評價維度[5]。

傳統(tǒng)課程教學質(zhì)量評價以學生評教為主，評教工作局限于以表格的形式統(tǒng)一評教，這樣的評教方式在各大高校已運用多年，評價指標和評價方式的可信度較高。但該方法單一、片面，且?guī)熒g缺乏互動性，不能全方位地對教師教學、學生學習態(tài)度進行量化、客觀的評價，并且難以對課程教學進行過程化管理和監(jiān)控，教學改進存在滯后性。因此，提出基于懲罰因子的層次分析法的課程教學質(zhì)量多目標評價方法，以提高課程教學質(zhì)量評價的互動性和全面性，從而提高課程教學質(zhì)量評價的科學性和可信度。

國內(nèi)和國外研究學者對評價指標的權(quán)值算法進行研究，提出了很多有效的計算方法，如熵值法[6]、層次分析法(Analytical Hierarchy Process)、灰色關(guān)聯(lián)分析法(Grey Relational Analysis)[7]和績效二維結(jié)構(gòu)法[8]等。其中層次分析法是課程教學質(zhì)量評價模型中最常用的權(quán)值計算方法[9]。層次分析法是美國運籌學家匹茨堡大學教授薩蒂(Saaty T L.)提出，該方法對復(fù)雜的決策問題的本質(zhì)、影響因素及其內(nèi)在關(guān)系等進行深入分析的基礎(chǔ)上，利用較少的定量信息使決策的思維過程數(shù)學化，從而為多目標、多準則或無結(jié)構(gòu)特性的復(fù)雜決策問題提供簡便的決策方法，也是針對難于完全定量的復(fù)雜系統(tǒng)做出決策的模型和方法[10-13]。

本文針對傳統(tǒng)課程教學質(zhì)量評價中存在的問題，利用層次分析法的決策優(yōu)點，提出基于懲罰因子的層次分析法的課程教學質(zhì)量多目標評價方法。該方法以層次分析法為基礎(chǔ)，全面分析課程教學質(zhì)量影響因素，并利用懲罰因子對課程教學質(zhì)量不一致的評價結(jié)果進行合理標注并修建，以降低其對評價目標的噪音干擾，確保課程教學質(zhì)量評價的有效性，提高課程教學質(zhì)量評價的可信度。此外，依據(jù)課程教學質(zhì)量評價結(jié)果的數(shù)據(jù)維度可視性、固有的概念模式、明確的匹配方式和反饋機制等結(jié)構(gòu)特征，設(shè)計了基于懲罰因子層次分析法的課程教學評價方法，并結(jié)合該評價方法實現(xiàn)了課程教學過程化管理平臺。該方法在教學全過程能夠正確反映教師的教學質(zhì)量情況，并能夠?qū)虒W全過程進行全方位的考核，實現(xiàn)課程教學質(zhì)量評價的有效性和客觀全面性，進一步說明該方法在高等教育的課程教學質(zhì)量評價過程中具有很高的推廣價值。

1 基于懲罰因子的層次分析法

為全面分析課程教學質(zhì)量的影響因素，實現(xiàn)教師的課程教學質(zhì)量量化評估，在層次分析法的基礎(chǔ)上引入懲罰因子，將課程質(zhì)量評價的客觀和主觀因素用層次分析法進行獨立分析，將判斷思維進行數(shù)字量化，并用懲罰因子對結(jié)果進行平滑過渡調(diào)整操作，使某些噪音干擾收斂至平衡狀態(tài)，以達到課程教學質(zhì)量評價的客觀性和合理性。

1.1術(shù)語解釋

(1) 判斷矩陣

假設(shè)有n2個因素，Χ為Xij組成的n階判斷矩陣，其中Xij為第i個元素對第j個元素的相對重要性。Χ記為：

(2) 一致性檢驗

一致性是指判斷思維的邏輯一致性，如元素a、b、c，a比b重要，b比c重要時，則a一定比c重要，否則判斷不合理，因此用矩陣理論對判斷矩陣進行一致性檢驗。判斷條件為：當CI=0時，該矩陣通過一致性檢驗，當CR≠0時，若判斷條件滿足：

(1)

表1 平均隨機一致性指標

(3) 懲罰因子

圖1 調(diào)整方向示意圖

(2)

1.2層次分析法

層次分析法能夠全面分析課程教學質(zhì)量的影響因素，按照各因素之間的關(guān)聯(lián)關(guān)系進行層次分類，通過專家意見列出因素的相對重要性，并對各因素進行運算和比較，得出不同方案的權(quán)值，從而為選擇最佳的決策提供依據(jù)。層次結(jié)構(gòu)模型以頂層為目標層，中間層依次為支撐目標的準則和子準則，底層為準則的方案層。層次分析法分為以下6步：

(1)首先確定研究的問題。

(2)把問題條理化、層次化，分析其因素的關(guān)聯(lián)，并建立層次結(jié)構(gòu)圖。

(3)根據(jù)專家判定因素的重要性構(gòu)造判斷矩陣[12]，判斷矩陣的判斷標度含義見表2。

表2 判斷矩陣標度含義

(4)計算判斷矩陣的最大特征值λmax和幾何平均值，求出各因素權(quán)值。

(5)根據(jù)最大特征值λmax和一致性檢驗標準進行一致性檢驗。

(6)將通過一致性檢驗的因素權(quán)值與其量值進行計算，即得到課程教學質(zhì)量評價結(jié)果。具體流程如圖2所示。

圖2 層次分析法流程圖

1.3基于懲罰因子的層次分析法

層次分析法是以專家意見為依據(jù)，對課程教學質(zhì)量

的評價指標進行分類，然后分別利用層次分析法對分類結(jié)果進行建模訓練和結(jié)果計算，得到各子目標的結(jié)果。

正常情況下，課程教學質(zhì)量的評價可信度根據(jù)評價指標分值的一致性來判斷，一致性越好，可信度越高。當評價指標分值不一致的時候，需要在評價指標平均值的基礎(chǔ)上為評價指標的偏離程度設(shè)置一個懲罰因子，對偏離情形采用平滑過渡調(diào)整操作，使偏離收斂至一個平衡狀態(tài)。則課程教學質(zhì)量的計算公式為：

(3)

2 評價模型層次結(jié)構(gòu)的建立

教學平臺是高校教育的一種重要方式[15]，課程教學過程化管理平臺是一個記錄課程教學全過程的教學輔助平臺，結(jié)合該教學平臺的功能以及課程教學過程的特點，課程教學質(zhì)量從學生評教、教師評學以及課程教學客觀授課數(shù)據(jù)三方面進行評價，并根據(jù)該教學平臺的數(shù)據(jù)對該方法進行驗證。因此，利用層次分析法的分層思想，將課程教學質(zhì)量設(shè)置為目標層，學生評教、教師評學以及客觀授課為子目標層。

2.1評價指標

根據(jù)教學專家意見和課程教學過程化管理平臺的功能支持，列出課程教學質(zhì)量的影響因素，確定學生評教、教師評學以及課程教學客觀授課為課程教學質(zhì)量評價的三個子目標，包括10個維度和22個指標，見表3。

其中評教有效率為有效評教次數(shù)與評教總次數(shù)的比值，評教同意率為評教同意人數(shù)與評教參與總?cè)藬?shù)的比值。評教未申訴率為有效評教中教師未發(fā)起申訴的評教次數(shù)與有效評教次數(shù)的比值。評教申訴無效率表示無效申訴次數(shù)與評教申訴次數(shù)的比值。評教有效率、評教同意率、評教未申訴率和評教申訴無效率反應(yīng)學生的評教態(tài)度和評教可信度，為學生評教的方案層評價指標。

表3 課程教學質(zhì)量評價指標

評學有效率為有效評學次數(shù)與評學總次數(shù)的比值，評學未申訴率為有效評學中未申訴次數(shù)與有效評學次數(shù)的比值，評學申訴無效率表示無效申訴次數(shù)與評學申訴總次數(shù)的比值。評學有效率、評學未申訴率、評學申訴無效率反映了教師評學態(tài)度以及評學的客觀性和有效性。為教師評學的方案層評價指標。

以課件上傳量、下載量、組卷量和作業(yè)完成率等指標作為評估教師授課情況和學生學習情況的依據(jù)，能夠較為客觀的反應(yīng)教師授課態(tài)度、授課內(nèi)容以及學生的學習態(tài)度和對知識的掌握程度。因此，將課件上傳量、下載量、組卷量和作業(yè)完成率等作為客觀授課的方案層評價指標。

2.2層次結(jié)構(gòu)的建立

根據(jù)對評價指標的分析，建立課程教學質(zhì)量評價層次結(jié)構(gòu)。整個層次結(jié)構(gòu)分為四層，即目標層、子目標層、準則層和方案層。子目標層包括學生評教、教師評學、客觀授課三個子目標；準則層涉及評教頻度、評教分值、評學頻度和課件資源質(zhì)量等10個維度；方案層涵蓋評教次數(shù)、評教分值、評學分值和資源上傳量等22個評價指標。具體層次結(jié)構(gòu)如圖3所示。

圖3 課程教學質(zhì)量評價層次結(jié)構(gòu)圖

2.3指標權(quán)值的計算

以學生評教為例，計算準則層和方案層的權(quán)值。根據(jù)教學專家對準則層評價指標進行分析，判定各評價指標的相對重要性，并根據(jù)表4構(gòu)成B0—B3的四階判斷矩陣。

表4B0—B3的四階判斷矩陣

根據(jù)判斷矩陣計算B0—B3權(quán)值，即：

(4)

其中，χi為判斷矩陣第i行的幾何平均值[16]，即：

(5)

計算結(jié)果見表5。

表5 判斷矩陣權(quán)值計算結(jié)果

使用相同計算方法對方案層評價指標進行計算，計算結(jié)果分別見表6、表7和表8。

表6C01—C02判斷矩陣及相對權(quán)值

表7C21—C22判斷判斷矩陣及相對權(quán)值

表8C31—C32判斷矩陣及相對權(quán)值

計算后，對數(shù)據(jù)進行一致性驗證。經(jīng)驗證，結(jié)果均符合一致性要求。

由于方案層數(shù)據(jù)類型不一致，如評教分值為0-100分，評教次數(shù)0-20(評教次數(shù)與教學周次有關(guān))，因此需要對不同數(shù)量級的數(shù)據(jù)進行數(shù)據(jù)標準化處理。利用線性變換法[17-18]對方案層數(shù)據(jù)進行標準化處理，目標A1的計算為：

(6)

其中，

(7)

其中，A1、Bi和Cij分別為子目標層、準則層和方案層的評價指標，Wi和Wj分別為Bi和Cij的權(quán)值。

3 實驗與分析

3.1實驗結(jié)果

將基于懲罰因子的層次分析法應(yīng)用于課程教學過程化平臺，利用課程教學過程化管理平臺的學生評教數(shù)據(jù)、教師評學數(shù)據(jù)和客觀授課數(shù)據(jù)，以軟件工程專業(yè)的4名教師、2門課程和10個教學班級為例，實驗結(jié)果如圖4所示。

圖4 兩名教師兩門課程教學質(zhì)量結(jié)果

圖4(a)為軟件工程學院課程1，教師1對1-3班和教師2對4-6班的課程教學質(zhì)量評價結(jié)果。圖4(b)為軟件工程學院課程2，教師3對1-2班和教師4對3-4班的課程教學質(zhì)量評價結(jié)果。由圖4可知，教師1和教師4的課程教學質(zhì)量評價結(jié)果在80-90之間，教師2的課程教學質(zhì)量評價結(jié)果在85-90之間，教師3的課程教學質(zhì)量評價結(jié)果在75-85之間。結(jié)果表明，同一教師對不同教學班級進行課程教學，課程教學質(zhì)量評價結(jié)果趨于一致，其差值較小。

對軟件工程學院三名教師的三門課程進行課程教學質(zhì)量評價。結(jié)果見表9。

表9 三名教師三門課程評價結(jié)果

三名教師的各課程教學質(zhì)量結(jié)果對比如圖5所示。

圖5 三名教師多門課程評價結(jié)果圖

由圖5可知，對于教師1，課程3分值較高，課程1次之，課程2分值最低；教師2課程3分值較高，課程1和2分值較低；教師3課程2分值較高，課程1和3分值均較低。結(jié)果表明，同一教師對多門課程進行授課，其中只有1-2門課程的課程教學質(zhì)量評價結(jié)果分值較高，其他課程教學質(zhì)量評價結(jié)果相對較低，符合教師一般擅長對1-2門課程進行授課的現(xiàn)實情況。

3.2實驗分析

由實驗結(jié)果對比可知，以學生評教、教師評學和客觀授課三方數(shù)據(jù)進行課程教學質(zhì)量評價，從驗證結(jié)果可以看出，教師對同一課程的不同教學班級進行授課，其課程教學質(zhì)量評定結(jié)果趨于一致，其差值較小。對不同教學班級的三方數(shù)據(jù)、懲罰因子的大小和懲罰方向進行分析，判斷不同教學班級存在的問題。如教師對班級1的授課，教師評學為異常數(shù)據(jù)，三方數(shù)據(jù)平均分為85.0，懲罰因子-0.039，表明該教學班級的整體評學成績較低，教師應(yīng)增加評學頻度，以增加評學的可信度，另一方面，應(yīng)注意改善班級的學習氛圍，以提高課程教學的整體質(zhì)量。

針對同一教師對不同課程進行授課的情況，其課程教學質(zhì)量評價分值越高，表明教師對該門課程越擅長。如圖5所示，教師A和教師B均擅長課程3的授課，比較教師A和教師B對課程3的懲罰因子和課程教學質(zhì)量評價分值，教師A和教師B的懲罰因子均為-0.031，而教師A的課程教學質(zhì)量評價分值高于教師B，因此，選擇教師A對課程3進行授課，教師C擅長對課程2進行授課。

4 結(jié)束語

本文面向課程教學質(zhì)量評價的客觀性、全面性需求，提出基于懲罰因子的層次分析法的課程教學質(zhì)量多目標評價方法。該方法能夠客觀反映教師和學生之間課程教學的授課與學習情況的質(zhì)量，并能快速判斷教學中存在的問題，在全面性和客觀性上具有突出優(yōu)勢，此外層次分析法計算方便，可操作性強?；趹土P因子的層次分析法的課程教學質(zhì)量多目標評價方法在提高教學互動性和對課程教學質(zhì)量進行智能評價的同時，為教師和學生提供教學綜合評價，為教學管理人員提供教學輔助決策支持，在高校課程教學質(zhì)量評價中具有廣闊的應(yīng)用前景。

[1] Anthony S,Frank W.The postmodern university-contest visions of higher education in society[M].New York:Open University Press,1997.

[2] 田 靜,生云龍,楊長青,等.國內(nèi)高校教師評價體系的變遷歷程與階段特征[J].清華大學教育研究,2006,27(2):58-61.

[3] Herbert W M,Michael B.Multidimensional students’ evaluation of teaching effectiveness:a profile analysis[J].The Journal of Higher Education,1993,64(1):1-18.

[4] Herbert W,Marsh D M.Students’ evaluation of university teaching:a multidimensional perspective[J].handbook of research and practice,1992,8:173-234.

[5] Kolitch E,Dean a v.Student Ratings of Instruction in the USA: hidden assumption and missing conceptions about good’s teaching[J].Studies in Higher Education,1999,24(1):27-42.

[6] 史琪立,張俊凇,付 敏,等.基于層次分析法和熵值法的學生評教模型[J].科技信息,2013(13):128-128.

[7] 蔣慧峰.基于灰色關(guān)聯(lián)分析法的學生評教模型[J].湖北工業(yè)大學學報,2011,26(3):106-109.

[8] 胡仲勛.基于績效二維結(jié)構(gòu)模型的高校教師績效考核指標體系構(gòu)建[J].鄭州師范教育,2012(3):23-27.

[9] Liu Jing.Research on classroom teaching quality evaluation of Chinese as a foreign language based on AHP model[J].Applied Mechanics and Materials,2013(411-414):2957-2960.

[10] Saaty T L.A scaling method for priorities in hierarchical structures[J].Journal of mathematical psychology,1977,15(3):46-51.

[11] 張 明,張?zhí)m平,羅 元.基于模糊數(shù)學方法的高職教師績效評價模型[J].硅谷,2009(22):49-50.

[12] 許成鵬.基于層次分析和模糊數(shù)學方法的高校教師績效評價[J].黑龍江高等教育,2007(3):82-84.

[13] Saaty T L.How to make a decision: the analytical hierarchy process[J].European Journal of Operational Research,1990(48):9-26.

[14] 徐 俊,劉 娜.層次分析法的基本思想與實際應(yīng)用[J].情報探索,2008,12:113-115.

[15] Meng Qian.Research on the construction of teaching resources platform in universities[J].Lecture Notes in Electrical Engineering,2014(269):1149-1154.

[16] 鄧 雪,李家銘,曾浩建,等.層次分析法權(quán)值計算方法分析及其應(yīng)用研究[J].數(shù)學的實踐與認識,2012,42(7):97-100.

[17] 李 光,吳祈宗.基于結(jié)論一致的綜合評價數(shù)據(jù)標準化研究[J].數(shù)學的實踐與認識,2011,41(3):72-77.

[18] 俞立平,潘云濤,武夷山.學術(shù)期刊綜合評價數(shù)據(jù)標準化方法研究[J].圖書情報工作,2009,53(12):146-149.

Studies and Applications of Multi-objective Evaluation Method of Teaching Quality

ZENGYan,CHENGaoyun

(School of Software Engineering, Chengdu University of Information Technology, Chengdu 610225, China)

Aiming at the characteristics of the whole process of courses teaching, making a scientific evaluation of courses teaching quality is significant for teaching reform. The proposed work is to construct a Multi-objective Evaluation Model (MEM) of courses teaching quality based on the Analytic Hierarchy Process(AHP) with the penalty factor. With large amounts of objective data from the practical teaching process which including the students’ evaluation result of teaching, teachers’ assessment data, students’ attendance and questions in the class, the quality of the courses is quantized by using the AHP, the evaluation result is amended by using penalty factor and the teaching quality of courses is evaluated comprehensively, thus a decision support is provided for teaching reform. The experiment gathers the data from three colleges, covering thirty-seven teachers and twenty-one hundred students, and utilizes the MEM to the Teaching Process Management Platform to make the quality evaluation of the courses teaching. The result shows that the MEM based on AHP with the heuristic penalty factor can reflect the teaching quality of teachers objectively and scientifically.

AHP; penalty factor; Multi-objective Evaluation; teaching quality

2014-09-10

四川省教育廳基金項目(11ZA269)

曾 燕(1989-)，女，四川內(nèi)江人，碩士生，主要從事數(shù)據(jù)挖掘方面的研究，(E-mail)703861403@qq.com 陳高云(1963-)，女，安徽霍邱人，教授，主要從事數(shù)據(jù)集成與可視化方面的研究，(E-mail)cgy@cuit.edu.cn

1673-1549(2014)06-0086-06

10.11863/j.suse.2014.06.22

TP315

A