教學質量評價系統(tǒng)中識別評教偏差的應用技術研究

李礴，鄧桂萍

（長沙航空職業(yè)技術學院，湖南長沙 410124）

當前，在我國高校教師教學質量的評價體系中，學生對教師授課過程及其教學效果的評價已占非常重要的地位。學生評教不僅能作為考核教師教學水平的評估依據(jù)，更能促進教師對教學活動、教學方式的持續(xù)改進。但是，由于學生對教師存在個人情感因素，很容易使得學生在評教過程中產(chǎn)生評教偏差。一方面由于學生的教育背景、個人能力以及對課程知悉程度等差異因數(shù)造成的評教偏差，屬于感知差異評教偏差；另一方面，學生的隨意消極評教、存心惡意評教以及為了取悅教師和學校的趨高評教而產(chǎn)生的評教偏差則屬于非感知差異評教偏差。無論哪種評教偏差均能嚴重影響教師的教學質量評判，無法準確反映教師的真實教學水平。因此，開展對高校教師教學質量評價系統(tǒng)中識別、修正或剔除學生的評教偏差，提升學生評教準確性的研究，對降低學生評教偏差對教師評價效果的影響有著極其重要的研究意義。

1 核心概念的界定

本文涉及的高校主要是指各類普通本科院校及高職高專，主要涉及以下幾個核心概念：

（1）高校教師教學質量評價

高校教師教學質量評價是對教師教學過程及其結果是否達到一定質量標準所做出的價值判斷，是衡量教學工作全面設計、實時、分析的科學性，從而確保教學目標和教學任務的高效實現(xiàn)[1]。教師教學質量評價指標是教學質量評價體系或評價系統(tǒng)中的重要內(nèi)容。評價指標通常需要包含：教學素養(yǎng)、教學態(tài)度、教學內(nèi)容、教學方法、教學效果等幾個維度，客觀全面地反映教師的基本素質和教學能力[2]。針對這幾個維度展開，形成具體的評價指標要素，學生才能對教師評價具有實際的可操作性。例如教師素養(yǎng)可制定：為人師表、語言表達、精神狀態(tài)、板書規(guī)范等指標要素；教師態(tài)度可制定：教學紀律、備課輔導、師生交流、教學責任等指標要素；教學方法可制定：教學互動、教學手段、教學形式、學以致用等指標要素；教學效果可制定：課

題氣氛、考試成績、能力提升、全面發(fā)展等指標要素。（2）學生評教

學生評教是指高校在校學生根據(jù)學生評教制度和評教指標體系，通過評教系統(tǒng)或填寫評教問卷等方式對教師的教學過程、教學質量、教學效果及學生收獲等予以定量評價的過程[3]。學生評教對于教師的教學素養(yǎng)、教學態(tài)度、教學內(nèi)容、教學方法、教學效果等幾個維度的教學質量評價有著重要的參考價值。本文研究的學生評教界定為學生通過教師教學質量評價系統(tǒng)，根據(jù)評價指標對教師的教學過程和教學質量進行定量評價。

（3）學生評教偏差

學生評教偏差是指學生在依據(jù)評價指標對教師進行評教的過程中，因學生的主觀因素或客觀因素而產(chǎn)生的學生評教結果與教師的實際教學質量與效果發(fā)生偏離或偏差。評教偏差因素可分為感知差異評教偏差和非感知差異評教偏差兩方面。學生的教育背景、個人能力以及對課程知悉程度等差異因數(shù)造成的評教偏差屬于感知差異評教偏差；學生的隨意消極評教、存心惡意評教以及為了取悅教師和學校的趨高評教而產(chǎn)生的評教偏差則屬于非感知差異評教偏差[3]。本文的學生評教偏差界定為學生的感知差異評教偏差和非感知差異評教偏差兩種，研究目的是如何通過技術手段來消除學生的評教偏差。

2 高校學生評價偏差因素的研究現(xiàn)狀

當前，國內(nèi)外學者針對高校學生評價偏差的因素及對策已展開了廣泛的研究。美國學者Anikeef研究發(fā)現(xiàn)學生所處的年級會影響評教分數(shù)，高年級學生給教師打分較為寬松。Feldman和Marsh研究發(fā)現(xiàn)教師個性特征和性別均能對學生評教產(chǎn)生較大影響。國內(nèi)學者對我國高校學生評教偏差的因素也進行了深入研究。2019年，北京師范大學劉冬梅等針對高校學生評教的影響因素與應對策略作了研究，其研究分別從高校教師差異和高校學生差異兩個角度分析了影響學生評教的因素[4]。劉冬梅認為，教師的專業(yè)領域差異、任教班級差異、性格理念差異、才能才干差異以及責任心與學生感情差異是教師給學生產(chǎn)生評價偏差的因素；學生的學習態(tài)度差異、學習興趣差異、性格愛好差異、學習方法差異以及評教態(tài)度差異是學生自身方面評價偏差的因素。中南民族大學解佳龍認為高校學生的評教偏差主要表現(xiàn)在認知模糊評教、隨意消極評教、存心惡意評教、引致趨高評教等四個方面[5]，解佳龍在學校、學生和教師三個層面上提出了高校學生評教糾偏的指導策略和建議，但沒有給出如何修正評教偏差的具體方法。中國地質大學（武漢）譚智力等針對高校學生的感知差異造成的評教偏差現(xiàn)象進行了研究，從學生的教育背景、個人能力、個人先前的學科興趣和了解程度、教師的可愛度、評價時間等幾個方面分析了產(chǎn)生感知差異的原因[6]，但其研究結果也只是提出了關于消除感知差異引起的評教偏差的應對策略，并非具體實際方法，而且對于學生的隨意消極評教、存心惡意評教以及學生為取悅教師和學校而產(chǎn)生的趨高評教等行為造成的非感知評教偏差并未進行研究。

以上均是對我國高校學生評教偏差的產(chǎn)生因素及其應對策略的研究成果，為建立學生評教模型和科學的管理機制提供了理論支撐。

3 高校學生評教信息技術及管理系統(tǒng)的研究現(xiàn)狀

目前我國針對學生評教技術層面的研究主要體現(xiàn)在學生評教系統(tǒng)開發(fā)、統(tǒng)計分析、結果處理等軟件設計等方面。鄒文林以證據(jù)推理方法研究了網(wǎng)上學生評教，認為證據(jù)推理方法是一種研究認識不確定性問題的方法，并將證據(jù)推理方法應用到學生評教中，以證據(jù)推理作為測評統(tǒng)計方法開發(fā)了網(wǎng)上評教系統(tǒng)[7]，該研究成果在一定程度上提高了網(wǎng)上評教數(shù)據(jù)的準確性，為評教數(shù)據(jù)處理提出了新的方法。楊超等研究了學生評教信息系統(tǒng)，對提高學生評教系統(tǒng)的準確度、可信度提出了建議[8]。艾文國等人提出了按“同質課程”建立比較集，設計了適合各學科、專業(yè)特點的動態(tài)指標體系，并給出了指標權重的確定方案，以標準分評教模型為基礎，構建了評教修正模型[9]。張金標運用基于信息熵的理論算法構建了評教偏差識別與修正模型，在一定程度上提高了評教系統(tǒng)數(shù)據(jù)的可信度[10]。

以上關于我國高校學生評教系統(tǒng)的研究成果大致可以總結為以下三個方面：一是利用信息挖掘技術分析影響教學質量的關鍵因素；二是利用信息技術提高評教系統(tǒng)的準確度和可信度；三是以動態(tài)評教指標體系為基礎，構建評教修正模型。

4 修正或剔除學生評教偏差的應用技術

影響學生評教偏差的關鍵因素主要分為兩類，一類是學生感知差異引起的評教偏差，另一類是學生非感知差異引起的評教偏差。根據(jù)目前的研究成果，可以通過大數(shù)據(jù)分析學生評教數(shù)據(jù)，得到一般性高校教師教學質量評價體系中普遍存在的學生感知差異因素，以此為基礎建立符合一般性高校教師教學質量評價體系且能夠修正學生感知差異的評教模型，并在此基礎上研究統(tǒng)計學中的各種異常值判別準則，以識別或剔除學生非感知差異產(chǎn)生的評教偏差，進而能夠最大程度地減少因學生評教偏差對教師執(zhí)教水平和執(zhí)教效果的評價影響。本文認為可以具體從以下幾個技術方面進行研究：

（1）使用大數(shù)據(jù)分析方法，研究高校學生評教數(shù)據(jù)樣本

調研收集各類高校學生評教的大數(shù)據(jù)樣本，采用莖葉圖分析樣本數(shù)據(jù)的分布特征，采用箱型圖分析樣本數(shù)據(jù)的中心特征和離散特征，重點關注可疑異常數(shù)據(jù)的位置特征，結合莖葉圖統(tǒng)計可疑異常數(shù)據(jù)出現(xiàn)的頻次與頻率，計算出各數(shù)據(jù)段的出現(xiàn)頻率或百分比。根據(jù)分析得到數(shù)據(jù)特征，仿真出易于數(shù)學模型實驗用的樣本特征數(shù)據(jù)。

（2）構建能夠反映高校學生感知差異的閉環(huán)評教模型

基于一般性學生評教指標體系的特征數(shù)據(jù)樣本，提煉出能夠反映學生評教偏差因素的評價指標，構成評教指標體系，利用主成分分析法和加權平均法對評教指標體系中的評教指標權重進行合理配比與計算，構建評教指標的象限圖分析模型，形成一套能夠反映學生感知差異的學生評教模型。評教模型根據(jù)評教偏差結果與實際應用情況重新分析評教指標體系，對于不合適的評教指標則從評教指標體系中剔除，對于合適的評教指標則在評教指標體系中予以保留或新增，進而形成一個可以修正學生感知差異評教偏差的閉環(huán)評教模型。

（3）確定在閉環(huán)評教模型中識別或剔除學生非感知差異評教偏差的最佳方法

通過分析對比萊因達準則、格拉布斯準則、狄克遜準則、肖維勒準則、絕對均值法以及分位數(shù)法等六種可用于動態(tài)檢測數(shù)據(jù)異常值的準則，對六種數(shù)據(jù)異常值檢測準則設計相應的實驗算法。通過實驗，從異常值識別效果（孤立異常值、連續(xù)異常值）、是否要求樣本正態(tài)分布、算法實現(xiàn)的難易程度以及適應范圍等方面對比分析六種數(shù)據(jù)異常值判別準則。六種數(shù)據(jù)異常值判別準則的對比如表1所示。

表1 六種數(shù)據(jù)異常值判別準則的對比

學生的評教數(shù)據(jù)一般呈正態(tài)分布，其中的異常評分（包括惡意評分）通常不會連續(xù)出現(xiàn)。在前面分析對比的六種數(shù)據(jù)異常值判別準則中，只有狄克遜準則和格拉布斯準則的特點均符合一般評教系統(tǒng)的數(shù)據(jù)分布要求。經(jīng)進一步研究發(fā)現(xiàn)，對于樣本數(shù)量n，在3≤n＜25的范圍內(nèi)，使用狄克遜準則和格拉布斯準則來判別可疑異常數(shù)據(jù)是合適的，但在25≤n≤185的范圍內(nèi)，格拉布斯準則的判別效果比狄克遜準則更佳。而在一般評教系統(tǒng)中，單個被評項的評分總數(shù)量在10至100之間，所以格拉布斯準則比狄克遜準則更適合于評教系統(tǒng)的實際要求。

格拉布斯準則的基本思想如下:先將呈正態(tài)分布的等精度多次測量的樣本數(shù)據(jù)按從小到大排列,統(tǒng)計臨界系數(shù)G(a,n)的值為G0,然后分別計算出G1、Gn:G1=(X-X1)/σ，其中，Gn=(Xn-X)/σ，α是檢出水平值，該值與置信概率有關。若G1≥Gn且G1＞G0，則數(shù)列中首數(shù)據(jù)X1應予以剔除;若Gn≥G1且Gn＞G0，則數(shù)列中的末數(shù)據(jù)Xn應予以剔除；然后對數(shù)列中剩下的測量值重新計算平均值和標準偏差以及G1、Gn和G0。重復上述步驟繼續(xù)進行判斷，當出現(xiàn)G1＜G0且Gn＜G0時,則說明此時的樣本數(shù)列不存在“異常值”，即可停止檢測。

基于格拉布斯準則結合評教系統(tǒng)的評教指標，采用協(xié)同過濾算法得到學生評教的預測評分，通過計算預測評分與實際評分之間的平均絕對偏差MAE來衡量預測評分的準確度。平均絕對偏差MAE滿足公式1，其中：Pi是指學生對n個評教對象的第i個評教項目的預測評分，Qi是學生對該評教項的實際評分。MAE的值越接近于0，說明預測值與實際值偏差越小，預測效果越好。

在取得較好預測效果的前提下，根據(jù)評教系統(tǒng)設定的惡意評分識別規(guī)則，將預測評分與算法識別出的異常評分進行差異率計算，差異率v滿足公式2。其中Pi為第i個項的預測評分，Ti為算法識別出的某學生對第i項的異常評分。

若計算的差異率v大于門限值55%以上，則判定異常評分Ti為惡意評分，且差異率的門限值可依據(jù)惡意評分識別規(guī)則進行靈活設置。

5 總結

基于以上研究，本文認為可以通過大數(shù)據(jù)分析等研究方法，構建出能夠反映學生評教偏差因素的評教指標體系，對評教指標體系中的評教指標權重進行合理配比與計算，研究出能夠反映高校學生感知差異的閉環(huán)評教模型，通過實驗確定出格拉布斯準則在評教系統(tǒng)中識別學生惡意評分是一種較好的解決方案，進而可以為設計既能自我修正學生感知差異評教偏差，又能識別或剔除學生非感知差異評教偏差的評教系統(tǒng)提供了有效的解決方案，為最大程度上減少學生評教偏差對教師評價效果的影響有著重要的應用價值。