基于神經(jīng)網(wǎng)絡(luò)的高校課堂教學(xué)評價策略重構(gòu)與檢驗*

朱宗元，王秋霞

(1.浙江財經(jīng)大學(xué) 數(shù)據(jù)科學(xué)學(xué)院，浙江 杭州310018；2.杭州電子科技大學(xué) 經(jīng)濟學(xué)院，浙江 杭州310018)

一、問題引入

雖然大學(xué)階段學(xué)生自主選擇性學(xué)習(xí)的比重上升，但是在本科乃至更高階段的學(xué)習(xí)層次上，課堂教學(xué)仍然構(gòu)成教育活動的最重要單元。在現(xiàn)代高等教育領(lǐng)域，課堂教學(xué)評價是提升大學(xué)教學(xué)質(zhì)量的重要手段和制度化要素。課堂教學(xué)評價本身是一種兼具工具和價值理念判斷的活動，具有一定的模糊性。實踐上，課堂教學(xué)評價需要將教育理念落地，“強調(diào)實證性評價與人文性評價相結(jié)合”[1]。課堂教學(xué)評價逐步向評價理論科學(xué)化、評價內(nèi)容定量化、評價方法多樣化、評價程序規(guī)范化和注重師生反饋的方向發(fā)展。從評價方法論角度，系統(tǒng)論正在成為現(xiàn)代教學(xué)管理科學(xué)理論的核心。依據(jù)反饋原理，“依靠執(zhí)行系統(tǒng)回歸的信息作出分析判斷，對計劃指令的再輸出發(fā)生影響，起到控制作用，以達到預(yù)期目標”[2]。從形成性教學(xué)評價的角度，評價的目的不在于給出終結(jié)性判斷結(jié)論然后對教師進行獎懲，而應(yīng)該具有包含動態(tài)前向、回饋和強化的發(fā)展性功能。只有獲得動態(tài)、科學(xué)的反饋信息，才能準確控制課堂教學(xué)進程，從而做出正確的教學(xué)決策，實現(xiàn)潛在最優(yōu)的課堂教學(xué)目標。國內(nèi)高?，F(xiàn)行的課堂教學(xué)評價策略在實施中已經(jīng)暴露出諸多問題，為很多研究文獻所剖析，包括“評價方法單一、評價主體設(shè)置不合理、評價指標的權(quán)重分布不科學(xué)、評價結(jié)果反饋時滯長”[3]，“教師救濟程序缺失”[4]，“指標描述抽象、 陳舊、可測性差”等[5]。在課堂教學(xué)大數(shù)據(jù)獲取成本日益降低的背景下，如何以動態(tài)反饋的課堂教學(xué)理論為依據(jù)，從推動教師發(fā)展、提升學(xué)生學(xué)習(xí)的角度，發(fā)展出一套可實現(xiàn)、具有結(jié)構(gòu)學(xué)習(xí)能力的課堂教學(xué)評價模型，在理論和現(xiàn)實方面都很重要。信息自動化模型可降低專家偏好帶來群決策結(jié)果難以達成的可能性，并具有實時跟蹤反饋的優(yōu)良特征。有鑒于此，本文嘗試將專家打分和神經(jīng)網(wǎng)絡(luò)機器學(xué)習(xí)方法相結(jié)合，提出自動化打分動態(tài)測評課堂教學(xué)質(zhì)量的思路。以收集的統(tǒng)計學(xué)課程教學(xué)數(shù)據(jù)為例，實證檢驗?zāi)Ｐ驮u價的效果，藉此為更科學(xué)性地評估大學(xué)課堂教學(xué)質(zhì)量提供借鑒。

二、課堂教學(xué)評價指標體系設(shè)計

多維視角下系統(tǒng)測度課堂教學(xué)的效果，首先需要構(gòu)建課堂教學(xué)評價指標體系，使其包含具體的、可測量的評價項目。評價指標體系是規(guī)范有效開展課堂教學(xué)評價的基礎(chǔ)，對教師的課堂教學(xué)活動具有重要的導(dǎo)向作用。開展差異化評價區(qū)分課堂教學(xué)質(zhì)量只是手段而不是目的，課堂教學(xué)評價體系設(shè)置更應(yīng)具有促進教師教學(xué)反饋、引導(dǎo)課堂教學(xué)質(zhì)量持續(xù)優(yōu)化的作用?？茖W(xué)合理的指標體系具有區(qū)分性，能夠發(fā)現(xiàn)不同課堂教學(xué)活動的質(zhì)量差別，對其分析能發(fā)現(xiàn)教學(xué)存在的問題與改進方向。設(shè)計評價指標體系的基本方法包括頭腦風(fēng)暴法、目標要素分解法、結(jié)構(gòu)分解法和目標分類法等，已經(jīng)有較豐富的理論研究成果。

FIAS與PPE理論下，課堂教學(xué)語言量化系統(tǒng)包括矩陣分析和動態(tài)曲線雙維度，進一步可細分為課堂結(jié)構(gòu)、風(fēng)格傾向、情感氣氛、教師語言、學(xué)生語言和沉默混亂語言子模塊[6]；邱文教等基于層次分析法（AHP），構(gòu)建教師教、學(xué)生學(xué)、督導(dǎo)評的三位一體探究式課堂教學(xué)評價體系[7]；朱德全、李鵬指出課堂教學(xué)評價系統(tǒng)應(yīng)包含矢量、定位、理念、條件、運行和輸出子系統(tǒng)[8]。美國田納西州發(fā)展起來的最新教師評價系統(tǒng)TEAM的核心課堂教學(xué)評價環(huán)節(jié)，包括了教學(xué)設(shè)計與計劃、教學(xué)環(huán)境和教學(xué)過程三個一級指標，既有質(zhì)性評價單元，也包括量化評價[9][10]。哈佛大學(xué)通識課程教學(xué)質(zhì)量的監(jiān)控與評價體系中，包含開課申請評價、Q評價系統(tǒng)、課程教學(xué)前期反饋以及階段性評議四個流程，內(nèi)容涉及課程內(nèi)容、學(xué)生發(fā)展、師生互動、課堂組織、教學(xué)效果、閱讀與作業(yè)等方面[11]。參考國內(nèi)外已有的研究文獻發(fā)現(xiàn)，課堂教學(xué)評價指標體系研究兼具共性和特性特征。共性是指課堂教學(xué)評價的對象與內(nèi)容大致相似，即教學(xué)內(nèi)容、藝術(shù)、態(tài)度和反饋效果，特性則是指不同的課程難度與學(xué)科差異。例如哈佛大學(xué)《通識教育評議委員會臨時報告》評價結(jié)果中會考慮課程難度，但是在學(xué)生選課系統(tǒng)中則不公布難度系數(shù)，避免學(xué)生為獲得高分選擇難度低的課程。

綜合以上考慮，本文在測度統(tǒng)計學(xué)課堂教學(xué)質(zhì)量時，從教學(xué)管理部門、教師表現(xiàn)和學(xué)生反應(yīng)三種結(jié)構(gòu)要素，分解產(chǎn)生出評價單元。從教學(xué)管理部門出發(fā)，主要考慮教學(xué)內(nèi)容的規(guī)范性；從授課教師的角度，評價主要涉及教學(xué)藝術(shù)和教學(xué)態(tài)度兩個單元；從學(xué)生學(xué)習(xí)者的角度，主要針對學(xué)生在教學(xué)過程中的反應(yīng)，測評其融入課堂教學(xué)的程度。根據(jù)專家調(diào)查法結(jié)合反饋教學(xué)理論，細化設(shè)計出多個可測度的系統(tǒng)子指標，構(gòu)建出統(tǒng)計學(xué)課堂教學(xué)評教效果基本的評價指標體系（見表1）。

表1 教師課堂教學(xué)質(zhì)量評價指標體系

課堂教學(xué)質(zhì)量指標體系初步建立后，另一個重要問題就是，如何設(shè)置課堂教學(xué)評價諸指標的權(quán)重。本文首先根據(jù)測評專家的匿名打分，給出了不同的統(tǒng)計指標的相對重要性，診斷是否通過一致性檢驗，通過層次分析法(AHP)測算出多個指標的權(quán)重。對評估專家對課堂給出的打分進行加權(quán)平均，從而得出統(tǒng)計學(xué)教師樣本數(shù)據(jù)的最終目標得分。具體方法原理和教學(xué)測評實踐可參閱蔡紅梅、許曉東和郭亮等的研究文獻[5][12]。層次分析法能夠體現(xiàn)人類思維過程的分解、判斷、綜合分析等特征，具有較好的系統(tǒng)性、可操作性強、計算簡便等優(yōu)點，因此可被廣泛地應(yīng)用于綜合評價和群決策領(lǐng)域中。該方法也存在一些缺點，例如容易受到專家的知識結(jié)構(gòu)、經(jīng)驗、效用偏好等主觀因素的影響，所以有一定的人為主觀傾向。不同批次專家在未有專門培訓(xùn)的情形下，得到的評價權(quán)重很難具有一致性。有鑒于此，本文嘗試更新單純的AHP評價方法，利用神經(jīng)網(wǎng)絡(luò)方法學(xué)習(xí)專家評價權(quán)重結(jié)果，自動化生成評價模型以保持評價的連續(xù)性，期望可得到更優(yōu)的教學(xué)評價效果。

三、神經(jīng)網(wǎng)絡(luò)課堂教學(xué)評價模型構(gòu)建

神經(jīng)網(wǎng)絡(luò)通過模擬神經(jīng)系統(tǒng)的行為反饋特征，產(chǎn)生決策結(jié)果。以神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)發(fā)展的深度學(xué)習(xí)和人工智能技術(shù)，在決策支持系統(tǒng)中有廣泛的應(yīng)用前景，當(dāng)前以BP神經(jīng)網(wǎng)絡(luò)最為普遍。該網(wǎng)絡(luò)的結(jié)構(gòu)由輸入層、隱藏層和輸出層組成。不同的層之間由神經(jīng)元連接，該網(wǎng)絡(luò)傳遞的模式是前向傳播信號，反向傳播誤差。神經(jīng)網(wǎng)絡(luò)是高度非線性的連續(xù)時間動力系統(tǒng)，具有黑箱特征。通過確定神經(jīng)網(wǎng)絡(luò)模型的具體結(jié)構(gòu)，選擇適當(dāng)?shù)妮斎牍?jié)點和隱藏層數(shù)，反復(fù)逼近學(xué)習(xí)可以得到穩(wěn)定的網(wǎng)絡(luò)系統(tǒng)。Maren A J等系統(tǒng)闡述了神經(jīng)網(wǎng)絡(luò)的原理和技術(shù)細節(jié)[13]。本文采用BP反向傳播神經(jīng)網(wǎng)絡(luò)算法程序，更新單純的AHP課堂教學(xué)評價指標權(quán)重確定方法，其思路是：①利用層次分析方法得到統(tǒng)計學(xué)課堂教學(xué)效果評價的樣本數(shù)據(jù)；②利用驗證集方法將教師評價樣本分為訓(xùn)練集和測試集兩部分，輸入一組課堂教學(xué)評價指標打分，加權(quán)平均測算出教師課堂教學(xué)效果的綜合得分，將其作為訓(xùn)練目標得分；③計算被調(diào)查教師得到的神經(jīng)網(wǎng)絡(luò)測試得分，并和樣本數(shù)據(jù)的目標得分相比較，計算出神經(jīng)網(wǎng)絡(luò)統(tǒng)計數(shù)據(jù)的仿真預(yù)測誤差；④反復(fù)調(diào)試模型的計算權(quán)重，直至得到穩(wěn)定的神經(jīng)網(wǎng)絡(luò)；⑤開展統(tǒng)計學(xué)課堂教學(xué)質(zhì)量的評價分析和預(yù)測。

四、統(tǒng)計學(xué)課堂教學(xué)神經(jīng)網(wǎng)絡(luò)評價實測

首先，獲取調(diào)查數(shù)據(jù)并實施規(guī)范化預(yù)處理。本文以統(tǒng)計學(xué)教學(xué)為調(diào)查對象，課程主要面向經(jīng)管類專業(yè)開設(shè)。利用電話網(wǎng)絡(luò)調(diào)查和問卷調(diào)研的途徑，獲得了11所高校部分教師統(tǒng)計學(xué)課堂教學(xué)的數(shù)據(jù)，共計有63位教師。限于篇幅所限，此處不再展示樣本數(shù)據(jù)。數(shù)據(jù)涉及6所省內(nèi)高校（含高職）和5所省外普通本科高校。將所有評價指標的樣本數(shù)據(jù)均實施歸一化處理，利用層次分析法計算評價指標體系中所有指標的權(quán)重。計算顯示各指標中授課內(nèi)容科學(xué)性的權(quán)重最高，其次分別為備課熟練度和課堂互動的權(quán)重，最后加權(quán)計算得到所有統(tǒng)計學(xué)教師的課堂教學(xué)質(zhì)量得分。

然后，隨機抽取48位（約3/4）統(tǒng)計學(xué)教師的數(shù)據(jù)作為訓(xùn)練集，將剩下15位統(tǒng)計學(xué)教師的數(shù)據(jù)作為測試集。在訓(xùn)練集中，反復(fù)試驗訓(xùn)練神經(jīng)網(wǎng)絡(luò)模型。最終確定出的網(wǎng)絡(luò)結(jié)構(gòu)，將14個評價指標作為輸入層神經(jīng)元，雙隱含層分別含有7個和3個神經(jīng)元，最終輸出層包含唯一的神經(jīng)元預(yù)測得分。模型訓(xùn)練設(shè)定的誤差閾值為10-5，訓(xùn)練設(shè)置最大次數(shù)為20000次，利用梯度下降算法訓(xùn)練得到穩(wěn)定的神經(jīng)網(wǎng)絡(luò)（見圖 1）。

圖1 課堂教學(xué)神經(jīng)網(wǎng)絡(luò)評價結(jié)構(gòu)

最后，利用訓(xùn)練得到的神經(jīng)網(wǎng)絡(luò)模型，對測試集中的15位統(tǒng)計學(xué)教師的課堂教學(xué)得分進行預(yù)測。將已知的課堂教學(xué)得分與神經(jīng)網(wǎng)絡(luò)模型預(yù)測結(jié)果對比，計算相對誤差，整理得到表2結(jié)果。

從以上預(yù)測結(jié)果的對比可見，神經(jīng)網(wǎng)絡(luò)模型運用于統(tǒng)計學(xué)課堂教學(xué)的測試數(shù)據(jù)，得到了較好的評價效果。15位教師統(tǒng)計學(xué)課堂教學(xué)質(zhì)量得分的預(yù)測誤差率全部控制在2%以內(nèi)，其中有10位的誤差率控制在1%以內(nèi)，因此神經(jīng)網(wǎng)絡(luò)教學(xué)評價模型可以被投入至課堂教學(xué)測評實踐之中（見圖2）。本文搜集到的課堂教學(xué)評價數(shù)據(jù)集樣本量較小，而神經(jīng)網(wǎng)絡(luò)模型大數(shù)據(jù)分析中優(yōu)勢更明顯，因此如果能夠在更廣泛的教學(xué)活動中開發(fā)模型，理應(yīng)可以進一步提升評價的準確率，因此該技術(shù)有樂觀的應(yīng)用前景。

表2 神經(jīng)網(wǎng)絡(luò)模型測試得分對比

圖2 課堂教學(xué)神經(jīng)網(wǎng)絡(luò)評價預(yù)測效果

使用神經(jīng)網(wǎng)絡(luò)模型評價課堂教學(xué)質(zhì)量，其最大優(yōu)點就是評價過程不再依賴專家經(jīng)驗產(chǎn)生群決策評價權(quán)重。在現(xiàn)實中，由于人事更迭、離退休等原因，專家?guī)煜到y(tǒng)發(fā)生變更后，各指標評價的權(quán)重由于專家的偏好會發(fā)生改變，從而產(chǎn)生了因人而異的評價結(jié)果。如要規(guī)避以上現(xiàn)象，需要對教學(xué)評價人員進行系統(tǒng)專業(yè)培訓(xùn)和評價資格認證[14]，過程反復(fù)且成本高昂。使用神經(jīng)網(wǎng)絡(luò)模型評價，一經(jīng)訓(xùn)練成功并模型投入使用后，就可以通過模型學(xué)習(xí)脫離專家的重復(fù)打分過程，不但可節(jié)省教學(xué)評估的人力和物力投入，而且能保證課堂教學(xué)評價的科學(xué)性和穩(wěn)定性。

五、結(jié)論與啟示

本文綜合教學(xué)管理部門、教師和學(xué)生三種角度解構(gòu)課堂教學(xué)評價單元。從教學(xué)藝術(shù)、教學(xué)態(tài)度、學(xué)生對課堂教學(xué)反應(yīng)和教學(xué)內(nèi)容四個方面出發(fā)，構(gòu)建課堂教學(xué)質(zhì)量評價的統(tǒng)計指標體系。以高校統(tǒng)計學(xué)課堂教學(xué)數(shù)據(jù)為例，利用專家打分和層次分析法獲得了評價的初始權(quán)重，并測算出樣本數(shù)據(jù)的目標得分。使用神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練課堂教學(xué)樣本數(shù)據(jù)逼近專家打分，并投入到測試檢驗之中，取得了很好的評價效果。

研究得到的啟示是，穩(wěn)定的神經(jīng)網(wǎng)絡(luò)可以最大限度學(xué)習(xí)專家經(jīng)驗智慧，并且可在后續(xù)推廣使用中脫離專家打分，從而規(guī)避了專家傾向不同導(dǎo)致群決策缺乏一致性和連續(xù)性的缺點。該評價方法不僅可以在課堂教學(xué)評價中得以推廣使用，也可以推廣至數(shù)據(jù)密集型高等教育監(jiān)測評估的各個領(lǐng)域，提升教育管理的信息化程度。教師課堂教學(xué)質(zhì)量評價是一門藝術(shù)，應(yīng)具有非線性和動態(tài)性的特點?；贐P算法的神經(jīng)網(wǎng)絡(luò)模型利用學(xué)習(xí)能力最大限度挖掘教師教學(xué)輸入信息與質(zhì)量輸出之間的內(nèi)在聯(lián)系，從前者的可觀測教學(xué)活動記錄中得到不可觀測的教學(xué)質(zhì)量測評值。課堂教學(xué)評價不再完全依據(jù)專家的經(jīng)驗知識和部門制定的規(guī)則，從而更容易得到令各方信服的評價結(jié)果，也容易縮短評價周期，增強教學(xué)反饋頻次。弱化課堂教學(xué)評價過程中的人為因素，增強課堂教學(xué)評價的教師發(fā)展提升功能，是現(xiàn)代高等教育教學(xué)管理科學(xué)化的重要發(fā)展方向之一。