基于ResNet算法的課堂教學(xué)效果評價模型

金 力, 金正賢，盧海妹，許歡慶，黃方亮

(1.安徽中醫(yī)藥大學(xué) 醫(yī)藥信息工程學(xué)院,安徽 合肥 230012； 2.西北工業(yè)大學(xué) 公共政策與管理學(xué)院,陜西 西安 710129； 3.安徽醫(yī)科大學(xué) 基礎(chǔ)醫(yī)學(xué)院,安徽 合肥 230032)

2015年10月，國務(wù)院出臺的《統(tǒng)籌推進世界一流大學(xué)和一流學(xué)科建設(shè)總體方案》中明確提出：培養(yǎng)拔尖創(chuàng)新人才是“雙一流”建設(shè)的核心任務(wù)之一[1].高等教育學(xué)研究表明，創(chuàng)新型人才的培養(yǎng)除了與課堂教學(xué)的授課質(zhì)量密切相關(guān)[2],還取決于授課過程中學(xué)生面部表情所反映出的聽課專注程度[3].鑒于此，在對面部表情與課堂教學(xué)效果進行關(guān)聯(lián)分析的基礎(chǔ)上，利用深度學(xué)習(xí)技術(shù)構(gòu)建出課堂教學(xué)效果評價模型已成為目前高等教育學(xué)領(lǐng)域研究的熱點問題.

1 面部表情識別技術(shù)與課堂教學(xué)效 果的相關(guān)性研究

面部表情識別一般是指通過顏面、眼部及口部肌肉的變化來表征各種情緒狀態(tài)，它是一種非常重要的非語言交往手段.藝術(shù)家們往往會通過對人物面部表情的描繪來表現(xiàn)人物內(nèi)心的情感，從而能夠栩栩如生地展現(xiàn)人物的精神風(fēng)貌.有“人面教皇”之稱的美國著名的心理學(xué)家保羅·?？寺L期致力于面部表情與內(nèi)心真相的研究，他發(fā)現(xiàn)不自主的反應(yīng)是真感情的最佳指標，若被測者的面部表情與其真實想法不一致時，總會露出相應(yīng)的破綻；此外，梅拉賓法則也明確指出：人們交往過程中約有55%的信息是通過面部表情進行傳達，通過交談傳遞的信息不足7%.鑒于此，國內(nèi)相關(guān)高校采用深度學(xué)習(xí)等技術(shù)對被測者的面部表情與課堂教學(xué)效果進行了較為深入的研究.劉全明團隊[4]以FER2013人臉數(shù)據(jù)集為研究對象，針對小尺寸的人臉檢測問題構(gòu)建了一種改進的多尺度特征融合算法，并在此基礎(chǔ)上提出了基于輕量級卷積神經(jīng)網(wǎng)絡(luò)的面部表情識別方法，最終的實驗結(jié)果表明該方法識別的準確率最高可達73.669%.

華中師范大學(xué)的石奕等[5]提出了一種基于改進VGG網(wǎng)絡(luò)模型的表情專注度和抬頭率相結(jié)合的課堂教學(xué)效果評價系統(tǒng)，并通過實際的課堂教學(xué)實驗可推知很多有意思的教學(xué)規(guī)律.例如上課前十分鐘左右班級的整體關(guān)注度會緩慢上升，同樣在下課前五分鐘左右該關(guān)注度會急速下降.這就要求授課教師在不同的授課時段采取不同的授課方式，通過提升學(xué)生的學(xué)習(xí)興趣以達到令人滿意的教學(xué)效果.

重慶師范大學(xué)的唐康等[6]提出了一種基于深度學(xué)習(xí)的面部表情檢測方法.首先，在優(yōu)化融合FaceBoxes和MTCNN的基礎(chǔ)上構(gòu)建人臉檢測模型；其次，應(yīng)用網(wǎng)絡(luò)開源的人臉數(shù)據(jù)庫集FDDB對該模型進行測試與優(yōu)化；最后在統(tǒng)計學(xué)生抬頭率的基礎(chǔ)上構(gòu)建基于面部表情的課堂教學(xué)評估標準.

目前基于面部表情識別的課堂教學(xué)效果評價模型識別的準確率還較低，尚未達到商用化水平，因此本文在現(xiàn)有研究的基礎(chǔ)上，針對人臉檢測與課堂教學(xué)效果評價的內(nèi)在聯(lián)系，重點構(gòu)建出切實可行的課堂教學(xué)效果評價模型并應(yīng)用于教學(xué)實踐.

2 課堂教學(xué)效果評價模型的構(gòu)建

2.1 卷積神經(jīng)網(wǎng)絡(luò)

為了提高模型識別的效果，傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型需要大量的參數(shù)，因而很容易造成梯度爆炸和模型無法訓(xùn)練等情況[7]，而CNN(Convolutional Neural Networks)模型通過局部連接和網(wǎng)絡(luò)參數(shù)共享權(quán)值等方式，降低了模型的復(fù)雜度和網(wǎng)絡(luò)參數(shù)的數(shù)量，提高了模型的執(zhí)行效率，故本文采用卷積神經(jīng)網(wǎng)絡(luò)技術(shù)進行面部表情的測試和訓(xùn)練.CNN模型一般有卷積層、池化層和全連接層組成[8].

(1)卷積層

卷積層主要負責對輸入的圖形進行卷積運算，由不同的卷積單元組成，主要負責提取圖像的相關(guān)特征.

(1)

(2)池化層

池化層主要通過降采樣方法來壓縮數(shù)據(jù)量和減少模型參數(shù)量，提高模型執(zhí)行效率，一般常用Max pooling(最大池化)方法.

(2)

(3)全連接層

全連接層中的每個神經(jīng)元與其上一層的所有神經(jīng)元進行全連接.全連接層可以整合卷積層或者池化層中具有類別區(qū)分性的局部信息.假設(shè)x1、x2、x3為全連接層的輸入，a1、a2、a3為輸出，則：

a1=W11*x1+W12*x2+W13*x3+b1,

(3)

a2=W21*x1+W22*x2+W23*x3+b2,

(4)

a3=W31*x1+W32*x2+W33*x3+b3.

(5)

大多情況下，采用Relu函數(shù)作為神經(jīng)元的激勵函數(shù)，采用Softmax函數(shù)作為輸出層的分類函數(shù).

2.2 ResNet50算法

為了解決因網(wǎng)絡(luò)深度加深導(dǎo)致的梯度爆炸和學(xué)習(xí)效率降低的問題，本文采用基于ResNet算法的深度殘差網(wǎng)絡(luò)結(jié)構(gòu)，即將前面若干層的數(shù)據(jù)輸出直接引入后面數(shù)據(jù)層的輸入部分.為有效緩解網(wǎng)絡(luò)層加深導(dǎo)致的梯度消失問題，殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 殘差網(wǎng)絡(luò)結(jié)構(gòu)圖

由于ResNet50算法是在VGG19網(wǎng)絡(luò)的基礎(chǔ)上優(yōu)化形成的，網(wǎng)絡(luò)深度由19層變?yōu)?0層，其中包括49個卷積層和1個全連接層，其中stage2至stage5階段中ID BLOCK表示不改變維度的殘差塊，輸入和輸出維度相同，用來加深網(wǎng)絡(luò)結(jié)構(gòu)深度，可以串聯(lián)；CONV BLOCK表示添加維度的殘差塊，主要用來改變網(wǎng)絡(luò)結(jié)構(gòu)的維度，輸入和輸出維度不同，無法直接進行串聯(lián)操作，該算法結(jié)構(gòu)如圖2所示[9].

2.3 課堂教學(xué)效果評價的構(gòu)建步驟

(1)根據(jù)某次課堂教學(xué)表情的識別結(jié)果，將每位學(xué)生的面部表情分為以下7類并賦以相應(yīng)的分值：Angry(10)、Disgust(20)、Fear(30)、Sad(50)、Neutral(60)、Surprise(80)、Happy(100)，該分值即為此次該生課堂教學(xué)效果的評價分值；

圖2 ResNet50算法結(jié)構(gòu)圖

(2)將某門課程學(xué)生每次課堂教學(xué)效果的評價分值累加后除以相應(yīng)的次數(shù)，即為該生在該課程中的課堂教學(xué)效果評價分值.

需要指出的是，若某學(xué)生未出席某次課堂教學(xué)，則該生該次的課堂教學(xué)效果評價分值直接認定為0分.

3 表情識別的實驗對象及結(jié)果分析

3.1 實驗對象

本文采用的Jaffe(The Japanese Female Facial Expression Database)數(shù)據(jù)庫共有213張不同表情的圖片，如表1所列.該數(shù)據(jù)庫由10位女性的7種表情組成，圖3給出了Jaffe數(shù)據(jù)庫中的部分表情示例.

表1 本文采用的Jaffe數(shù)據(jù)庫中面部表情分布情況

圖3 本文采用的Jaffe數(shù)據(jù)庫中部分表情示例圖

本面部表情識別模型測試與訓(xùn)練的環(huán)境如下.

軟件環(huán)境：Windows 7下的TensorFlow 1.4.0版本；

硬件環(huán)境：Intel(R) Core(TM) i7-4590 CPU @ 3.30 GHz;內(nèi)存:12.0 GB.

3.2 實驗結(jié)果分析

本文分別采用ResNet50、Random Forest、Logistic Regression、Decision Tree和K_Nearest 5種算法進行了對照訓(xùn)練，迭代100次后，上述5種算法的收斂程度、模型識別的準確率和損失值的變化曲線分別如圖4(a)和圖4(b)所示[10-11].

(a)模型訓(xùn)練acc(%)

(b)模型訓(xùn)練loss(%) 圖4 5種算法在訓(xùn)練集中的比較曲線

為了評價模型的實際性能，分別用上述5種算法對測試集進行訓(xùn)練，各算法的模型準確率和損失值的變化曲線如圖5(a)和圖5(b)所示.

(a)模型測試acc(%)

(b)模型測試loss(%) 圖5 5種算法在測試集中的比較曲線

通過分析圖4 和圖5，發(fā)現(xiàn)上述5種算法在訓(xùn)練集和測試集中的表現(xiàn)各不相同，其中ResNet50算法在訓(xùn)練集和測試集中的表現(xiàn)最好，而Random Forest算法在訓(xùn)練集和測試集中的表現(xiàn)最差.

為了進一步分析上述5種算法的效果，本文繪制了ROC曲線，如圖6所示.

圖6 5種算法的ROC曲線圖

ROC曲線圖是顯示分類效果真正率和假正率之間折中的圖形化顯示方法，真正率沿y軸繪制，假正率沿x軸繪制.在ROC曲線圖中，靠近左上角的模型，表示模型效果較好.在圖6中，左上角的模型是ResNet50模型，適合表情識別；表現(xiàn)最差的模型是Decision Tree，離左上角最遠.另外，ROC曲線圖面積表示另一個分類器標準，模型所占面積越大，表示模型預(yù)測型更優(yōu).從總面積來看，ResNet50模型面積最大，模型性能最好，Decision Tree所占面積最小，模型性能效果最差.

4 結(jié)論

本文以安徽中醫(yī)藥大學(xué)2020～2021學(xué)年第一學(xué)期《大學(xué)英語》課程為例，給出了部分專業(yè)班級面部表情識別信息一覽表，具體信息如表2所列.

表2 2020-2021學(xué)年第一學(xué)期部分專業(yè)班級《大學(xué)英語》課堂教學(xué)面部表情識別信息一覽表

由表2可看出，本文提出了基于ResNet50算法的課堂教學(xué)效果評價模型有如下規(guī)律：①基于ResNet50算法的面部表情識別準確率明顯高于其他5種算法；②學(xué)生對于某門課程的課堂教學(xué)專注度越高，則該門課程的得分也越高；③若某門課程的課堂教學(xué)次數(shù)越多，則學(xué)生的課堂學(xué)習(xí)效果評價分值越接近學(xué)生在該門課程的總評成績.筆者依據(jù)本成果先后獲得安徽省教學(xué)成果三等獎1項(成果獎名稱：高校學(xué)生網(wǎng)上評學(xué)系統(tǒng)的研發(fā)與實踐，證書號為2017jxcgj582)和安徽省教學(xué)成果二等獎1項(成果獎名稱：中醫(yī)藥院校工科類創(chuàng)新人才培養(yǎng)模式的研究與實踐，證書號為2019jxcgj821).隨著系統(tǒng)功能的進一步完善，該模型將在課堂教學(xué)效果評價方面發(fā)揮著越來越重要的作用.