審計(jì)視角下學(xué)生面部行為與課堂評(píng)價(jià)分析研究

譚海 董倩倩 陳欣 成嘉雯 覃慧紅

關(guān)鍵詞：深度學(xué)習(xí)；審計(jì)評(píng)估；面部行為；線上學(xué)習(xí)效果

網(wǎng)絡(luò)教育興起，線上教學(xué)成為信息化教育發(fā)展的趨勢(shì)，教育部致力于推動(dòng)聯(lián)動(dòng)、融合虛實(shí)空間、線上線下教學(xué)相結(jié)合的教育模式，部分在線教育平臺(tái)也逐步提高了授課教師教學(xué)水平。但網(wǎng)絡(luò)教育體系仍存在一些弊端，如授課教師不能進(jìn)行現(xiàn)場(chǎng)指導(dǎo)學(xué)生，學(xué)生自主學(xué)習(xí)過程中缺乏自律和專注能力?，F(xiàn)有網(wǎng)絡(luò)直播教學(xué)平臺(tái)無(wú)法幫助教師融合教學(xué)過程和學(xué)生學(xué)習(xí)情況評(píng)估，是目前線上教學(xué)面臨的主要問題。本研究通過動(dòng)態(tài)表情識(shí)別算法、對(duì)人臉圖像進(jìn)行分析的深度學(xué)習(xí)算法、人臉特征檢測(cè)等技術(shù)實(shí)時(shí)獲取學(xué)生學(xué)習(xí)狀態(tài)，并進(jìn)行學(xué)生狀態(tài)的識(shí)別及分類，以此評(píng)估學(xué)生的學(xué)習(xí)狀態(tài)和效果。本研究旨在構(gòu)建一個(gè)完整的學(xué)習(xí)狀態(tài)評(píng)估系統(tǒng)，促進(jìn)教育信息化發(fā)展和智能教育的實(shí)施，完善教育體系，滿足學(xué)生的個(gè)性化學(xué)習(xí)需求。

1文獻(xiàn)綜述

美國(guó)科學(xué)家Ekman[1]提出的6種基本的面部表情分類，而在學(xué)習(xí)情緒識(shí)別的過程中無(wú)法直接應(yīng)用和評(píng)分。行為和情緒是人類情感的兩個(gè)主要組成部分。情感是人內(nèi)心體驗(yàn)的表現(xiàn)，行為是情緒對(duì)外部環(huán)境的反應(yīng)。因此，人的情感通常與他們的行為線索密切相關(guān)。Constans JI[2]等人研究了情緒與風(fēng)險(xiǎn)評(píng)估的關(guān)系，證實(shí)了情緒對(duì)于人的判斷、選擇都會(huì)有一定的影響，此結(jié)論放在學(xué)生身上同樣適用。學(xué)生在課堂上的行為表現(xiàn)出他們心理狀態(tài)的晴雨表，能反映出他們?cè)谡n堂上的學(xué)習(xí)狀態(tài)。因此，我們可以從面部了解學(xué)生課堂的注意力集中情況。因此，表情識(shí)別可以運(yùn)用到教育領(lǐng)域上來(lái)判斷學(xué)生的情感狀態(tài)，從而評(píng)估課堂效果。

表情識(shí)別的包括五個(gè)過程：表情圖像獲取，數(shù)據(jù)預(yù)處理，提取圖像特征，表情分類和所屬類別。其中準(zhǔn)確提取圖像特征是表情識(shí)別過程中至關(guān)重要的步驟。目前，表情識(shí)別研究大致可以分為兩類：1） 基于人工提取特征的方法；2） 基于深度學(xué)習(xí)的方法。早期的表情識(shí)別主要依賴人工提取特征，如Gabor小波變換[3]、主成分分析（Principal Components Analysis， PCA） [4] 等，再使用支持向量機(jī)（Support Vector Machine，SVM） [5]進(jìn)行分類。傳統(tǒng)方法提取特征要求一定專業(yè)知識(shí)的幫助，人為干擾因素較大；且實(shí)驗(yàn)設(shè)計(jì)煩瑣，參數(shù)調(diào)整復(fù)雜。卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Net?work，CNN） 能夠直接處理原始數(shù)據(jù)，并通過端到端的圖形拓?fù)浣Y(jié)構(gòu)自動(dòng)提取輸入數(shù)據(jù)的抽象特征，這一特性使得識(shí)別過程變得更加簡(jiǎn)單和快捷，從而大大提高數(shù)據(jù)處理的效率。

1989 年，LeCun[6] 等人發(fā)明了卷積神經(jīng)網(wǎng)絡(luò)（CNN） ，他們利用LeNet-5模型，成功提高了手寫字符識(shí)別的準(zhǔn)確率。隨后，Kim[7]等人最先將CNN應(yīng)用于表情識(shí)別，并提出了一種新的表情特征表示方法。為了進(jìn)一步提高表情識(shí)別的準(zhǔn)確度，研究者們開始探索新的方法，嘗試著將CNN進(jìn)行進(jìn)一步的改進(jìn)并與其他特征提取方法相結(jié)合。Xie[8]等人提出了一種針對(duì)CNN的特定改進(jìn)方法，運(yùn)用多路連接和空間注意力機(jī)制，對(duì)CNN進(jìn)行微調(diào)預(yù)處理以獲取特征圖，然后對(duì)特征向量進(jìn)行全連接和分類。但是，該方法在分類精度上仍有提升空間。另外，喬桂芳[9]等人提出了一種優(yōu)化算法，該算法利用改進(jìn)的CNN與支持向量機(jī)（SVM） 相結(jié)合，以達(dá)到更好的識(shí)別效果，但其在目標(biāo)檢測(cè)效率方面仍然不夠好；崔鐵軍[10]等利用YOLOv4 目標(biāo)檢測(cè)算法對(duì)人進(jìn)行快速檢測(cè)，并與MTCNN和FaceNet構(gòu)成的人臉?biāo)惴ńY(jié)合，提高算法的魯棒性和檢測(cè)效果。

智慧課堂中有多個(gè)學(xué)生的視頻圖像，每個(gè)學(xué)生有自己的窗口，因此目標(biāo)檢測(cè)非常重要。YOLO系列是流行的目標(biāo)檢測(cè)算法之一，其效率和精度優(yōu)秀。針對(duì)學(xué)生個(gè)體的面部圖像，使用YOLOv5算法進(jìn)行目標(biāo)檢測(cè)，但此算法不能完成表情識(shí)別。因此，本文結(jié)合VGG19 和Rstnet18 算法完成人臉表情識(shí)別，并使用Softmax分類器進(jìn)行進(jìn)一步分類和分析。最終將識(shí)別結(jié)果與學(xué)生的聽課狀況相結(jié)合，通過評(píng)價(jià)分析系統(tǒng)評(píng)估學(xué)生的學(xué)習(xí)情況。

2 研究設(shè)計(jì)

2.1 基于視頻圖像的人臉檢測(cè)方法

我們先對(duì)YOLOv5輸出圖像處理進(jìn)行Resize函數(shù)修改，再利用VGG19和ResNet18模型進(jìn)行特征提取和表情分類。此外，在全連接層之前加入Dropout層，在訓(xùn)練模型的過程中減少一些特征檢測(cè)器，降低過擬合，使訓(xùn)練模型泛化性增強(qiáng)并有效提高其魯棒性。我們還去除了傳統(tǒng)VGG19和Resnet18中的多個(gè)全連接層，直接將一個(gè)全連接層分為6類去識(shí)別，以此得到每一類表情的輸出概率，再使用SVM分類器以此得到相應(yīng)的模型。如圖1為本文使用網(wǎng)絡(luò)模型。

經(jīng)過大量數(shù)據(jù)的訓(xùn)練，此模型得到了較滿意的實(shí)驗(yàn)結(jié)果。如圖2為本文算法訓(xùn)練檢測(cè)結(jié)果。

2.2 面部表情分析

除了特征提取，我們還需要設(shè)定不同表情的特征，以便讓模型能夠更好地識(shí)別表情。因此，本文在Ek?man的6種基本面部表情基礎(chǔ)上，將學(xué)生的學(xué)習(xí)情緒分為6種標(biāo)簽，分別是開心、驚訝、疑惑、困倦、正常和厭惡，并且提供了相應(yīng)的表情特征，如表1所示。經(jīng)過大量的數(shù)據(jù)訓(xùn)練，本模型可以很好地識(shí)別人物的表情。

3 研究成果

3.1 數(shù)據(jù)集增強(qiáng)

本次訓(xùn)練使用了包含CK+和Fer2013兩個(gè)數(shù)據(jù)集的數(shù)據(jù)，使用隨機(jī)抽樣的方式將數(shù)據(jù)集按照8：2的比例劃分為訓(xùn)練集和測(cè)試集。圖像包括男性和女性的數(shù)據(jù)，比例為1：3。通過這兩個(gè)數(shù)據(jù)集的組合和隨機(jī)劃分，訓(xùn)練集和測(cè)試集的標(biāo)準(zhǔn)化程度得到了保證，同時(shí)還可以使訓(xùn)練出的算法具有更好的泛化能力。具體的樣本數(shù)據(jù)集劃分結(jié)果如表2。

由于數(shù)據(jù)集內(nèi)圖片有不同曝光、不同明暗的示例圖，加強(qiáng)了數(shù)據(jù)訓(xùn)練的精度。在圖像采集方面，實(shí)驗(yàn)表明人的表情最少持續(xù)大約1.5s，因此本研究設(shè)計(jì)圖像采集頻率為t=1.5s。

在分類任務(wù)中，為了使圖片能夠被正確地傳入神經(jīng)網(wǎng)絡(luò)中，需要將圖片統(tǒng)一縮放到相同尺寸。本文采用雙線性插值法，原理是在橫軸與縱軸兩個(gè)方向上進(jìn)行一次線性插值，通過四個(gè)相鄰像素插值獲得目標(biāo)像素，其原理圖如圖3。

算法具體步驟為先通過Q12和Q22線性插值得到R2，過Q11與Q21線性插值得到R1，再通過R1和R2插值得到所要求的P點(diǎn)。雙線性插值法擁有計(jì)算量較小，運(yùn)算速度較快的特點(diǎn)，基本克服了最近鄰算法灰度不連續(xù)的缺點(diǎn)。

使用深度學(xué)習(xí)模型對(duì)人臉表情數(shù)據(jù)集進(jìn)行標(biāo)記后，使用YOLOv5進(jìn)行訓(xùn)練，以檢測(cè)人臉表情。接著，使用人臉對(duì)齊技術(shù)將檢測(cè)結(jié)果轉(zhuǎn)換為160x160大小的圖像，并輸入FaceNet網(wǎng)絡(luò)中進(jìn)行人臉匹配，最終完成人臉表情檢測(cè)。

3.2 評(píng)價(jià)指標(biāo)體系構(gòu)建

過去，教師評(píng)估課堂效果通?；谝幌盗兄饔^評(píng)價(jià)指標(biāo)，但這種傳統(tǒng)方法易受人為因素干擾。為了彌補(bǔ)多主體主觀評(píng)價(jià)的缺陷，研究提出了基于學(xué)生學(xué)習(xí)行為的教學(xué)效果評(píng)價(jià)方法，通過學(xué)生學(xué)習(xí)行為智能審計(jì)分析不斷監(jiān)測(cè)和采集數(shù)據(jù)，深入分析后，評(píng)價(jià)人員可以全面準(zhǔn)確地了解教學(xué)效果和學(xué)生的學(xué)習(xí)效果，從而提供更客觀準(zhǔn)確的評(píng)價(jià)結(jié)果。

本文將學(xué)生的學(xué)習(xí)行為細(xì)化為三類，分別為積極學(xué)習(xí)行為、中性學(xué)習(xí)行為和消極學(xué)習(xí)行為，其中驚訝和正常歸為中性行為。然后再將學(xué)習(xí)專注度和學(xué)習(xí)態(tài)度與該指標(biāo)相結(jié)合，由此，本文得到的教學(xué)效果分析指標(biāo)，詳細(xì)分類如圖4所示。

為了檢驗(yàn)課堂學(xué)習(xí)效果評(píng)價(jià)指標(biāo)的信效度，本研究采用了Cronbacha系數(shù)[11]和探索性因子分析。相關(guān)分析考察了學(xué)習(xí)態(tài)度、學(xué)習(xí)專注度和課堂活躍度四個(gè)指標(biāo)與學(xué)生課堂學(xué)習(xí)效果之間的關(guān)系，正確解釋了評(píng)價(jià)結(jié)果。信度檢驗(yàn)結(jié)果顯示評(píng)價(jià)系統(tǒng)各指標(biāo)的一致性信度系數(shù)都在0.7以上，其中3個(gè)指標(biāo)的信度系數(shù)為0.7～0.8，4個(gè)指標(biāo)的信度系數(shù)為0.8～0.85，1個(gè)指標(biāo)的信度系數(shù)為0.85以上，顯示評(píng)價(jià)系統(tǒng)各指標(biāo)的信度都很高，結(jié)構(gòu)效度分析也表明評(píng)價(jià)系統(tǒng)的各指標(biāo)結(jié)構(gòu)效度很好。

課堂活躍度是影響課堂學(xué)習(xí)效果的一項(xiàng)重要因素，此外還有其他因素，如學(xué)生的學(xué)習(xí)態(tài)度、學(xué)習(xí)專注度以及教師的教學(xué)方法，也可能對(duì)課堂學(xué)習(xí)效果產(chǎn)生顯著影響，并且這些因素之間可能存在相互作用。因此，在評(píng)價(jià)課堂學(xué)習(xí)效果時(shí)，需要綜合考慮多種因素，并采用科學(xué)方法進(jìn)行分析和評(píng)估，以得出準(zhǔn)確的結(jié)論和評(píng)價(jià)結(jié)果。接下來(lái)可以進(jìn)行學(xué)生個(gè)體課堂效果評(píng)價(jià)，得到表情分類結(jié)果并按照各項(xiàng)指標(biāo)的權(quán)重進(jìn)行加權(quán)平均得出最終結(jié)果，詳見表3。

然后再按照公式（2） 統(tǒng)計(jì)所有學(xué)習(xí)效果分析指標(biāo)的平均結(jié)果，其中i 表示學(xué)習(xí)的天數(shù)，f （n）表示某堂課對(duì)應(yīng)的評(píng)價(jià)總分。

學(xué)生的課堂學(xué)習(xí)效果評(píng)價(jià)方法可由此形成一個(gè)評(píng)價(jià)體系。

此外，本實(shí)驗(yàn)還將學(xué)生的課堂評(píng)價(jià)指標(biāo)與該學(xué)生的各項(xiàng)能力相結(jié)合，作為學(xué)生自我評(píng)價(jià)的主觀指標(biāo)，此指標(biāo)并不參與實(shí)際評(píng)分。結(jié)合如下：學(xué)生的課堂專注度可以體現(xiàn)其抗壓能力和持久能力；學(xué)生的課堂活躍度可以體現(xiàn)其思辨思考能力、溝通交流能力和團(tuán)隊(duì)協(xié)作能力；學(xué)生的學(xué)習(xí)態(tài)度可以體現(xiàn)其責(zé)任擔(dān)當(dāng)能力。

除了學(xué)生個(gè)體的課堂效果評(píng)價(jià)，還有課堂的總體評(píng)價(jià)供教師參考。課堂的總體評(píng)價(jià)是由所有學(xué)生課堂的三種學(xué)習(xí)行為比例進(jìn)行在線評(píng)價(jià)。教師則可以通過即時(shí)的整體學(xué)生的課堂狀態(tài)反饋來(lái)調(diào)整自己的教學(xué)。

4 結(jié)束語(yǔ)

本研究積極迎合新時(shí)代下教育部的發(fā)展指標(biāo)，探索建立健全多元綜合評(píng)價(jià)方式，持續(xù)努力探索和推進(jìn)網(wǎng)絡(luò)學(xué)習(xí)空間應(yīng)用。這種新模式以數(shù)據(jù)支撐、智能輔導(dǎo)為核心，覆蓋了教育生命周期的全過程，從而滿足學(xué)生和教師的不同需求。此外，新的教學(xué)模式還需要緊密結(jié)合互聯(lián)網(wǎng)和教育技術(shù)的發(fā)展趨勢(shì)，創(chuàng)新教學(xué)內(nèi)容和形式，注重培養(yǎng)學(xué)生創(chuàng)新能力和實(shí)踐能力，從而真正推動(dòng)教育高質(zhì)量發(fā)展，在后續(xù)可投入群體使用。

同時(shí)，本研究將學(xué)生的學(xué)習(xí)狀態(tài)可視化，便于及時(shí)引導(dǎo)學(xué)生調(diào)整學(xué)習(xí)狀態(tài)，并且為教師提供直面的反饋，協(xié)助改進(jìn)教學(xué)方案，使師生雙方得到成長(zhǎng)和進(jìn)步。文章中將面部表情作為評(píng)價(jià)指標(biāo)，并且以此預(yù)測(cè)、幫助學(xué)生個(gè)性化成長(zhǎng)是一種創(chuàng)新。但是，為了更好地發(fā)揮該評(píng)價(jià)體系的作用，還需要解決一些問題，比如如何通過評(píng)價(jià)體系為學(xué)生提供進(jìn)一步的未來(lái)規(guī)劃，如何加強(qiáng)教師與學(xué)生間的交流互動(dòng)等。