表情識別在課堂教學(xué)評價中的應(yīng)用研究

唐強，張璐平，夏志遠(yuǎn)，彭俊，符子揚

（湖南師范大學(xué)，湖南 長沙 410081）

0 引 言

在傳統(tǒng)的教學(xué)評價中，教師通過分析學(xué)生的認(rèn)知水平，量身定制對應(yīng)的教學(xué)策略，從而提高教學(xué)效果[1]。這種通過教師教學(xué)的效果和學(xué)生的學(xué)習(xí)效果來評價課堂教學(xué)的方法其關(guān)注點主要是學(xué)科知識，而學(xué)生在這些教學(xué)中產(chǎn)生的情緒則常常會被忽略，所以此法進行教學(xué)評價時會有一定的局限性。

當(dāng)初任教師，特別是實習(xí)教師在授課時，會因為教學(xué)經(jīng)驗不豐富或教法運用不熟練，導(dǎo)致難以及時地關(guān)注到每個學(xué)生的表情，很容易忽略學(xué)生在課堂上的情緒。在教學(xué)評價這一環(huán)節(jié)中，教師未能及時察覺到學(xué)生在課堂上的情緒變化[1]，不能了解學(xué)生真正的需求，因此難以實現(xiàn)以學(xué)生為中心進行評價。這使得課堂教學(xué)策略無法隨著學(xué)生的接受水平即時地調(diào)整。

針對上述問題，本文研究了在YOLOv5 技術(shù)的輔助下，利用教室內(nèi)安裝的攝像頭、眼動儀等設(shè)備采集課堂圖像與聲音信息，通過面部識別、目標(biāo)識別等技術(shù)對師范生實習(xí)教學(xué)過程中的師生表現(xiàn)信息進行采集、運算、分析的課堂教學(xué)評價系統(tǒng)。

1 深度學(xué)習(xí)框架YOLOv5

YOLOv5（You Only Look Once）是一種基于深度學(xué)習(xí)的圖像識別、目標(biāo)檢測技術(shù)，課堂教學(xué)評價系統(tǒng)通過YOLOv5檢測識別技術(shù)對師生的人臉、表情、身體姿態(tài)等數(shù)據(jù)進行識別分類與統(tǒng)計[2]，為數(shù)字化課堂評價提供可靠的依據(jù)。如圖1所示，YOLOv5 的整體框架分為四個部分：輸入端、Backbone、Neck 和Prediction[3]。

圖1 YOLOv5 框架圖

輸入端將對輸入的圖片進行網(wǎng)格劃分，為每個網(wǎng)格進行特征向量識別，首先確定識別對象的中心點，然后將其中心點所在的網(wǎng)格賦予一組向量用于判斷物體的種類，而判斷的標(biāo)準(zhǔn)則是由使用者自行設(shè)定，也就是通過學(xué)習(xí)訓(xùn)練的方式來判斷物體種類。

Backbone 是YOLOv5 網(wǎng)絡(luò)中的卷積池化層，將輸入的信息進行加工處理，其采用CSP 模塊先將基礎(chǔ)層的特征映射劃分為兩部分，通過跨階段層次結(jié)構(gòu)將它們合并，在減少了資源消耗的同時可以保證準(zhǔn)確率。在目標(biāo)檢測中，為了獲得更好地融合特征，在Backbone 與輸出層通常會插入一些關(guān)鍵層，統(tǒng)稱為Neck。

YOLOv5 的Neck 采用FPN+PAN 的結(jié)構(gòu)，加強了網(wǎng)絡(luò)特征融合的能力。它在FPN層的后面增加了一個特征金字塔，其中包含兩個PAN 結(jié)構(gòu)。FPN 層和特征金字塔從不同的主干層對不同的檢測層進行參數(shù)聚合，進一步提高特征提取的能力。

Prediction 是輸出預(yù)測端，算法需要對于檢測出的物體輸出對應(yīng)的預(yù)測錨框，然后得到模型的輸出結(jié)果，計算模型的輸出與真實值的損失，計算損失值的梯度，最后用梯度下降算法更新模型參數(shù)。

2 視頻切割與關(guān)鍵幀提取

設(shè)備采集了某一堂課的教學(xué)過程視頻后，需要把該視頻切分成多個圖片幀，再識別這些圖片內(nèi)容的含義。隨著攝像技術(shù)不斷發(fā)展，視頻切割技術(shù)已經(jīng)得到了較為廣泛的應(yīng)用，如電影特效添加和短視頻美化等。針對視頻中幀含量大、重復(fù)高、有模糊性等問題，本文重點研究了如何從分割的圖片集合中提取關(guān)鍵幀和準(zhǔn)確定位幀中的人臉表情這兩個問題，并提出了視頻切割與基于聚類的關(guān)鍵幀提取的解決方案。

2.1 視頻切割方案

為減少無效幀對目標(biāo)識別效率降的影響，本文利用YOLOv5 網(wǎng)絡(luò)模型對視頻中的所有人臉進行檢測，保留帶有高識別性人臉的幀[4]。

首先把由視頻采集設(shè)備拍攝的教學(xué)視頻分割成幀，再對各個幀進行AI 智能分析，對圖片重復(fù)性、有模糊性和有效性進行驗證，從驗證的結(jié)果集中選取一張權(quán)重最高的幀作為關(guān)鍵幀，由關(guān)鍵幀來代替某一小段時間（p）的課堂信息，最后通過目標(biāo)識別算法識別關(guān)鍵幀中的人臉，以及表情識別算法識別圖片中各學(xué)生情緒和狀態(tài)，并將結(jié)果數(shù)據(jù)返回給評價系統(tǒng)，為教學(xué)評價提供數(shù)據(jù)支撐。流程如圖2所示。

圖2 視頻切割流程圖

2.2 基于聚類的關(guān)鍵幀提取

本文采用聚類算法管理分割出來的幀，通過分析圖片的人臉數(shù)量和要素內(nèi)容[5]，把比較相近的圖片歸為一類，從而能夠過濾掉大部分的無用幀，提取到足夠關(guān)鍵的幀，進而滿足系統(tǒng)的需求。

訓(xùn)練模型的過程大致如下，首先需要從網(wǎng)絡(luò)中收集圖像作為訓(xùn)練數(shù)據(jù)，利用開源工具LabelImg 對數(shù)據(jù)集進行標(biāo)注，通過YOLO 算法識別出圖像內(nèi)容，標(biāo)注格式為PASCAL VOC，將做好的數(shù)據(jù)集轉(zhuǎn)為YOLO 格式后劃分?jǐn)?shù)據(jù)集和驗證集并放到Y(jié)OLOv5 上進行訓(xùn)練，構(gòu)建模型[6]。管理員可以針對不同視頻長度設(shè)置關(guān)鍵幀提取頻率，每p秒（p由用戶設(shè)置，且最低為0.1 s），通過基于聚類的關(guān)鍵幀提取算法來進一步縮小關(guān)鍵幀選擇的范圍，最后YOLO 從中提取學(xué)生人臉數(shù)量最多且易于識別的幀作為關(guān)鍵幀。

3 表情識別

對課堂中采集的視頻進行關(guān)鍵幀提取后，系統(tǒng)先進行人臉識別，在人臉數(shù)據(jù)庫中獲取該同學(xué)的所有信息，再識別學(xué)生表情，同時記錄學(xué)生情緒。通過axios 進行ajax 異步請求，快速完成人臉情緒統(tǒng)計的更新，整個過程可以分為人臉識別、表情數(shù)據(jù)集訓(xùn)練、表情識別、數(shù)據(jù)存儲等步驟。

3.1 人臉識別

YOLO 算法是采用一個單獨的CNN 模型實現(xiàn)端對端的目標(biāo)檢測，算法的原理是先將圖片分為N×N個框，每個都預(yù)測出x個邊界框，每個邊界框有5 個量，分別是物體的中心位置和它的高和寬，以及這次預(yù)測的置信度，流程如圖3所示。最后利用非極大值抑制Non-maximal suppression（NMS）的技術(shù)將置信度最高的邊界框選定、識別并判斷該物體的類別和位置[7]。

圖3 YOLO 識別框圖原理

3.2 表情數(shù)據(jù)集訓(xùn)練

為了使模型較好地滿足系統(tǒng)表情識別功能需求，需要劃分出各種表情明顯且獨立的特征，并且讓模型進行表情數(shù)據(jù)集的訓(xùn)練，才能有較為準(zhǔn)確的識別能力。系統(tǒng)將學(xué)生課堂基本情緒分為開心、驚喜、煩悶、思索、困倦、無表情共六種標(biāo)簽。各表情特征表1所示。

表1 表情定義

本次訓(xùn)練數(shù)據(jù)采用的CK 數(shù)據(jù)集是在實驗室情景中獲取的，包含大量的靜態(tài)圖片并賦有情緒標(biāo)簽，可靠性較高。在訓(xùn)練表情數(shù)據(jù)集的過程中，先采用LabelImg 軟件包對jpg文件進行表情標(biāo)定與相對應(yīng)的xml 文件的寫入。通過讀取對應(yīng)數(shù)據(jù)集內(nèi)的jpg 文件，對其中的人臉表情進行標(biāo)定，標(biāo)明該表情所對應(yīng)的標(biāo)簽，接著將所有的標(biāo)定好的訓(xùn)練圖片集合根據(jù)標(biāo)簽分為表1中的六類，使用YOLOv5S 訓(xùn)練模型進行訓(xùn)練，訓(xùn)練的輪次定在100 次。測試環(huán)境為CPU Intel Core i5-5 300U，內(nèi)存為8 GB，顯卡型號為Intel（R）HD Graphics 5 500，操作系統(tǒng)為 Ubuntu1 6.0。

通過分析三類損失函數(shù)（分損失函數(shù)cls_loss、定位損失函數(shù)box_loss 和置信度損失函數(shù)obj_loss），可以衡量所訓(xùn)練的模型其預(yù)測值與真實值不一樣的程度。圖4展示的是訓(xùn)練模型時的三種損失函數(shù)。

圖4 模型訓(xùn)練的損失函數(shù)

cls_loss 表示計算錨框與對應(yīng)的標(biāo)定分類是否正確性，box_loss 表示預(yù)測框與標(biāo)定框之間的誤差，obj_loss 表示負(fù)責(zé)計算網(wǎng)絡(luò)的置信度。訓(xùn)練的過程中所得到關(guān)模型訓(xùn)練的查全率、查準(zhǔn)率與F1 分?jǐn)?shù)，模型訓(xùn)練之后所得到的查全率與置信度、查準(zhǔn)率與置信度、F1 分?jǐn)?shù)與置信度之間的關(guān)系如圖5所示。

圖5 查準(zhǔn)率與置信度曲線

3.3 表情識別

系統(tǒng)采用CK 表情識別數(shù)據(jù)集，該數(shù)據(jù)集約有幾千張人臉圖片，并且對開心、驚喜、煩悶、思索、困倦、無表情等幾種表情進行了標(biāo)注。算法經(jīng)過大量數(shù)據(jù)的訓(xùn)練后，如圖能夠很好地對人物的表情進行識別。通過調(diào)用測試接口進行識別，如圖6所示，說明系統(tǒng)識別結(jié)果為sleep，置信度為0.90（90%），識別結(jié)果符合表1中sleep 表情的定義。

圖6 表情識別

4 數(shù)據(jù)分析與課堂評價

4.1 測試分析

本次測試視頻采用師范生在某中職學(xué)校計算機專業(yè)教育實習(xí)過程中所授的“C 語言程序設(shè)計”課堂教學(xué)視頻，該班級共有學(xué)生50人。圖7為課堂上某同學(xué)在整堂課的表情分布情況[8]。

圖7 某同學(xué)課堂表情分布情況

為了更直觀地展現(xiàn)整堂課所有學(xué)生的情緒變化規(guī)律，系統(tǒng)在時間線上統(tǒng)計了所有同學(xué)的表情變化情況，真實有效地反映了同學(xué)們在課堂中的情緒變化。如圖8所示為部分時間內(nèi)所有同學(xué)的表情分布情況。

圖8 部分時間內(nèi)所有同學(xué)的表情分布情況

4.2 課堂評價

在分析結(jié)果的支撐下，可以為學(xué)生個人提供課堂評價和為教師提供課堂整體評價兩個部分。

學(xué)生個人課堂評價方案為將分析結(jié)果輸入到分類器，得到表情分類，再對學(xué)生的表情進行評分，最后進行綜合評價。如開心、思索、驚喜等積極情緒作為加分項，分值計為10 分、8 分、7 分；無表情為中性項計為-1 分；煩悶、困倦作為減分項（消極情緒），計為-8 分、-10 分。根據(jù)學(xué)生在課堂上各表情時間占比計算學(xué)生上課所得分，對結(jié)果進行分析，評分越高，表明該學(xué)生在當(dāng)前時刻聽講越認(rèn)真，專注度越高[9]。

課堂整體評價方案是根據(jù)所有學(xué)生的個人課堂數(shù)據(jù)統(tǒng)計分析，通過計算全班整體上課的加權(quán)平均分進行課堂整體評價，為教學(xué)改進提供參考。同時，如果大部分學(xué)生的情緒突然發(fā)生了變化，系統(tǒng)將會根據(jù)變化情況將此時間點標(biāo)記為上課的高潮或低谷；根據(jù)學(xué)生們上課時表情的不同及變化和持續(xù)時間，系統(tǒng)將課堂的時間軸分為前期、中期和后期。并給出不同時間段的課堂綜合評價，評教者可以查看不同時間段的數(shù)據(jù)統(tǒng)計，進一步客觀的對課堂教學(xué)進行評價。由于學(xué)生個人因素的影響，每個關(guān)鍵幀若有占85%的情緒則忽略剩下的百分之十五，某一階段持續(xù)積極情緒為主則忽略其他情緒，不同情緒的評分標(biāo)準(zhǔn)與個人課堂評價評分標(biāo)準(zhǔn)一樣[10]。

以“C 語言程序設(shè)計”課堂教學(xué)為例，在本文所研究的課堂評價方案基礎(chǔ)上對數(shù)據(jù)進行分析，如圖9所示。分析發(fā)現(xiàn)，本次課堂教學(xué)過程中，本堂課只有小部分學(xué)生對課堂比較感興趣，26%的學(xué)生可能處于開小差的狀態(tài)，建議本堂課授課實習(xí)教師調(diào)整課堂教學(xué)方案并與聽課評委進行溝通交流。

圖9 課堂評分?jǐn)?shù)據(jù)分布

5 結(jié) 論

本研究基于YOLOv5 框架對課堂教學(xué)視頻進行分割、提取、表情數(shù)據(jù)集訓(xùn)練、目標(biāo)識別、表情識別等，為數(shù)字化課堂評價標(biāo)準(zhǔn)提供了依據(jù)。通過基于表情數(shù)據(jù)的課堂評價方案對課堂授課過程進行科學(xué)性評價、分析與可視化展示，為實習(xí)教師提供了明確的課堂反思路線，可有效地幫助實習(xí)教師提高課堂教學(xué)水平。