基于表情識別技術的學生課堂狀態(tài)檢測

蘇 悅，楊春金，王建霞

(1.河北科技大學信息科學與工程學院，河北石家莊 050018；2.河北太行機械工業(yè)有限公司，河北石家莊 052160)

隨著人工智能的快速發(fā)展和不斷完善，在線學習已成為各類教育教學的新常態(tài)[1]。特別是2019年新型冠狀病毒疾病爆發(fā)后，各大高校線下教學率大幅度下降。線上教學模式不斷地走進學生們的日常生活中。與傳統(tǒng)的線下課堂教育模式相比，線上教學擁有更加豐富的學習資源，學生可以在課后重溫課上視頻進行復習[2]。然而，對于教師來說，在線教學是一個單向的教學過程，這種教學形式導致師生之間缺乏交流，情感缺失現(xiàn)象嚴重[3]。若學生長期一人面對屏幕，缺乏與教師之間的互動，情緒低落，學習效率低下，學習則易出現(xiàn)效果差等問題[4]。

學生在課堂上對知識點的掌握與學習時的面部表情具有關聯(lián)性[5]，國內外研究者將表情識別技術應用到學生課堂狀態(tài)監(jiān)測[6-9]，通過學生面部表情數(shù)據(jù)，判斷學生上課狀態(tài)。MONKARESI 等[10]采用 Kinect 人臉跟蹤器和心率檢測方法檢測學習者參與教育活動的情況，發(fā)現(xiàn)面部表情識別的準確性高于心率檢測；ZALETELJ等[11]使用由Kinect One傳感器獲得的2D和3D數(shù)據(jù)來構建學生面部和身體屬性的特征集，機器學習算法用于訓練分類器，估算單個學生隨時間變化的注意力水平。然而目前將面部表情識別應用于真實復雜場景中的智能教育領域，識別和分析學生在課堂上的面部表情的模型效果并不是非常理想。針對以上問題，本文在人臉表情識別技術研究的基礎上設計實現(xiàn)在線學習表情識別系統(tǒng)，提出基于mini_Xception[12]架構添加通道注意力機制[13]的卷積神經網絡[14](CNN)模型，提高網絡模型的質量。對圖像進行灰度化、數(shù)據(jù)增強[15]等處理以增加訓練數(shù)據(jù)，然后將圖像輸入到該網絡中進行訓練。實驗表明，該網絡模型可以提高人臉識別的準確性和增強表情識別效果，并能分析學生在課堂上的參與度和狀態(tài)。

在線學習表情識別系統(tǒng)實現(xiàn)了對學生表情的分析與反饋，為教師提供學生線上課堂期間的情感數(shù)據(jù)，推出學生上課的幾種狀態(tài)(積極、消極、中性)。其不僅可以監(jiān)測學生學習狀態(tài)以及有效掌握教學節(jié)奏，還可以追蹤特定學生的學習狀態(tài)并進行狀態(tài)評估，依據(jù)評估結果及時調整學習狀態(tài)，也方便教師有針對性地調整上課節(jié)奏、課堂內容以及課后知識補充內容，及時改進教學內容和方法。

1 系統(tǒng)架構設計

1.1 在線學習系統(tǒng)模型

在線學習系統(tǒng)是結合了在線學習與表情識別技術的情感分析模型，通過攝像頭獲取學生人臉圖像，使用人臉表情識別技術進行人臉表情分類，結合事先設定好的“情緒-狀態(tài)”分類，判定學生的學習狀態(tài)，反饋給教師。在線學習系統(tǒng)設計的框架如圖1 a)所示。

圖1 在線學習系統(tǒng)整體實現(xiàn)架構

在線學習系統(tǒng)模型由學習模塊、教學模塊及情感識別模塊組成，學習模塊供學生使用，學生首先完成注冊，然后使用注冊的賬號登錄，便可按照課程安排進行學習；同樣在教學模塊中，教師首先需要進行注冊，其次登錄自己的賬戶，然后根據(jù)教學計劃安排課程，進行線上授課；這2個模塊面向教師和學生，功能簡單易懂，方便上手。在線學習系統(tǒng)中的核心是情感識別模塊，該模塊首先通過攝像頭定時截取學生人臉圖像進行表情識別，得到學生在線學習時的學習狀態(tài)，反饋給教師，教師通過反饋來掌握學生的課堂情況。設計該模型的主要目的是幫助教師通過學生的學習狀態(tài)改進教學內容和方法，來提高學生的學習興趣和熱情。

圖1 b)為圖1 a)下半部分學生學習系統(tǒng)情感分析的模塊圖，也是整個系統(tǒng)的核心技術。其中，數(shù)據(jù)采集模塊用于獲取學生知識學習序列，人臉檢測模塊和表情識別模塊用于情感識別，分析反饋模塊用于反饋學生上課狀態(tài)。該框架描述了學生登錄系統(tǒng)后獲取學生學習時的表情信息并進行識別反饋的基本技術要點。

1.2 情感識別模塊流程

情感識別模塊的核心是表情識別，它的基本流程如圖2所示。過程為1)通過攝像頭獲取學生面部數(shù)據(jù)；2)對圖像進行預處理；3)檢測定位圖像中的人臉，若未檢測到人臉，則返回第1步，若檢測到人臉，則進入第4步；4)進行人臉表情特征提取和表情分類；5)輸出表情識別結果。

圖2 情感識別模塊的流程圖

2 表情識別及其技術

人的面部表情是衡量人類情緒狀態(tài)的一種非常直觀的維度和外在表達方式，也是人際關系中一種非常重要的溝通方式[16]。1971年EKMAN等[17]建立了FACS，提出了“高興、厭惡、生氣、恐懼、吃驚、悲傷”6種基本表情。在之后的表情識別實驗中，大多數(shù)人使用這6種基本表情，或者在這6種基本表情中添加一個中性表情作為研究基礎。本文中，表情識別的內容主要包含以下幾項：人臉圖像采集、圖像預處理、人臉檢測和基于深度學習的網絡模型的表情特征提取，基本流程圖如圖3所示。

圖3 人臉表情識別的流程圖

2.1 人臉圖像采集

當學生進入課程時，系統(tǒng)攝像頭會自動打開，實時獲取學生在課堂上的表情數(shù)據(jù)，設定固定時間，每隔幾幀截取一張圖像進行檢測與識別。

2.2 圖像預處理

在原始圖像采集過程中受拍攝角度、光照強度的影響，以及傳輸過程中噪聲或設備本身的影響，原始圖像的質量會下降。直接進行原始圖像檢測并進行特征提取可能會導致差異偏大。因此，需要對原始圖像進行初步處理，減少設備的計算量，處理過程中主要進行圖像灰度化操作，將三通道彩色圖轉換成單通道灰度圖，灰度圖的轉化公式如式(1)所示。

Gray(x,y)=Red(x,y)×0.299+Green(x,y)×

0.587+Blue(x,y)×0.114，

(1)

式中(x,y)為圖像像素點的坐標。

2.3 人臉檢測

人臉的檢測方法有許多，例如使用dlib，OpenCV的Haar 級聯(lián)人臉檢測器[18]或多任務卷積神經網絡(MTCNN)[19]等方法檢測人臉。OpenCV的檢測方法對光線不好、側面的人臉可能檢測不到；基于dlib的檢測方法檢測力度不夠；因此兩種方法都不適合在線學生人臉檢測。MTCNN檢測方法對光線不好、角度偏差大和人臉表情變化明顯的圖片檢測效果更好，并且內存的消耗小，相對于前2種方法，更適合在線進行學生人臉檢測。MTCNN是由P-Net，R-Net，O-Net構成。

1)MTCNN使用到的損失函數(shù)

人臉識別采用交叉熵損失函數(shù)，回歸框和關鍵點采用L2損失函數(shù)，如式(2)—式(4)所示。

(2)

(3)

(4)

最終訓練的損失函數(shù)綜合了人臉識別、回歸框、關鍵點的損失函數(shù)加權表示，如式(5)所示。

(5)

2)MTCNN檢測人臉效果

當攝像頭打開時，MTCNN實時檢測人臉數(shù)據(jù)并繪制人臉框。圖4顯示了不同角度的人臉檢測結果。

圖4 MTCNN不同角度檢測人臉效果圖

2.4 基于深度學習的網絡模型的表情特征提取

表情特征提取是表情識別過程中的核心步驟，對正確實現(xiàn)表情識別分類有著非常大的作用，確保表情特征提取的精確度可以提高表情識別的準確度，為獲取學生在線學習狀態(tài)提供依據(jù)。表情識別特征提取通常采用深度學習模型。

1)ResNet-18模型

ResNet[20]架構是用于圖像識別的CNN模型之一，該架構已被廣泛應用于各種特征提取，在ResNet網絡被提出之前，傳統(tǒng)的卷積神經網絡是由一系列卷積層和低采樣層疊加而成。然而，當疊加到某個網絡深度時，會出現(xiàn)2類問題:①梯度消失或梯度爆炸。②退化問題。在ResNet的論文中，通過數(shù)據(jù)預處理和使用BN(批量歸一化)層，可以解決第1類問題；在網絡中添加殘差結構，搭建的網絡結構能夠突破1 000層，同時使用批量歸一化加速訓練，可以解決第2類問題。本文首先采用ResNet-18網絡進行訓練數(shù)據(jù)和測試數(shù)據(jù)。

2)mini_Xception架構模型

mini_Xception是以Xception[21]架構為基礎的，圖5為該網絡架構的結構圖，含有4個殘差深度可分離卷積，且去除了全連接層，批標準化及ReLU激活函數(shù)添加到每個卷積之后，在預測模塊中使用全局平均池和soft-max激活函數(shù)，且模型參數(shù)比傳統(tǒng)的CNN少幾十倍。在實驗中mini_Xception網絡的訓練速度和效果均比ResNet-18網絡要好。

圖5 mini_Xception網絡架構

3)改進的mini_Xception架構模型

注意力機制是聚焦于局部信息的機制。通道注意力機制原理是通過建模每個特征通道的重要程度，然后針對不同的任務增強或抑制不同的通道。其結構如圖6所示，關鍵操作是squeeze和excitation，在輸入SE注意力機制之前(左側空白圖)，特征圖的每個通道的權重是一樣的，通過SENet之后(右側彩色圖)，不同顏色代表不同的權重，使每個特征通道的重要性變得不一樣，讓神經網絡重點關注權重值大一些的通道。

圖6 通道注意力機制結構圖

為提高mini_Xception網絡的特征提取和表達能力，本文提出在mini_Xception網絡的基礎上添加通道注意力機制，得到一種改進的網絡訓練模型。通道注意力機制添加到mini_Xception網絡架構中的示意圖如圖7所示。

圖7 添加通道注意力機制的mini_Xception網絡架構

用這個網絡模型在Fer2013[22]，CK+[23]上進行訓練，得到的效果均比原版的mini_Xception網絡要好。通過以上幾個網絡模型實驗的對比，最終采用改進的mini_Xception網絡模型訓練數(shù)據(jù)和測試數(shù)據(jù)。

3 實驗與結果分析

3.1 實驗環(huán)境

開發(fā)環(huán)境：PyCharm；學習框架：Tensorflow；操作系統(tǒng)：Windows 10(64位)；程序語言：Python 3.7；實驗中優(yōu)化器為Adam,epoch設為 200，batch_size 為 32。

3.2 數(shù)據(jù)集采集與預處理

本實驗數(shù)據(jù)集采用Fer2013與CK+。

1)Fer2013數(shù)據(jù)集將含有大量非正臉圖片的灰度圖數(shù)據(jù)集分為訓練集(80%)、測試集(10%)、驗證集(10%)，圖片大小為48×48，每張圖片都帶有標簽，標簽分為7種表情。圖8為Fer2013數(shù)據(jù)集表情示例圖。

圖8 Fer2013數(shù)據(jù)集表情示例圖

2)CK+數(shù)據(jù)集是從動態(tài)視頻中提取出表情圖片組成的數(shù)據(jù)集，每一個圖片對應一個標簽，標簽有7種。圖9 為CK+數(shù)據(jù)集表情示例圖。

圖9 CK+數(shù)據(jù)集表情示例圖

本文通過對CK+數(shù)據(jù)集進行預處理，剪裁出人臉區(qū)域的同時刪除冗余信息，生成48×48大小的灰度圖。CK+數(shù)據(jù)集中可直接用于表情識別的圖片數(shù)量較少，在訓練過程中很容易出現(xiàn)過擬合，因此，在實驗當中，對此數(shù)據(jù)集采用拉伸、平移、調節(jié)亮度等8種不同的方法進行數(shù)據(jù)增強，相比原始數(shù)據(jù)集擴大了9倍。

3.3 實驗結果

本實驗數(shù)據(jù)集采用Fer2013和CK+，在ResNet-18，mini_ Xception上進行訓練和測試，得到了表1所示的識別準確率，從表1中可以看出mini_Xception上的識別準確率比ResNet-18提高了將近7%和3%，表明在本實驗中mini_Xception的識別準確率要比ResNet-18好。

表1 不同數(shù)據(jù)集在不同網絡模型上的準確率

本實驗在mini_Xception的基礎上，又做了一些改進的對比實驗，在mini_Xception上添加通道注意力機制(channel attention mechanism)，并在數(shù)據(jù)集Fer2013，CK+上進行訓練和測試。實驗結果如表2和表3所示，改進的網絡模型在數(shù)據(jù)集Fer2013和CK+上的識別準確率均有一定的提高，且相比于文獻[24—27]效果更好。

表2 mini_Xception與改進的mini_Xception上的準確率

表3 本文改進的網絡模型與其他文獻網絡模型實驗結果準確率對比

最后，將訓練好的模型導入表情識別系統(tǒng)進行表情識別。表情識別系統(tǒng)應用到在線教學模式進行授課時，攝像頭定時捕獲學生面部圖像進行識別，如圖10和圖11所示，可以準確定位到人臉并準確識別學生的表情，再將可視化數(shù)據(jù)反饋給教師，教師根據(jù)可視化信息等了解學生的學習狀態(tài)和情況，進而調整教學節(jié)奏，調動學生上課的積極性，提高教學質量。

圖10 人臉表情識別的部分效果圖

圖11 表情數(shù)據(jù)狀態(tài)數(shù)據(jù)可視化圖

圖10為學生上課過程中，攝像頭實時截取學生面部表情，將圖像導入表情識別網絡模型識別輸出的表情結果。圖11為上課過程中識別的所有表情和狀態(tài)的匯總餅狀圖，由此可觀察學生表情及狀態(tài)的占比情況，其中左側餅狀圖為表情餅狀圖，展示“高興、厭惡、生氣、恐懼、吃驚、悲傷、中性”7種表情所占百分比，右側餅狀圖為在7種表情的基礎上提出的“積極、消極、中性”3種學習狀態(tài)的餅狀圖，“高興、吃驚”表示學生的積極狀態(tài)，“厭惡、生氣、恐懼、悲傷”表示學生的消極狀態(tài)，“中性”表示學生的中間狀態(tài)。

4 結 語

人工智能與在線教育相結合的智慧學習是當代新型智能教育模式，也是教育信息化的趨勢。為解決在線教育導致的學生情感信息缺失問題，提出了能夠反饋學生情感狀態(tài)和學習狀態(tài)的模型，并詳細描述了其原理及流程。通過在課堂上采集學生學習時的表情數(shù)據(jù)構建了學生面部表情識別數(shù)據(jù)集，采用添加通道注意力機制的mini_Xception網絡模型對學生面部表情進行分類，再將分類結果與ResNet-18網絡、原始mini_Xception以及多個已有文獻[24—27]的分類結果進行比較，經過多次對比實驗表明，本系統(tǒng)采用的方法獲得了較高的準確率。應用表情識別技術，實時監(jiān)測學生表情，為教師提供可視化的課堂數(shù)據(jù)，使教師能夠了解學生課堂狀態(tài)，及時調整教學內容和方法，增強學生上課積極性，提高在線學習的教學質量。

本方法雖然能夠很好地識別人臉表情，但是在遮擋、側面以及光線不足等情況下，表情識別效果被影響的問題仍未得到很好解決，為了解決這些因素的影響，未來的表情識別研究重點可以放在如何消除眼鏡框遮擋、臉部遮擋、側面人臉和光線不足等的影響上，以便于表情識別技術可以在更復雜的環(huán)境中使用[28]。