面向在線學習情境的認知情緒面部表情識別

陳子健，段春紅

（貴州財經(jīng)大學信息學院，貴州 貴陽 550025）

0 引 言

認知情緒是學習者在處理新的、非常規(guī)的任務時由認知問題引發(fā)的情緒。不同于日常生活情境中發(fā)生頻率最高的6 種基本情緒，學習情境中最常產生的認知情緒是困惑、厭倦、沮喪、興趣等［1-2］。隨著認知加工活動的進行，認知情緒的類別也發(fā)生動態(tài)變化。賦予在線學習系統(tǒng)識別認知情緒的能力，可以發(fā)揮認知情緒監(jiān)測在學習中的價值潛能，有助于全面、科學地評估學習者的學習狀態(tài)，也有助于實現(xiàn)人機情感交互，推動智適應教學系統(tǒng)的發(fā)展。

情緒作為一種內隱的心理狀態(tài)，無法直接測量，一般通過對情緒體驗、外顯表情和生理喚醒3 個情緒構成要素的調查或測量，間接實現(xiàn)對情緒的識別或測量。在線學習情境中的認知情緒識別不僅需要提高識別的準確率，還需考慮識別方式的適切性，降低監(jiān)測過程中對學習者的侵入性，避免干擾學習者的學習。面部表情是情緒的主要表現(xiàn)形式［3］，并且人類的面部表情也是不學而能的，新生兒就會因饑餓呈現(xiàn)哭鬧表情，因舒適呈現(xiàn)微笑表情，因驚嚇呈現(xiàn)恐懼表情［4］。由于進化中適應生存的需要，人類各種具體情緒的適應功能各不相同，情緒的功能差異又通過各種不同的面部表情實現(xiàn)［5］，即情緒和面部表情之間存在先天的一致性。雖然由于社會規(guī)范、道德、價值標準的約束，人類在后天生活過程中，可能學會抑制或修飾自身情緒的面部表情，但是在線學習情境中，學習者是單獨處在一個虛擬學習空間中進行自主學習，不存在對情緒的面部表情進行抑制或修飾的需求。

目前，面部表情識別領域的研究人員普遍將6 類基本情緒面部表情作為研究對象，利用實驗室環(huán)境下收集得到的受控面部表情庫開展研究，如JAFFE、CK、CK+、MMI、Oulu-CASIA 等，并取得了較好的識別率，但是實驗室中采集的受控面部表情大部分是故意擺拍，無法反映現(xiàn)實生活中的復雜場景［6］，針對真實世界中面部表情的識別研究是推進面部表情識別發(fā)展和應用的重點。收集和創(chuàng)建真實世界中的面部表情數(shù)據(jù)庫，又是推進真實世界中面部表情識別研究的首要環(huán)節(jié)。針對此問題，本文設計認知情緒誘發(fā)實驗，創(chuàng)建認知情緒面部表情庫，用于認知情緒面部表情識別算法的開發(fā)和評估。

有效提取具有判別能力的特征是面部表情識別的核心問題。自從Kahou 等人［7］構建由多種不同類別網(wǎng)絡組成的混合深度神經(jīng)網(wǎng)絡，實現(xiàn)面部表情特征的自動提取和分類，并取得EmotiW2013 情感識別大賽冠軍，越來越多的研究者采用深度學習的方法進行面部表情特征的提取。相關研究主要是對已有的網(wǎng)絡結構進行優(yōu)化，如增加Inception 模塊［8］，引入殘差結構［9-10］，引入對抗生成網(wǎng)絡［11］，將局部塊注意力機制引入深度網(wǎng)絡中，對面部表情分區(qū)進行學習［12-13］，以增加網(wǎng)絡的特征學習能力，或者設計新的網(wǎng)絡損失層輔助網(wǎng)絡模型的訓練，以進一步降低面部表情類內差異［14-15］。對于視頻序列形式的面部表情，則將面部表情的空間域特征和時間域特征相結合來提高識別的性能［16-18］。真實學習情境中的認知情緒面部表情具有短暫性、局部性、細微性的特點，為了針對性地學習到具有表情判別性的特征，本文設計混合深度神經(jīng)網(wǎng)絡實現(xiàn)面部表情在空間域和時間域中的幾何特征和表觀特征，融合2種特征識別認知情緒面部表情。

1 方法介紹

面向在線學習情境的認知情緒面部表情識別，首先需要解決的是學習者監(jiān)測畫面中的人臉檢測問題，然后在提取面部表情特征的基礎上識別面部表情。面部表情是一個動態(tài)的過程，既有空間域的特征，又有時間域的特征。空間域特征既包括眉毛、眼睛、鼻子、嘴唇等單個或多個面部器官的幾何特征，也包括由于面部肌肉運動產生的皺紋、溝紋、紋理等表觀特征。實現(xiàn)面部表情的本質特征提取是提升識別準確率的重要途徑，因此本文提出基于雙模態(tài)空時域特征的面部表情識別方法，通過設計混合深度神經(jīng)網(wǎng)絡，實現(xiàn)面部表情的空時域幾何特征和空時域表觀特征的自動提取，融合2 種模態(tài)的特征識別圖像序列形式的面部表情。將提出的方法應用于認知情緒面部表情識別，創(chuàng)建認知情緒面部表情庫，訓練認知情緒面部表情識別的網(wǎng)絡模型，并對模型的性能進行測評。

圖像序列形式的面部表情從起始到結束的持續(xù)時間是一個變化量，而神經(jīng)網(wǎng)絡自身的特點決定了輸入數(shù)據(jù)的維度是一個恒定值。也就是說，不能直接將圖像序列形式的面部表情輸入神經(jīng)網(wǎng)絡，因為每個表情包含的圖像幀數(shù)量不一致。為了解決這個問題，本文參考相關研究［18-19］，從面部表情的圖像序列中選取固定數(shù)量的代表幀作為神經(jīng)網(wǎng)絡的輸入。代表幀選擇的計算公式如下：

式中，F(xiàn)'表示選取的面部表情代表幀集合；ft表示代表幀，下標t是代表幀的時間碼；ton和tapex分別表示面部表情圖像序列中起始幀和峰值幀的時間碼；n表示要選取的代表幀的數(shù)量。

設計的混合深度神經(jīng)網(wǎng)絡由全連接神經(jīng)網(wǎng)絡（FCN）、卷積神經(jīng)網(wǎng)絡（CNN）和長短時記憶網(wǎng)絡（LSTM）這3 個子網(wǎng)絡構成。認知情緒面部表情的識別流程如圖1 所示：1）在面部表情圖序列的起始幀和峰值幀之間選取統(tǒng)一數(shù)量的代表幀；2）檢測所有代表幀中人臉，并對圖像進行裁剪，只保留人臉區(qū)域圖像；3）對所有代表幀中的人臉特征點進行定位，特征點坐標值組成的向量，用于表征面部表情的空間域幾何特征；4）所有代表幀的空間域幾何特征輸入FCN 子網(wǎng)絡，進一步提取空時域幾何特征；5）第2 步中，裁剪后的代表幀輸入CNN 子網(wǎng)絡，提取代表幀在空間域的表觀特征；6）所有代表幀的空間域表觀特征輸入LSTM子網(wǎng)絡，進一步提取空時域表觀特征；7）融合后的空時域幾何特征和空時域表觀特征，通過全連接層輸入分類器，分類器輸出面部表情在各個類別上的概率分布。

圖1 認知情緒面部表情識別流程（表情實例來自CASME Ⅱ［19］數(shù)據(jù)庫）

1.1 人臉檢測

人臉檢測屬于目標檢測的范疇，就是判斷給定的圖像上是否存在人臉，如果存在，則輸出人臉所處的位置及其邊框信息。傳統(tǒng)的VJ［20］人臉檢測算法提升了人臉檢測的速度，推動了人臉檢測的發(fā)展，但是仍然采用的是暴力窮舉式的滑窗法，并且只提取窗口圖像的底層特征，檢測的精度還有待提升。隨著目標檢測的迅速發(fā)展，新的檢測算法層出不窮，代表性的算法有Faster R-CNN［21-22］、SSD［23-25］、YOLO［26-28］等。本文構建基于Faster R-CNN 框架的人臉檢測器，其網(wǎng)絡結構如圖2所示。其中，CNN 輸出檢測圖像的卷積特征圖，RPN在卷積特征圖的基礎上生成人臉候選區(qū)域，候選區(qū)域的圖像特征圖經(jīng)過RoI 池化后，分別輸入分類器和回歸器，分類器判斷人臉候選框是不是人臉，回歸器對人臉候選框的坐標位置進行調整，以獲取更高精度人臉檢測框。

圖2 人臉檢測器網(wǎng)絡結構

利用Wider-Face［29］中的人臉樣本訓練人臉檢測器，利用FDDB［30］中的人臉樣本測試人臉檢測器的性能。其中，CNN 采用Incetption ResNet V2網(wǎng)絡結構，并使用預訓練模型對權值參數(shù)進行初始化，以加速人臉檢測網(wǎng)絡的訓練。構建均值為0、標準差為0.01 的高斯分布，對人臉檢測網(wǎng)絡中其它層的權值參數(shù)進行隨機初始化。在人臉檢測測試實驗中，AP 值為0.9049，誤檢數(shù)為500 時，TPR 值為0.93。圖3 呈現(xiàn)了人臉檢測器的一個測試實例。從圖中可以發(fā)現(xiàn)人臉檢測器對圖像中不同位置、不同大小、不同方向的人臉都具有較好的檢測效果。

圖3 人臉檢測器的測試實例

1.2 面部表情幾何特征提取

為了提取面部表情產生時眉毛、眼睛、鼻子、嘴唇等單個或多個面部器官的幾何形變信息，本文首先構建訓練人臉特征點定位模型，對人臉的68 個特征點（如圖4 所示）進行定位，用歸一化的特征點坐標值表征面部表情在空間域的幾何特征，然后設計全連接神經(jīng)網(wǎng)絡，從多個表情圖像幀的空間域幾何特征中進一步提取面部表情的空時域幾何特征。

圖4 68個人臉特征點

構建的人臉特征點定位模型中，為了降低頭部姿態(tài)的影響，先對眼角和嘴角4 個特征點進行定位，計算頭部的傾斜角度，在此基礎上旋轉圖像，糾正頭部傾斜。然后，采用分治法和由粗到精的定位方式，先將特征點劃分為人臉輪廓和五官2 個部分，進行初次定位。再在初次定位的基礎上，將五官劃分為左眉毛和眼睛、右眉毛和眼睛、鼻子、嘴唇共4 個部分，進行第二次定位。構建的人臉特征點模型由7 個級聯(lián)的CNN 組成，使用300-W Challenge 數(shù)據(jù)集訓練和測試網(wǎng)絡模型。測試過程中，采用MNE 評估人臉特征點定位的誤差，計算公式如下如示：

其中，N表示人臉特征點的數(shù)量，表示第i個特征點模型定位的坐標值表示第i個特征點標注的坐標值，dio表示兩眼外眼角間的距離。測試樣本的MNE均值為0.04709。

單個的面部表情圖像幀輸入人臉特征點定位模型，輸出68 個特征點的坐標值，然后所有特征點坐標值減去鼻尖（圖4 中黑色圓點）的坐標值，再將所有特征點的X 和Y 坐標值分別進行Z-score 標準化處理，用于表征面部表情圖像幀在空間域的幾何特征。面部表情所有圖像幀的空間域幾何特征輸入設計的全連接神經(jīng)網(wǎng)絡，進一步提取面部表情在空時域的幾何特征。設計的全連接神經(jīng)網(wǎng)絡由1 個輸入層、3 個隱藏層和1 個輸出層組成，3 個隱藏層中分別包含256、128 和64 個神經(jīng)元，采用線性整流函數(shù)（ReLU）作為神經(jīng)元的激活函數(shù)。

1.3 面部表情表觀特征提取

針對面部表情圖像幀在空間域的表觀特征提取問題，通過構建CNN 實現(xiàn)特征的自動提取。由于真實的在線學習情境中，認知情緒面部表情的面部變化比較細微，特征提取難度大，因此采用增加網(wǎng)絡深度的方式，提升網(wǎng)絡的非線性表達能力，進而提升網(wǎng)絡學習特征的能力。同時，在網(wǎng)絡中采用小型卷積核，從而有助于網(wǎng)絡學習認知情緒面部表情的細微特征，也有助于降低網(wǎng)絡的參數(shù)量。CNN 的網(wǎng)絡結構設計參考VGG-16［31］，將整個CNN 分為5段，每段內有2～3個卷積層，每段段尾連接一個池化層用于數(shù)據(jù)降維。卷積層統(tǒng)一采用3×3大小的卷積核，池化層統(tǒng)一采用2×2大小的最大池化。通過一系列的卷積和池化操作，CNN最終輸出面部表情圖像幀在空間域的表觀特征。

為了進一步提取面部表情在時間域的表觀特征，設計構建長短時記憶網(wǎng)絡（LSTM），以面部表情所有圖像幀的空間域表觀特征作為LSTM 的輸入，在圖像幀的空間域表觀特征的基礎上，繼續(xù)學習面部表情在時間域的表觀特征，輸出面部表情在空時域的表觀特征，整個流程如圖5 所示。設計構建的LSTM 由3 層組成，每層分別包含512、256、128 個LSTM 單元。為了提取面部表情在時間域的變化特征，將LSTM 前2層設置為輸出時序數(shù)據(jù)，最后一個LSTM 層則設置為輸出靜態(tài)數(shù)據(jù)，輸出結果用于表征面部表情的空時域表觀特征。

圖5 面部表情的空時域表觀特征提取

1.4 網(wǎng)絡訓練優(yōu)化

在分類網(wǎng)絡模型訓練過程中，訓練數(shù)據(jù)的類別分布不均會致使網(wǎng)絡偏重對數(shù)量多的樣本特征的學習，而對數(shù)量少的樣本特征學習不充分，從而導致意外錯誤，甚至造成嚴重后果。因此，在網(wǎng)絡模型的訓練過程中，本文為不同類別的樣本設置不同的權重，確保網(wǎng)絡模型對不同類別的面部表情樣本進行同等程度的特征學習。樣本類別的權重按如下公式進行計算：

其中，Wi表示第i個類別的權重，Nall是所有樣本的數(shù)量，NCi是第i個類別中樣本的數(shù)量。在網(wǎng)絡模型訓練階段，將樣本類別的權重傳遞給損失函數(shù)。模型訓練過程中在計算模型的損失時，損失函數(shù)根據(jù)類別權重計算不同類別樣本的損失。

在視覺分類任務中，通常采用交叉熵作為損失函數(shù)，使用Softmax 函數(shù)作為分類器［32］。通過交叉熵衡量網(wǎng)絡輸出的概率分布（Softmax 輸出值）和期望的概率分布（樣本標簽）之間的誤差。網(wǎng)絡訓練的目標就是調節(jié)網(wǎng)絡參數(shù)，使得輸出值和期望值之間誤差最小，即網(wǎng)絡的損失（loss）最小。假定網(wǎng)絡當前輸出的概率分布為（v1，v2，v3，v4），而期望的輸出概率分布為（1，0，0，0），依據(jù)交叉熵的公式：

當前網(wǎng)絡的loss可以表示為：

其中，V=v1+v2+v3+v4。通過訓練不斷降低網(wǎng)絡的loss，使得網(wǎng)絡的輸出（v1，v2，v3，v4）趨近于或等于（1，0，0，0），其實質是訓練網(wǎng)絡模型擬合樣本數(shù)據(jù)的one-hot分布。利用交叉熵作為損失函數(shù)訓練網(wǎng)絡容易實現(xiàn)，付出的代價也小。在網(wǎng)絡訓練過程中，如果v1已經(jīng)是（v1，v2，v3，v4）中的最大值，只需增大訓練參數(shù)，從而增大向量（v1，v2，v3，v4）的模長，就可以使得ev1V接近1（loss 接近0）。但采用的Softmax 分類器即使輸入噪音，分類的結果也是非1即0，使用交叉熵作為損失函數(shù)易導致網(wǎng)絡模型訓練的過擬合，也會使得在實際應用中難以確定置信區(qū)間、設置閾值。因此，本文為交叉熵損失函數(shù)添加約束項，使得網(wǎng)絡模型訓練時以擬合one-hot 分布為主，同時也按設定的權重擬合均勻分布。改進后的損失函數(shù)如下：

其中，ε是屬于區(qū)間（0，0.5）的可調節(jié)系數(shù)，n是分類的類別數(shù)。相應地，上述實例的loss為：

在網(wǎng)絡模型訓練時，單純地增大向量（v1，v2，v3，v4）的模長，使得ev1V接近于1，已經(jīng)不是最優(yōu)解。改進交叉熵損失函數(shù)，有助于降低網(wǎng)絡模型訓練過程中的過擬合風險。

1.5 方法有效性測試

為了測試方法的有效性，本文先利用CASME Ⅱ微表情數(shù)據(jù)庫［19］進行微表情識別測試，并與其它方法進行比較。選擇難度更大的微表情識別任務能更好地測試方法的有效性，并且在測試中訓練的微表情識別網(wǎng)絡模型可以作為預訓練模型，應用于后續(xù)的認知情緒面部表情識別網(wǎng)絡模型的訓練中，可以加快模型收斂的速度，同時也能在訓練樣本數(shù)據(jù)有限的情況下，提升模型的識別性能。

CASME Ⅱ由中國科學院心理研究所創(chuàng)建，包括高興、厭惡、驚訝、憂郁、其它5種類別的微表情，并且已經(jīng)標注微表情的類別、微表情的起始幀、峰值幀和結束幀等相關信息。采用數(shù)據(jù)增強和隨機取樣的方法，將所有的微表情樣本分成訓練集、驗證集和測試集。訓練集用于訓練網(wǎng)絡模型，驗證集用于訓練階段的測試，測試集則用于訓練結束后對網(wǎng)絡模型進行測試。

本文使用以TensorFlow 為后端的Keras 搭建網(wǎng)絡，并訓練網(wǎng)絡模型。網(wǎng)絡參數(shù)進行隨機初始化，通過BP算法傳遞網(wǎng)絡誤差，采用Adam方法優(yōu)化網(wǎng)絡參數(shù)，初始學習率lr 設置為0.00008。為防止模型訓練過程中出過擬合現(xiàn)象，采用了Dropout 機制（參數(shù)為0.3）。其它訓練設置為：batch_size=20，epoch=1000。測試結果顯示在測試集上平均識別準確率為83.90%，與其它方法在CASME Ⅱ上的識別準確率的對比結果如表1 所示。對比結果顯示，本文提出的方法能有效提升微表情識別的準確率。

表1 與其它方法在CASME Ⅱ上的識別準確率比較

2 認知情緒面部表情識別實驗與分析

2.1 數(shù)據(jù)集創(chuàng)建與數(shù)據(jù)預處理

設計認知情緒誘發(fā)實驗，設置數(shù)學測試和智力挑戰(zhàn)游戲2 種實驗任務，模擬真實的在線學習情境，通過打破認知平衡的方式誘發(fā)被試者的認知情緒，并利用攝像頭全程記錄被試者的面部影像。從大學生中共招募59 名被試者參與實驗，對被試者的年齡、性別、專業(yè)等不做任何限定。實驗開始前，主試隨機決定被試者具體的實驗任務（數(shù)學測試或智力挑戰(zhàn)游戲），隨機選擇實驗材料（數(shù)學測試隨機抽取試卷，智力挑戰(zhàn)游戲則隨機決定從第幾關開始），并對實驗任務進行說明和操作演示。實驗正式開始后，被試者獨自一人在實驗室內完成實驗，實驗時長為40 min。

實驗結束后，首先對所有被試者的面部影像中出現(xiàn)的專注、愉悅、困惑、沮喪和厭倦5 類認知情緒面部表情進行標注，包括面部表情的起始幀位置、峰值幀位置、對應的認知情緒類別。然后，從面部影像文件中分離出所有的認知情緒面部表情樣本，每個樣本由面部表情起始幀到峰值幀之間的圖像序列組成，如圖6 所示。最終，創(chuàng)建了包含5 個類別，共計772 個樣本的認知情緒面部表情庫，并且后續(xù)會公開該面部表情庫，供相關人員開展科學研究使用。從理論上講，樣本數(shù)據(jù)越多，訓練的網(wǎng)絡模型的泛化能力越強。因此通過圖像翻轉、旋轉和縮放等數(shù)據(jù)增強方法對樣本進行擴充，得到5 個類別的認知情緒面部表情樣本共計3119 個。采用隨機取樣的方法，將所有的樣本分成3個部分：訓練集、驗證集和測試集。

圖6 認知情緒面部表情庫中的樣本實例

2.2 基于遷移學習的模型訓練

通過遷移學習，將已經(jīng)訓練好的微表情識別網(wǎng)絡模型通過微調（Fine-tune）的方式遷移到認知情緒面部表情識別模型的訓練中。根據(jù)源域和目標域中數(shù)據(jù)的相似度、目標域中訓練數(shù)據(jù)量，微調在深度神經(jīng)網(wǎng)絡模型訓練中又存在不同的具體實現(xiàn)方式。由于微表情識別和認知情緒面部表情識別具有較大相似性，面部肌肉運動幅度都相對較小，并且本文構建的認知情緒面部表情庫的數(shù)據(jù)量大于CASME Ⅱ微表情數(shù)據(jù)庫的數(shù)據(jù)量，所以將微表情識別模型作為預訓練模型，保持其網(wǎng)絡結構和權值參數(shù)不變，利用創(chuàng)建的認知情緒面部表情庫繼續(xù)訓練網(wǎng)絡，進一步優(yōu)化網(wǎng)絡的權值參數(shù)，使得訓練的網(wǎng)絡模型能夠實現(xiàn)認知情緒面部表情雙模態(tài)空時域特征的自動學習和分類識別。

網(wǎng)絡的搭建和訓練同樣采用以TensorFlow 為后端的Keras。為避免網(wǎng)絡訓練過程中出現(xiàn)過擬合，采用了Dropout機制（參數(shù)為0.3）。采用Adam 方法優(yōu)化網(wǎng)絡的權值參數(shù)，初始學習率lr 設置為0.00004，其它參數(shù)設置為batch_size=9，epoch=1000。圖7 和圖8分別呈現(xiàn)了網(wǎng)絡訓練過程中的損失曲線和正確率曲線。從圖中可以發(fā)現(xiàn)，由于采用了微調的方式訓練網(wǎng)絡模型，利用預訓練的微表情識別模型對網(wǎng)絡權值參數(shù)進行初始化，使得網(wǎng)絡在剛開始訓練時已經(jīng)具有一定的特征學習能力，只是在原來的基礎上進一步優(yōu)化權值參數(shù)，所以在訓練前期網(wǎng)絡損失快速下降，準確率快速提升。隨著迭代次數(shù)的繼續(xù)增加，網(wǎng)絡的損失降低和準確度上升的速度逐漸放緩，然后趨于平穩(wěn)，表明網(wǎng)絡收斂較好。

圖7 誤差曲線

圖8 準確率曲線

2.3 模型測試與結果分析

網(wǎng)絡訓練完成后，利用測試集對得到的認知情緒面部表情識別模型進行測試，并采用多個指標評價模型的性能。測試集共包含468 個樣本，其中“厭倦”樣本85 個、“專注”樣本85 個、“困惑”樣本120 個、“沮喪”樣本95個、“愉悅”樣本83個。先采用分類算法評價指標中常用的準確率（Accuracy，ACC）對模型進行初步評價，計算公式如下：

式中的TP、TN、FP 和FN 分別代表真正例、真負例、假正例和假負例。但是僅僅使用ACC 并不能全面、準確地評價網(wǎng)絡模型的性能，特別是在測試樣本類別分布不均時，所以進一步采用混淆矩陣和多類別ROC（Receiver Operating Characteristic）曲線評價網(wǎng)絡模型?；煜仃嚨男惺菧y試樣本的真實類別分布，混淆矩陣的列是網(wǎng)絡模型輸出的測試樣本的類別分布，分類正確的測試樣本都位于混淆矩陣的對角線上。ROC 曲線是以FPR（FP/（TN+FP））為橫軸、TPR（TP/（TP+FN））為縱軸的一條曲線。通過ROC 曲線與橫軸圍成的面積（Area Under Curve，AUC）評價網(wǎng)絡模型的性能。AUC值的范圍為0.5～1，大于0.9表示性能極好，0.8～0.9 表示性能較好，0.7～0.8 表示性能一般，0.6～0.7表示性能較差，0.5～0.6表示性能極差。

網(wǎng)絡模型對認知情緒面部表情測試集中468 個樣本分類識別的平均準確率為92.94%。圖9 所示的多類別ROC 曲線顯示，厭倦（class 0）、專注（class 1）、困惑（class 2）、沮喪（class 3）、愉悅（class 4）的ROC 曲線的AUC 值分別為0.95、0.95、0.96、0.90、0.96，表明網(wǎng)絡模型對5 個類別的樣本的分類識別都達到了“極好”的級別。從圖10 的混淆矩陣可以發(fā)現(xiàn)，427 個樣本分類正確，41 個樣本分類錯誤。其中，83個愉悅（happy）樣本中只有1個被誤判，120個困惑（confusion）樣本中有4 個被誤判，85 個專注（concentrated）樣本中有6 個被誤判，85 個厭倦（boredom）樣本中有14 個被誤判，95 個沮喪（depressed）樣本中有16個被誤判。厭倦和沮喪2個類別的誤判樣本中，沮喪的誤判樣本分布比較均勻，而厭倦的誤判樣本主要是被誤判為沮喪。相對于沮喪，厭倦的識別難度更大。后續(xù)需要研究如何進一步提升網(wǎng)絡模型對這2類認知情緒面部表情進行分類識別的準確性。

圖9 多類別ROC曲線

圖10 混淆矩陣

總體而言，測試結果顯示網(wǎng)絡模型對5 個類別的認知情緒面部表情都具有較好的分類識別性能，表明本文提出的方法可以有效地識別認知情緒面部表情，從而通過面部表情識別獲取學習者內隱的認知情緒。

3 結束語

人工智能時代的教育呼喚教學環(huán)境更具感知性、交互性和情境性。利用人工智能技術實現(xiàn)在線學習系統(tǒng)的情感智能，是構建智能化在線學習環(huán)境的重要組成部分。在線學習環(huán)境下認知情緒自動識別是實現(xiàn)個性化、精準化教學及評價的必然選擇，也是實現(xiàn)在線學習系統(tǒng)的情感智能的起點。賦予在線學習環(huán)境下的計算機識別認知情緒面部表情的能力，通過對學習者外顯的面部表情的識別，實現(xiàn)對學習者內隱的、動態(tài)變化的認知情緒的監(jiān)測識別，具有侵入性低、實用性強的優(yōu)點。針對認知情緒面部表情存在的特征不明顯、持續(xù)時間短的問題，本文提出了通過設計混合深度神經(jīng)網(wǎng)絡，實現(xiàn)面部表情在空間域和時間域2 種模態(tài)特征的自動提取，融合2 種模態(tài)特征識別面部表情的方法，并開展了綜合性實驗。實驗結果表明本文提出的方法能有效提升面部表情識別的準確率，訓練的認知情緒面部表情識別網(wǎng)絡模型具有較好的分類識別性能。

本文的研究是促進人工智能與在線學習深度融合的一次嘗試。認知情緒面部表情自動識別應用的落地還存在一些有待解決的問題，比如有學者、家長和學生擔憂人臉識別、面部表情識別等技術在教學中的應用是否會侵犯學生的隱私。雖然，任何技術都具有價值負荷功能，具有善惡兼具的兩面性［36］，可以先發(fā)展后規(guī)范，但還是需要通過法律、法規(guī)為認知情緒面部表情識別技術的應用注入更多安全基因，凸顯技術的善，避免技術的惡。同時，也需要通過對認知情緒面部表情識別技術的繼續(xù)完善，使技術的應用朝著安全、可靠、可控的方向發(fā)展。