課堂場(chǎng)景下學(xué)習(xí)者情感識(shí)別研究

蘇 超，王國(guó)中

（上海工程技術(shù)大學(xué) 電子電氣工程學(xué)院，上海201600 ）

0 引言

近年來(lái)，隨著互聯(lián)網(wǎng)技術(shù)的快速發(fā)展以及大數(shù)據(jù)、云計(jì)算、AI（人工智能）等新技術(shù)的發(fā)展，智能化教育成為一種新的教育趨勢(shì)。在《計(jì)算神經(jīng)科學(xué)前沿》雜志中提到：“智能化教育中一直被忽略的詞就是情感”［1］，而情感作為一種非智力因素，能夠影響和調(diào)節(jié)認(rèn)知活動(dòng)。心理學(xué)研究表明：積極的情感有助于激發(fā)學(xué)習(xí)者的學(xué)習(xí)動(dòng)力、培養(yǎng)學(xué)習(xí)興趣，促進(jìn)認(rèn)知過(guò)程；而消極的情感則會(huì)影響學(xué)習(xí)者的耐心度、注意力，阻礙認(rèn)知過(guò)程［2-3］。

人對(duì)情感的表達(dá)是復(fù)雜且微妙的，同樣對(duì)情感的識(shí)別和解讀也是多通道協(xié)同完成的，包括表情、姿態(tài)、語(yǔ)言和聲調(diào)等［4］。當(dāng)前，針對(duì)情感識(shí)別，研究者們主要圍繞生理信號(hào)、心理測(cè)量以及外顯行為展開(kāi)研究［5］。

其中，又以基于面部表情的情感識(shí)別居多。雖然面部表情能夠表達(dá)人的大部分情感，但也存在一些不可避免的問(wèn)題，如：面部遮擋、表情微妙以及姿態(tài)改變等，因此，基于面部表情的單模態(tài)情感識(shí)別方法并不足以準(zhǔn)確的識(shí)別出情感狀態(tài)。現(xiàn)實(shí)生活中，人們往往也是綜合語(yǔ)音、面部表情、肢體動(dòng)作等多種信息來(lái)判斷一個(gè)人的情感狀態(tài)，利用信息之間的互補(bǔ)性，從而準(zhǔn)確識(shí)別出情感狀態(tài)［6］。

在過(guò)去的十幾年里，關(guān)于課堂中學(xué)習(xí)者的情感識(shí)別研究逐漸多了起來(lái)，如：文獻(xiàn)［6］中提出一種基于遺傳算法的多模態(tài)情感特征融合方法，利用遺傳算法對(duì)單個(gè)模態(tài)的情感特征進(jìn)行選擇、交叉以及重組；文獻(xiàn)［7］中提出一種基于皮膚電信號(hào)與文本信息的雙模態(tài)情感識(shí)別系統(tǒng)；文獻(xiàn)［8］中提出了基于雙邊稀疏偏最小二乘法的表情和姿態(tài)雙模態(tài)情感識(shí)別方法。于此同時(shí)，國(guó)外學(xué)者們也進(jìn)行了相關(guān)研究，如：Ray A，Chakrabarti A［9］指出，情緒在人的認(rèn)知過(guò)程中起著重要的作用，因此提出一種新的情感計(jì)算模塊，采用生物、物理（心率、皮膚電和血容量壓）和面部表情方法，用來(lái)提取學(xué)習(xí)者的情感狀態(tài)；Li C，Bao Z，Li L［10］等人提出了基于生理信號(hào)的情感識(shí)別方法。通過(guò)將原始生理信號(hào)轉(zhuǎn)化為光譜圖像，利用雙向長(zhǎng)短期記憶循環(huán)神經(jīng)網(wǎng)絡(luò)（LSTM-RNNS）學(xué)習(xí)特征，最后利用深度神經(jīng)網(wǎng)絡(luò)（DNN）進(jìn)行預(yù)測(cè)。

經(jīng)研究發(fā)現(xiàn)，上述諸多方法本質(zhì)上并不完全適合于中國(guó)課堂上學(xué)習(xí)者的情感識(shí)別，主要有以下原因：

（1）?數(shù)據(jù)集。目前關(guān)于情感識(shí)別研究的數(shù)據(jù)集都是國(guó)外的一些大學(xué)或者研究機(jī)構(gòu)采集的，一是不符合課堂場(chǎng)景，其次受地域文化以及膚色人種的影響，國(guó)外采集的那些數(shù)據(jù)集表情與國(guó)內(nèi)的人臉表情相差很大。

（2）情感分類。在情感識(shí)別領(lǐng)域，關(guān)于情感的分類有很多種，其中最基本的是Ekman 等［11-12］提出的6 種基本情感：高興、憤怒、厭煩、恐懼、悲傷以及驚訝。研究發(fā)現(xiàn)，在學(xué)習(xí)過(guò)程中這6 種基本情感并非全部起到關(guān)鍵作用［12］。因此，針對(duì)課堂上學(xué)習(xí)者的情感分類，需要定義一種符合課堂場(chǎng)景的情感類別。

因此，本文提出一種基于表情和姿態(tài)的雙模態(tài)學(xué)習(xí)者的情感識(shí)別模型，以解決課堂上學(xué)習(xí)者情感識(shí)別存在識(shí)別準(zhǔn)確率低、特征提取困難等問(wèn)題。研究中將課堂學(xué)習(xí)者的面部表情定義為專注、厭煩、困惑、疲憊和走神5 種表情；將課堂中學(xué)習(xí)者的上身姿態(tài)定義為抬頭、低頭、趴下和左顧右盼4 種姿態(tài)。通過(guò)最終的決策融合，定義課堂上學(xué)習(xí)者的學(xué)習(xí)狀態(tài)主要包括認(rèn)真聽(tīng)講、不感興趣、疑惑／沒(méi)聽(tīng)懂、犯困／疲勞、開(kāi)小差、睡覺(jué)、交頭接耳和不確定等8 種狀態(tài)。

1 模型設(shè)計(jì)

1.1 方法概述

基于表情和姿態(tài)的雙模態(tài)學(xué)習(xí)者情感識(shí)別模型的整體流程如圖1 所示。主要包含2 個(gè)模塊，分別是情感識(shí)別模塊和決策融合模塊。首先，利用自主采集的數(shù)據(jù)集作為訓(xùn)練集和測(cè)試集，通過(guò)改進(jìn)Tiny_YOLOv3 目標(biāo)檢測(cè)算法得到ER_Tiny_YOLOv3，從而進(jìn)行面部表情和姿態(tài)識(shí)別。然后，針對(duì)課堂教學(xué)環(huán)境，將表情識(shí)別結(jié)果和姿態(tài)識(shí)別結(jié)果在決策層面進(jìn)行融合，生成課堂評(píng)價(jià)，判斷出學(xué)習(xí)者當(dāng)前的學(xué)習(xí)狀態(tài)。

圖1 基于表情和姿態(tài)的雙模態(tài)情感識(shí)別模型圖Fig.1 Diagram of a dual-modal emotion recognition model based on expressions and gestures

1.2 Tiny_YOLOv3

Tiny_YOLOv3 是目標(biāo)檢測(cè)算法YOLOv3 的一種輕量化版本，采用Tiny Darknet 網(wǎng)絡(luò)結(jié)構(gòu)，如圖2 所示。

Tiny_YOLOv3 的損失函數(shù)主要包括3 個(gè)部分，分別是目標(biāo)位置損失、目標(biāo)置信度損失和目標(biāo)分類損失。Tiny_YOLOv3 的損失函數(shù)如式（1）所示：

其中：lbox表示目標(biāo)位置損失；lobj表示目標(biāo)置信度損失；lcls表示目標(biāo)分類損失。如式（2）所示：

其中：S2表示13×13，26×26；B表示box，表示如果在i，j處的box有目標(biāo)，其值為1；否則為0；而反之。λcoord表示lbox權(quán)重；xi，yi，wi，hi為真實(shí)框的中心位置和長(zhǎng)寬值；表示預(yù)測(cè)框的中心位置和長(zhǎng)寬值；（2-wi×hi）表示根據(jù)真實(shí)框的大小對(duì)lbox權(quán)重進(jìn)行修正；λnobj表示lobj權(quán)重；λclass表示lcls權(quán)重；ci表示真實(shí)框置信；c＇i表示預(yù)測(cè)框置信。

Tiny_YOLOv3 的損失函數(shù)首先計(jì)算預(yù)測(cè)框和真實(shí)框的交并比（Intersection over Union，IoU），示意如圖3 所示。將IoU 最大的預(yù)測(cè)框與真實(shí)框相匹配，通過(guò)匹配的預(yù)測(cè)框所預(yù)測(cè)的結(jié)果與真實(shí)框相比較，得出目標(biāo)位置損失、目標(biāo)置信度損失以及目標(biāo)分類損失。IoU 表達(dá)如式（3）所示：

其中：I表示真實(shí)框與預(yù)測(cè)框的交集；U表示真實(shí)框與預(yù)測(cè)框的并集。

圖2 Tiny_YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.2 Tiny_YOLOv3 network structure diagram

圖3 IoU 示意圖Fig.3 Schematic diagram of IoU

2 模型改進(jìn)

雖然Tiny_YOLOv3 作為輕量化模型，很適用于實(shí)際工程項(xiàng)目中，但是檢測(cè)效果并不是很好。原因在于 Tiny _ YOLOv3 的 backbone 是淺層網(wǎng)絡(luò)Darknet19，且Tiny_YOLOv3 只融合了13x13、26x26兩個(gè)尺度上的檢測(cè)結(jié)果。然而，正是由于Tiny_YOLOv3 的網(wǎng)絡(luò)結(jié)構(gòu)淺，因而時(shí)效性比較好。為了提升課堂中學(xué)習(xí)者情感識(shí)別的準(zhǔn)確性，本文從卷積結(jié)構(gòu)、錨框聚類以及損失函數(shù)3 方面對(duì)Tiny_YOLOv3 進(jìn)行了改進(jìn)。

2.1 卷積結(jié)構(gòu)改進(jìn)

注意力機(jī)制（Attention Mechanism）是一種聚焦于局部信息的機(jī)制，目前已廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)領(lǐng)域。注意力機(jī)制可以分為：通道注意力機(jī)制、空間注意力機(jī)制以及混合域注意力機(jī)制。SEnet（Squeeze-and-Excitation Networks）［13］是典型的通道注意力機(jī)制，其通過(guò)建模各個(gè)特征通道的重要程度，針對(duì)不同的任務(wù)增強(qiáng)或者抑制不同的通道，從而提升精度。SEBlock 結(jié)構(gòu)如圖4 所示。

圖4 SEBlock 結(jié)構(gòu)圖Fig.4 SEBlock structure diagram

在圖4 中，X∈RH＇*W＇*C＇表示網(wǎng)絡(luò)的輸入，F(xiàn)tr表示一系列卷積操作的集合，V＝［v1，v2，…，vc］表示卷積操作，U∈RH*W*C表示經(jīng)過(guò)一系列卷積操作的輸出，U＝［u1，u2，…，uc］其表達(dá)如式（4）所示：

Fsq（·）操作是將U的輸出壓縮成Z∈R1*1*C。傳統(tǒng)的卷積操作大多集中于局部信息，無(wú)法提取整體信息。因此，通過(guò)Fsq（·）操作來(lái)實(shí)現(xiàn)，如式（5）所示：

Fex（·，W）主要利用非線性的sigmoid 激活函數(shù)，保證非線性的前提下進(jìn)行通道選擇，如式（6）所示：

最后，通過(guò)Fscale（·，·）操作將學(xué)習(xí)到的通道權(quán)重應(yīng)用到原有的特征上，如式（7）所示：

SEBlock 可以作為一種子模塊插入到不同的卷積結(jié)構(gòu)中，本文通過(guò)加入SEBlock 對(duì)Tiny_YOLOv3網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行改進(jìn)，得到一種適用于學(xué)習(xí)者情感識(shí)別的模型ER_Tiny_YOLOv3，網(wǎng)絡(luò)結(jié)構(gòu)如圖5 所示。

圖5 ER_Tiny_YOLOv3 網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.5 ER_Tiny_YOLOv3 network structure diagram

2.2 損失函數(shù)改進(jìn)

在目標(biāo)檢測(cè)中，評(píng)價(jià)一個(gè)目標(biāo)物體是否正確的被檢測(cè)出，IoU 是一個(gè)重要的度量標(biāo)準(zhǔn)［14］。但I(xiàn)oU有其不可避免的缺點(diǎn)，如果預(yù)測(cè)框和真實(shí)框二者沒(méi)有相交，則IoU 的結(jié)果為0，此時(shí)便無(wú)法進(jìn)行學(xué)習(xí)訓(xùn)練。

針對(duì)上述問(wèn)題，Hamid 等人提出了廣義IoU 的概念（Generalized Intersection over Union，GIoU）［15］，解決當(dāng)前的問(wèn)題，如式（8）所示：

其中：Ac表示預(yù)測(cè)框和真實(shí)框最小閉包區(qū)域面積，U表示預(yù)測(cè)框和真實(shí)框的并集。根據(jù)圖3，Ac的表達(dá)如式（9）所示：

本文在添加注意力機(jī)制SEBlock 改變網(wǎng)絡(luò)結(jié)構(gòu)的基礎(chǔ)上，將GIoU loss 作為損失函數(shù)的一部分，用來(lái)改進(jìn)目標(biāo)位置損失lbox。改進(jìn)后的目標(biāo)位置損失lbox＇為：

則改進(jìn)后的ER_Tiny_YOLOv3 損失函數(shù)為：

2.3 k-means 錨框聚類

Tiny_YOLOv3 和YOLO v3 一樣，引入了錨框（anchor）的概念，通過(guò)K-means 聚類算法［16］得到anchor 的數(shù)量和大小。但Tiny_YOLOv3 模型是通過(guò)在VOC 或COCO 數(shù)據(jù)集上聚類而得到anchor 的數(shù)量和大小的，不適合課堂中學(xué)習(xí)者的情感識(shí)別。因此，本文采用K-means 算法在自制的數(shù)據(jù)集上進(jìn)行重新聚類，得到適合于學(xué)習(xí)者情感識(shí)別的anchor。

k-means 算法采用距離作為相似性指標(biāo)，其中K 表示聚類的類別數(shù)，算法流程圖如圖6 所示。

由圖6 可見(jiàn)，在重新聚類之前，需要先確定K值。而在先驗(yàn)知識(shí)缺乏的情況下，要想確定K 值是非常困難的。通常確定K 值的方法有二種：肘部法和輪廓系數(shù)法。本文采用肘部法用來(lái)確定K 值，肘部法的核心指標(biāo)是通過(guò)SSE（sum of the squared errors）來(lái)描述，如式（12）所示：

其中：Ci表示第i個(gè)簇；p表示Ci中的樣本點(diǎn)；mi是Ci的質(zhì)心，即所有樣本的均值；SSE表示所有樣本的聚類誤差，代表了聚類效果的好壞。實(shí)驗(yàn)結(jié)果如圖7 所示。

大氣氧化性O(shè)X（OX=O3+NO2）表征大氣的氧化能力（安俊琳等，2007），同時(shí)可以很好地反映O3的化學(xué)生成潛勢(shì)（Shiu et al.，2007）。OX區(qū)域貢獻(xiàn)和局地貢獻(xiàn)存在明顯的季節(jié)變化，主要受區(qū)域背景O3的影響，一般是夏季最強(qiáng)。

圖6 K-means 算法聚類流程圖Fig.6 K-means algorithm clustering flowchart

從圖7 可以看出，在K值為6 時(shí)，曲率最高。因此，選取K＝6。

K值確定后，利用K-means 算法對(duì)自制的數(shù)據(jù)集進(jìn)行重新聚類，實(shí)驗(yàn)結(jié)果如圖8 所示。最終聚類得到的anchor 值為：10，18、12，23、13，28、16，35、20，45、30，63，用來(lái)替換Tiny_YOLOv3 的anchor 值：10，14、23，27、37，58、81，82、135，169、344，319。

圖7 利用肘部法確定K 值實(shí)驗(yàn)圖Fig.7 The experimental diagram of using the elbow method to determine the K value

圖8 K-means 算法重新聚類結(jié)果圖Fig.8 K-means algorithm re-clustering result graph

3 多模態(tài)融合方法

本文針對(duì)課堂中學(xué)習(xí)者的情感識(shí)別，采用決策層融合的方法。定義課堂上學(xué)習(xí)者的表情有：“專注”、“走神”、“疲憊”、“困惑”和“厭煩”5 種表情，而上身姿態(tài)有：“抬頭”、“低頭”、“左顧右盼”和“趴下”4 種行為。在實(shí)際場(chǎng)景中，只有當(dāng)學(xué)習(xí)者處于“抬頭”狀態(tài)下才能完整觀察到學(xué)習(xí)者的面部表情。因此，本文只針對(duì)“抬頭”這種情況進(jìn)行最后的決策融合。而其它3 種行為對(duì)于課堂學(xué)習(xí)者來(lái)說(shuō)，很容易判別出學(xué)習(xí)狀態(tài)。4 種上身姿態(tài)對(duì)應(yīng)的決策融合圖分別對(duì)應(yīng)圖9 中（a）、（b）、（c）、（d）圖。

圖9 4 種不同上身姿態(tài)對(duì)應(yīng)的決策融合圖Fig.9 Decision fusion diagram corresponding to 4 different upper body postures

由圖9 得知，當(dāng)學(xué)習(xí)者處于抬頭情況下，此時(shí)才能比較完整的檢測(cè)出學(xué)習(xí)者的面部表情，從而進(jìn)行面部表情識(shí)別，進(jìn)而結(jié)合上身姿態(tài)和面部表情判定此時(shí)學(xué)習(xí)者的情感狀態(tài)。而當(dāng)學(xué)習(xí)者處于低頭時(shí)，由于檢測(cè)不到完整的面部表情，所以決策融合歸結(jié)為不確定狀態(tài)。同理，針對(duì)趴下和左顧右盼的上身姿態(tài)，在決策融合時(shí)不必考慮面部表情，直接歸結(jié)為睡覺(jué)／犯困和開(kāi)小差／交頭接耳狀態(tài)。

4 實(shí)驗(yàn)結(jié)果及分析

實(shí)驗(yàn)環(huán)境為：

軟件環(huán)境：Windows 10 下的Pytorch 平臺(tái)；

硬件環(huán)境：處理器是Intel（R）Xeon（R）W-2123 CPU＠3.60GHz；

運(yùn)行內(nèi)存：16.0GB；

4.1 數(shù)據(jù)集

當(dāng)前，人臉表情數(shù)據(jù)庫(kù)的種類有很多，最常用的主要有日本女性人臉表情數(shù)據(jù)庫(kù)（JAFFE）、卡內(nèi)基梅隆大學(xué)的CK（Cohn-Kanade）人臉表情數(shù)據(jù)庫(kù)及其擴(kuò)展數(shù)據(jù)庫(kù)CK+人臉表情數(shù)據(jù)庫(kù)等［17］。而目前唯一公開(kāi)的表情和姿態(tài)雙模態(tài)情感數(shù)據(jù)庫(kù)只有FABO 數(shù)據(jù)庫(kù)［18］。但是，由于FABO 數(shù)據(jù)庫(kù)ground truth label 很繁瑣，且每個(gè)人的樣本和情感類別數(shù)目不一致，同時(shí)外國(guó)人的臉部表情特征和中國(guó)人的人臉表情特征明顯不同，且數(shù)據(jù)庫(kù)的采集環(huán)境并不是針對(duì)課堂環(huán)境，因此訓(xùn)練出來(lái)的模型并不適合課堂學(xué)習(xí)者的情感識(shí)別。因此，本文以安徽省池州市東至三中高一某班的全體學(xué)生為采集對(duì)象，自主構(gòu)建數(shù)據(jù)集。

4.2 網(wǎng)絡(luò)訓(xùn)練和超參數(shù)設(shè)置

ER_Tiny_YOLOv3 在訓(xùn)練時(shí)采用Tiny_YOLOv3提供的權(quán)重參數(shù)作為網(wǎng)絡(luò)訓(xùn)練的初始化參數(shù)，通過(guò)在自主構(gòu)建的數(shù)據(jù)集上進(jìn)行訓(xùn)練，并進(jìn)行相應(yīng)的網(wǎng)絡(luò)參數(shù)微調(diào)，使得檢測(cè)效果達(dá)到最優(yōu)。實(shí)驗(yàn)參數(shù)見(jiàn)表1。

表1 實(shí)驗(yàn)參數(shù)說(shuō)明Tab.1 Description of experimental parameters

4.3 評(píng)價(jià)指標(biāo)

目標(biāo)檢測(cè)模型一般采用準(zhǔn)確率（Precision）、召回率（Recall）以及均值平均精度（Mean Average Precision，mAP）等指標(biāo)來(lái)評(píng)價(jià)模型的效果。其中，準(zhǔn)確率表示所有檢測(cè)出的目標(biāo)中，正確檢測(cè)出的目標(biāo)所占的比例；召回率表示所有待檢測(cè)目標(biāo)中正確檢測(cè)出的目標(biāo)所占的比例。

對(duì)于課堂中學(xué)習(xí)者的情感識(shí)別，如果對(duì)于一類表情或行為能正確的被檢測(cè)出，則為真正類（True Positive，TP），相反，如果對(duì)于一個(gè)既不是表情又不是行為的位置檢測(cè)為某類面部表情或行為，則為假正類（False Positive，F(xiàn)P）。假設(shè)學(xué)習(xí)者的情感識(shí)別中表情和行為的總數(shù)為N，則：

但是，準(zhǔn)確率和召回率是相互影響的，一般情況下準(zhǔn)確率高、召回率就低，而準(zhǔn)確率低，召回率就高。因此，需要在準(zhǔn)確率和召回率之間進(jìn)行權(quán)衡。一種方式是畫(huà)出準(zhǔn)確率-召回率曲線，計(jì)算AP 值，另一種方式是計(jì)算Fβ分?jǐn)?shù)。如式（14）所示：

其中，當(dāng)β＝1 時(shí)，稱為F1分?jǐn)?shù)，是最常用的指標(biāo)之一。

4.4 模型對(duì)比

本文通過(guò)將改進(jìn)后的模型ER_Tiny_YOLOv3 與Tiny_YOLOv3 以及YOLO 系列最新算法YOLOv4 進(jìn)行對(duì)比，以此來(lái)說(shuō)明此模型的有效性，實(shí)驗(yàn)結(jié)果見(jiàn)表2。

從表2 的結(jié)果可以得知：改進(jìn)后的模型ER_Tiny_YOLOv3 相比于原模型Tiny_YOLOv3，mAP＠0.5 提升了17%，Precision 提升了35%，而F1 分?jǐn)?shù)提升了22.6%。相比于YOLOv4，mAP＠0.5 提升了19%，Precision 提升了27%，F(xiàn)1 分?jǐn)?shù)提升了21.4%。但是由于ER_Tiny_YOLOv3 在Tiny_YOLOv3 的基礎(chǔ)上加入了注意力機(jī)制SEBlock，所以參數(shù)比Tiny_YOLOv3 多了1／10，檢測(cè)時(shí)間比Tiny_YOLOv3 慢了約1／100，二者幾乎沒(méi)有區(qū)別。但相比于深層網(wǎng)絡(luò)YOLOv4，檢測(cè)時(shí)間大幅縮短，只有YOLOv4 檢測(cè)時(shí)間的1／20。同時(shí)，ER_Tiny_YOLOv3 的參數(shù)只有YOLOv4 的1／10，可見(jiàn)，網(wǎng)絡(luò)參數(shù)大幅度減少。

實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的ER_Tiny_YOLOv3 模型是一種兼顧速度和精度的模型。YOLOv4、Tiny_YOLOv3 和改進(jìn)后的模型ER_Tiny_YOLOv3 的檢測(cè)結(jié)果對(duì)比如圖10 所示。

圖10 各模型檢測(cè)結(jié)果對(duì)比圖Fig.10 Comparison of test results of various models

從圖10 可以看出，對(duì)于課堂上學(xué)習(xí)者的情感識(shí)別，檢測(cè)效果最好的是ER_Tiny_YOLOv3 模型。而作為YOLO 系列最新的檢測(cè)算法YOLOv4，檢測(cè)效果反而一般。雖然Tiny_YOLOv3 檢測(cè)速度最快，但是檢測(cè)效果明顯不如ER_Tiny_YOLOv3，漏檢的情況比較多。ER_Tiny_YOLOv3 在檢測(cè)速度上與Tiny_YOLOv3 相差無(wú)幾的情況下，檢測(cè)效果明顯好于Tiny_YOLOv3，且識(shí)別效果比YOLOv4 效果更好?？梢?jiàn)，本文提出的學(xué)習(xí)者情感識(shí)別模型是一種兼顧速度和精度的模型，適用于課堂場(chǎng)景下學(xué)習(xí)者的情感識(shí)別。

5 結(jié)束語(yǔ)

針對(duì)當(dāng)前智能化教育環(huán)境中的“情感缺失”問(wèn)題，本文提出了一個(gè)快速、準(zhǔn)確、輕量的學(xué)習(xí)者情感識(shí)別模型。通過(guò)對(duì)Tiny_YOLOv3 的卷積結(jié)構(gòu)、損失函數(shù)以及錨框值進(jìn)行改進(jìn)，經(jīng)過(guò)訓(xùn)練得到一個(gè)適合于課堂中學(xué)習(xí)者情感識(shí)別的模型ER _Tiny _YOLOv3。同時(shí)，針對(duì)最終的課堂評(píng)價(jià)，采用決策層融合方法用來(lái)判斷學(xué)習(xí)者的學(xué)習(xí)狀態(tài)。實(shí)驗(yàn)結(jié)果表明，相比于Tiny_YOLOv3 和YOLOv4，識(shí)別效果更好。當(dāng)然，還有很多問(wèn)題需要進(jìn)一步研究，比如：決策層融合的方法不具有完整的代表性。如學(xué)習(xí)者在低頭的情況下，也有可能在思考問(wèn)題，而本文章將其歸結(jié)于不確定狀態(tài)。同理，針對(duì)趴下和左顧右盼的情況，也有同樣的問(wèn)題。因此，下一步將重點(diǎn)研究更具代表性的融合方法。