基于學(xué)生情緒動(dòng)態(tài)識(shí)別的課堂教學(xué)研究

陳盛　戴建邦　高翔　嚴(yán)以哲　王強(qiáng)

摘? ?要：現(xiàn)代高校課堂教學(xué)大多仍是一對(duì)多的教學(xué)模式。受教師資源的限制，有些基礎(chǔ)課程的班級(jí)人數(shù)可達(dá)數(shù)百人。對(duì)于這種授課情境，教師難以實(shí)時(shí)獲取全體學(xué)生的學(xué)習(xí)反饋，因此提出采用基于陣列攝像頭獲取全體學(xué)生課堂面部表情、判斷知識(shí)點(diǎn)教學(xué)效果的實(shí)時(shí)反饋系統(tǒng)，可以輔助教師動(dòng)態(tài)了解學(xué)生的學(xué)習(xí)狀態(tài)，以便及時(shí)調(diào)整教學(xué)方式或進(jìn)度。通過(guò)課堂實(shí)驗(yàn)及課后問(wèn)卷調(diào)查結(jié)果，表明此反饋系統(tǒng)可有效提高教學(xué)質(zhì)量，從而達(dá)到更理想的教學(xué)效果。

關(guān)鍵詞：情緒識(shí)別;面部表情;課堂教學(xué);反饋

中圖分類號(hào)：G642 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1673-8454（2019）13-0033-04

認(rèn)知心理學(xué)告訴我們：認(rèn)知加工和情緒加工在大腦的多個(gè)層面上是整合在一起的。[1]例如，有些皮質(zhì)結(jié)構(gòu)（如眶額皮質(zhì)）通過(guò)與負(fù)責(zé)情緒加工的神經(jīng)結(jié)構(gòu)（如杏仁核）相互作用，將學(xué)習(xí)過(guò)程中的認(rèn)知與情緒信息整合到一起。[2]部分藥物能夠降低或者增加焦慮對(duì)學(xué)習(xí)的破壞作用。[3]動(dòng)物實(shí)驗(yàn)表明，如果原本中性的感覺(jué)信號(hào)被杏仁核加工為具有明顯情緒意義的厭惡信息，老鼠的學(xué)習(xí)就會(huì)受到影響。[4]情緒體驗(yàn)對(duì)學(xué)習(xí)效率的重要作用啟示我們：營(yíng)造引導(dǎo)學(xué)生誘發(fā)積極情緒的課堂學(xué)習(xí)氛圍，可以更好地幫助學(xué)習(xí)者理解課程和進(jìn)行更有效的學(xué)習(xí)。

為了更好地誘發(fā)學(xué)生積極情緒，需要教師能夠?qū)崟r(shí)準(zhǔn)確把握學(xué)生的學(xué)習(xí)狀態(tài)。然而目前的高校課堂，特別是基礎(chǔ)課程通常人滿為患，教師難以全面地監(jiān)測(cè)學(xué)生的學(xué)習(xí)情緒。隨著近幾年計(jì)算機(jī)圖像技術(shù)的發(fā)展，基于人臉的情緒識(shí)別準(zhǔn)確率不斷提高，這為我們構(gòu)建學(xué)生課堂學(xué)習(xí)情緒的實(shí)時(shí)反饋系統(tǒng)提供了有力的保障。本文在基于學(xué)習(xí)狀態(tài)的情緒分類基礎(chǔ)上，利用攝像頭陣列，構(gòu)建圖像采集系統(tǒng);實(shí)時(shí)動(dòng)態(tài)識(shí)別人臉信息;通過(guò)特征提取以及情緒分類器完成情緒識(shí)別;通過(guò)計(jì)算機(jī)匯總識(shí)別信息給出統(tǒng)計(jì)結(jié)果并實(shí)時(shí)呈現(xiàn)給授課教師。這有效提高了教師的授課效果。

一、情緒及分類

情緒作為心理學(xué)的一個(gè)復(fù)雜概念，在科學(xué)文獻(xiàn)中有很多不同的定義。比較通用的一種說(shuō)法是：情緒是一種可以帶來(lái)心里和身體變化的復(fù)雜感覺(jué)狀態(tài)，這些變化又能夠作用于思想和行為。情緒的分類有很多種，Ekman Paul最早建議將情緒分為厭煩、恐懼、驚嚇、生氣、開(kāi)心和失望這六個(gè)主要類別。[5]2005年他拓展了諸如害羞、滿足、驕傲、愉悅等其他情緒。[6]Robert[7]通過(guò)輪式結(jié)構(gòu)總結(jié)了8種不同的情緒以及他們之間的相互關(guān)聯(lián)情況。何祎[8]建立了基于三維情緒模型的學(xué)習(xí)者情感模型，針對(duì)6種外顯表情進(jìn)行量化表示，然而其對(duì)情緒的特征囊括仍不夠全面。目前主流的表情識(shí)別方法仍是基于“6+1”的主要分類模式給出對(duì)比結(jié)果。然而針對(duì)學(xué)生的課堂學(xué)習(xí)情況，還需要研究這6種情緒是否有利于學(xué)生學(xué)習(xí)。我們依據(jù)是否有利于學(xué)習(xí)設(shè)置了三類，包括對(duì)學(xué)習(xí)起積極作用、起消極作用，以及作用不明顯的情緒狀態(tài)。

二、攝像頭安裝

為了動(dòng)態(tài)實(shí)時(shí)識(shí)別出每個(gè)學(xué)生的情緒狀態(tài)，首先需要能夠?qū)崟r(shí)檢測(cè)出每個(gè)學(xué)生的頭像信息。基于所選用的攝像頭觀測(cè)范圍及分辨率，并考慮到不同的班級(jí)學(xué)生容量以及教室大小，規(guī)劃出攝像頭的安裝位置。如果教室過(guò)大，可采用陣列式的攝像頭布局方式。圖1所示為兩個(gè)攝像頭的安裝布局。

三、面部情緒識(shí)別

面部情緒識(shí)別通常需要完成三個(gè)基本步驟。第一，進(jìn)行人臉預(yù)處理;第二，進(jìn)行人臉情緒特征提取;第三，通過(guò)分類器完成情緒類別篩選。其流程如圖2所示。

為了實(shí)現(xiàn)面部情緒識(shí)別，首先需要進(jìn)行人臉檢測(cè)。人臉檢測(cè)是針對(duì)圖像中不同尺寸的人臉，給出人臉的位置和大小信息。然而由于一幅圖像中的人臉因前后位置不同，導(dǎo)致頭像大小尺寸不一，難以用統(tǒng)一的識(shí)別算法進(jìn)行情緒分類。因此需要將人臉進(jìn)行規(guī)范化處理。通過(guò)面部特征點(diǎn)定位，對(duì)人臉中的關(guān)鍵區(qū)域位置（如眉毛、眼睛、鼻子、嘴等）進(jìn)行精確定位，再根據(jù)特征點(diǎn)的位置信息將人臉進(jìn)行對(duì)齊到預(yù)先定義的模版，使規(guī)范化后的人臉具有統(tǒng)一的大小，并且人臉各個(gè)部位具有相應(yīng)的對(duì)應(yīng)關(guān)系。情緒特征提取根據(jù)規(guī)范化后的人臉圖像，提取人臉魯棒性的描述信息;分類器則根據(jù)提取特征信息與已知情緒特征進(jìn)行相似度比較，判斷是否為所定義的情緒。

1.人臉預(yù)處理

根據(jù)上述攝像頭的安裝布局，每個(gè)攝像頭視野內(nèi)包含的學(xué)生人數(shù)都不少于1人。所以，為了準(zhǔn)確識(shí)別每個(gè)學(xué)生的情緒狀態(tài)，首先需要對(duì)單幅圖像內(nèi)的人臉信息進(jìn)行識(shí)別。這里用到人臉檢測(cè)部分的相關(guān)方法——基于特征的方法、基于模版匹配的方法、基于子空間的方法、基于統(tǒng)計(jì)模型的方法、基于神經(jīng)網(wǎng)絡(luò)的方法等。[9]由于背景差異、光線明暗、不同的頭部姿勢(shì)等實(shí)際檢測(cè)情況，在預(yù)處理中，我們還需要對(duì)識(shí)別出的人臉部分進(jìn)行對(duì)齊、數(shù)據(jù)增強(qiáng)和歸一化等處理。

目前，V&J和dlib是最廣泛使用的兩種人臉檢測(cè)器，計(jì)算相對(duì)簡(jiǎn)明。然而這僅針對(duì)前臉十分有效，對(duì)于多視角的人臉檢測(cè)還存在一定問(wèn)題。近期的一些工作，通過(guò)引入可變形零件模型（DPM）來(lái)實(shí)現(xiàn)人臉檢測(cè)，可以有效提高魯棒性和局部準(zhǔn)確性。[10]進(jìn)一步采用級(jí)聯(lián)策略，可以提升計(jì)算速度。圖3是本文采用人臉檢測(cè)算法得出的人臉定位檢測(cè)過(guò)程。

2.特征學(xué)習(xí)

對(duì)于面部表情識(shí)別系統(tǒng)來(lái)說(shuō)，特征提取可以算是最為關(guān)鍵的一步。針對(duì)人臉的表情特征， Ekman P[11]提出的FACS人臉?lè)诸愊到y(tǒng)給出了32個(gè)面部肌肉動(dòng)作和14個(gè)附加動(dòng)作描述，如頭部姿勢(shì)、注視方向以及其他動(dòng)作。Wang Y和Guan L[12]采用了1856個(gè)紋理特征庫(kù)，進(jìn)行模式匹配。為了有效獲取這些面部特征，可采用Gabor濾波器和離散小波變換來(lái)描述。

Gabor小波變換是一種強(qiáng)大的圖像處理算法。它類似于人類視覺(jué)系統(tǒng)中的感知，可有效促進(jìn)圖像邊緣檢測(cè)，表情分類嚴(yán)重依賴于面部特征的形狀，例如嘴巴、眼睛和眉毛。通過(guò)Gabor過(guò)濾器進(jìn)行卷積，以獲得突出顯示這些感興趣區(qū)域的圖像表示。Gabor濾波器的核函數(shù)一般定義為：[13]

ψu(yù)，v（z）=e-||ku，v||2||z||2/2σ2eiku，vz-e-σ2/2

其中，u和v定義了Gabor濾波器的方向和比例，而ku，v=kveiφu、φu=πμ/8、kv=kmax/fv表示核函數(shù)的頻率（尺度），f是頻域中的內(nèi)核之間的間隔因子，σ為高斯核函數(shù)的標(biāo)準(zhǔn)差。通常σ=2π，kmax=π/2，而f=。

通過(guò)Gabor小波得到關(guān)于臉部表情的特征向量后，可采用目前較大的人臉表情識(shí)別公開(kāi)數(shù)據(jù)庫(kù)fer2013數(shù)據(jù)集進(jìn)行特征訓(xùn)練，共包含35887張人臉圖片，其中訓(xùn)練集28709張、驗(yàn)證集3589張、測(cè)試集3589張。數(shù)據(jù)庫(kù)中各個(gè)樣本在年齡、面部方向等有比較大的差異性，具有一定的實(shí)際意義。同時(shí)，數(shù)據(jù)庫(kù)中的圖片均為灰度圖片，大小為48×48像素，樣本被分為生氣、厭惡、恐懼、開(kāi)心、中性、傷心、驚訝7類，各種類型分布基本均勻。采用卷積核提取特征逐層由簡(jiǎn)單變復(fù)雜，多層卷積核從低級(jí)特征，如眉毛的邊緣、眼角的形狀，提取出諸如眼睛、鼻子等高級(jí)特征。隨后，這些識(shí)別出的高級(jí)特征，被送入全聯(lián)通層，劃分為不同情緒。（見(jiàn)圖4）

3.MLP情緒分類器

一旦特征向量通過(guò)特征提取獲得，就需要利用所提取的特征向量對(duì)表情進(jìn)行歸類?，F(xiàn)流行的做法是分為7類，包括傷心、生氣、厭惡、開(kāi)心、驚訝、恐懼和失望等。這里我們采用成熟的多層感知器網(wǎng)絡(luò)（MLP）進(jìn)行分類處理?？疾榱艘幌盗胁煌木W(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)參數(shù)后，輸入層設(shè)計(jì)了8400個(gè)神經(jīng)元，隱藏層設(shè)計(jì)了93個(gè)神經(jīng)元，輸出層為7個(gè)神經(jīng)元，分別對(duì)應(yīng)這7種情緒狀態(tài)。MLP采用sigmoid函數(shù)，并采用反向BP網(wǎng)絡(luò)進(jìn)行訓(xùn)練，從而減少了陷入局部最優(yōu)的可能。

為了進(jìn)一步對(duì)各種情緒狀態(tài)做出教學(xué)改善措施，基于學(xué)習(xí)狀態(tài)空間將情緒分為三類：對(duì)學(xué)習(xí)起積極作用，起消極作用，影響不明確。通過(guò)簡(jiǎn)單的情緒狀態(tài)映射，實(shí)現(xiàn)了課堂學(xué)生學(xué)習(xí)狀態(tài)的分類，即傷心、生氣、厭惡情緒對(duì)應(yīng)消極狀態(tài)，開(kāi)心和驚訝對(duì)應(yīng)積極狀態(tài)，而正常和恐懼對(duì)應(yīng)不明顯的狀態(tài)。同時(shí)利用人臉檢測(cè)算法特性，檢查高等級(jí)人面部特征（包括雙眼、鼻子、兩側(cè)嘴角）。其中認(rèn)為檢測(cè)到不足兩個(gè)特征的人臉為低頭，即完全不專注級(jí)別;識(shí)別出兩個(gè)或三個(gè)特征為有意識(shí)、抬頭，但未直視黑板/教師;識(shí)別出四個(gè)以上特征的認(rèn)為注意力集中，直視黑板/教師。同時(shí)，情緒識(shí)別僅針對(duì)能夠識(shí)別出四個(gè)以上特征的面部進(jìn)行情緒分類。分類模型如圖5所示。

四、系統(tǒng)搭建與實(shí)驗(yàn)結(jié)果

根據(jù)上述理論搭建了系統(tǒng)測(cè)試平臺(tái)。測(cè)試采用兩個(gè)加拿大灰點(diǎn)（Point Grey）公司生產(chǎn)的GS3-U3-51S5M型號(hào)攝像頭采集學(xué)生頭像信息，其最大分辨率為2448×2048，幀頻可達(dá)75fps。處理的主機(jī)采用HP筆記本電腦，CPU為intel i7-8550U，內(nèi)存8G，顯卡為英偉達(dá)MX150。利用自主開(kāi)發(fā)的軟件系統(tǒng)進(jìn)行學(xué)生情緒的實(shí)時(shí)監(jiān)測(cè)，根據(jù)攝像頭的焦距和分辨率設(shè)定好拍攝范圍，一副圖像內(nèi)可同時(shí)進(jìn)行辨識(shí)情緒的學(xué)生人數(shù)7人。

針對(duì)45分鐘一堂的《現(xiàn)代測(cè)試?yán)碚摗氛n程，在教學(xué)過(guò)程中對(duì)學(xué)生的狀態(tài)進(jìn)行跟蹤監(jiān)測(cè)，得到在一堂課程時(shí)間范圍內(nèi)的情緒變化曲線圖，如圖6所示，其中圖6（a）為正式上課前一段時(shí)間，學(xué)生并沒(méi)有處于聽(tīng)課狀態(tài)，注意力和敏感層次在最低點(diǎn);圖6（b）為授課到關(guān)鍵內(nèi)容時(shí)刻，學(xué)生注意力高度集中，情緒以困惑和平靜/不明朗為主，注意力集中度到達(dá)最高峰;圖6（c）為知識(shí)難點(diǎn)過(guò)后的一段時(shí)期，學(xué)生注意力出現(xiàn)一定程度的下降。

可以看出，在課程前半階段，學(xué)生逐漸由課間的注意力低下?tīng)顟B(tài)轉(zhuǎn)為注意力高度集中狀態(tài)，此時(shí)困惑狀態(tài)占主導(dǎo)部分。在學(xué)生注意力高度集中狀態(tài)持續(xù)一段時(shí)間后出現(xiàn)了注意力下降的情況，情緒逐步恢復(fù)平靜。當(dāng)?shù)秸n堂中后期時(shí)，學(xué)生的注意力再次提高到相當(dāng)?shù)母叨龋藭r(shí)困惑和平靜占據(jù)主導(dǎo)地位，隨后注意力降低到中等程度。根據(jù)記錄的數(shù)據(jù)進(jìn)行統(tǒng)計(jì)發(fā)現(xiàn)，在此課程識(shí)別出的所有學(xué)生情緒中，積極情緒出現(xiàn)了231次，消極情緒出現(xiàn)了133次，平靜/不明朗的情緒出現(xiàn)了305次，統(tǒng)計(jì)結(jié)果如圖7所示。針對(duì)學(xué)生情緒狀態(tài)的實(shí)時(shí)變化，教師可以通過(guò)改進(jìn)教學(xué)過(guò)程中知識(shí)點(diǎn)的分布來(lái)提高學(xué)生注意力。在容易出現(xiàn)注意力不集中或負(fù)面情緒時(shí)，引入一些改善學(xué)生學(xué)習(xí)情緒的積極措施，例如播放動(dòng)畫(huà)、提問(wèn)、分組討論等。從而提高學(xué)生在一堂課程中的積極情緒占比。

需要說(shuō)明的是，對(duì)于Fer2013數(shù)據(jù)集，人眼的識(shí)別準(zhǔn)確率也僅有65%左右。通過(guò)改進(jìn)提取特征以及學(xué)習(xí)網(wǎng)絡(luò)的方法，可以進(jìn)一步提高機(jī)器對(duì)表情的識(shí)別率。這將是本研究的進(jìn)一步改進(jìn)方向。

通過(guò)引入該套情緒觀測(cè)系統(tǒng)，動(dòng)態(tài)改進(jìn)課程的教學(xué)方案，這樣一堂課程的教案形式不再單一以知識(shí)點(diǎn)系統(tǒng)為主線，考慮到學(xué)生的動(dòng)態(tài)情緒變化規(guī)律，進(jìn)行針對(duì)性的改進(jìn)。例如，《現(xiàn)代測(cè)試?yán)碚摗分械膮?shù)估計(jì)內(nèi)容，我們可以根據(jù)上述課程中學(xué)生的情緒波動(dòng)曲線，如圖6（d）所示，有針對(duì)性地改進(jìn)課程教案，如圖8所示。

在課程之初，通過(guò)設(shè)置提問(wèn)環(huán)節(jié)，吸引學(xué)生注意力，使學(xué)生能夠快速進(jìn)入學(xué)習(xí)狀態(tài)，在情緒波動(dòng)曲線的低谷處（即較為困難的知識(shí)點(diǎn)三和知識(shí)點(diǎn)四之間），設(shè)計(jì)交互例題，幫助學(xué)生消化知識(shí)難點(diǎn)，或者通過(guò)引入科學(xué)典故來(lái)緩解學(xué)生的持續(xù)緊張情緒，增強(qiáng)學(xué)習(xí)的樂(lè)趣。最后在課程結(jié)尾時(shí)（此時(shí)情緒波動(dòng)曲線顯示學(xué)生注意力較弱），可以設(shè)置案例視頻進(jìn)行播放，通過(guò)視頻圖像、聲音等綜合感官信息，吸引學(xué)生注意力并緩解一整節(jié)課的緊張情緒。為了驗(yàn)證教學(xué)方案改進(jìn)的效果，我們?cè)O(shè)計(jì)了調(diào)查問(wèn)卷，統(tǒng)計(jì)結(jié)果顯示改進(jìn)的教學(xué)方案收到的好評(píng)比率比原教案高近15%，說(shuō)明學(xué)生對(duì)改進(jìn)的教學(xué)方案更加認(rèn)可。通過(guò)上述情緒識(shí)別系統(tǒng)，動(dòng)態(tài)改進(jìn)教學(xué)方案，使本學(xué)時(shí)內(nèi)容的教學(xué)效果得到了大幅改善。

參考文獻(xiàn)：

[1]官群，姚茹.認(rèn)知神經(jīng)科學(xué)：為教育打開(kāi)大腦“黑匣子”[J].中國(guó)特殊教育，2017（2）： 59-64.

[2]Csibra G，Gergely G.Social learning and social cog-nition：The case for pedagogy[M].Attention & Perform-ance，2006（21）：249-274.

[3]Cools R，Roberts A C，Robbins T W.Serotoninergicregulation of emotional and behavioural control proces-ses[M].Trends in Cognitive Sciences，2008，12（1）：31-40.

[4]Stutzmann G E，Ledoux J E.GABAergic antagonistsblock the inhibitory effects of serotonin in the lateralamygdala： A mechanism for modulation of sensoryinputs related to fear conditioning[J].Journal of Neuro-science，1999，19（11）：RC8.

[5]Ekman P.Universals and cultural differences in facial expressions of emotion[J].Journal of Personality & Social Psychology， 1987，53（4）：712.

[6]Ekman P.Basic Emotions[M].Handbook of Cognition and Emotion.John Wiley & Sons，Ltd，2005：45-60.

[7]Thamm R A.The classification of emotions[M].Handbook of the sociology of emotions. Springer，Boston，MA，2006：11-37.

[8]何祎.基于情感的課堂教學(xué)評(píng)價(jià)方法研究[D].錦州：渤海大學(xué)，2015.

[9]丁春輝.基于深度學(xué)習(xí)的暴力檢測(cè)及人臉識(shí)別方法研究[D].合肥：中國(guó)科學(xué)技術(shù)大學(xué)，2017.

[10]Orozco J，Martínez B，Pantic M.Empirical analysis of cascade deformable models for multi-view face detection[J].Image & Vision Computing，2015，42（C）：47-61.

[11]Ekman P，& Rosenberg E L.What the face reveals：Basic and applied studies of spontaneous expression using the Facial Action Coding System （FACS）[M].Oxford University Press，USA，1997：425-434.

[12]Wang Y，Guan L.Recognizing Human Emotional State From Audiovisual Signals[J]. IEEE Transactions on Multimedia，2008，10（5）：936-946.

[13]Chelali F Z，Djeradi A.Face Recognition Using MLP and RBF Neural Network with Gabor and Discrete Wavelet Transform Characterization： A Comparative Study[J]. Mathematical Problems in Engineering，2015：1-16.

（編輯：王天鵬）