課堂環(huán)境雙模態(tài)情感評價系統(tǒng)設計與效果分析

郭雯雯 楊鳳梅

[摘 要]學生的面部表情和姿態(tài)反映學生的學習狀態(tài)，是課堂教學評價的重要觀察指標。然而，由于表情和姿態(tài)的即時性以及觀察時間和精力的限制，影響了傳統(tǒng)課堂觀察的持續(xù)性和有效性。針對傳統(tǒng)課堂情感觀察和識別的局限性，設計開發(fā)了基于課堂視頻監(jiān)控數(shù)據(jù)的雙模態(tài)情感評價系統(tǒng)。首先對視頻數(shù)據(jù)提取SLTOP特征得到復合時空特征集，然后依據(jù)最近鄰方法對其進行分類，由于表情和姿態(tài)在識別上具有互補性，進一步將分類結果在每個情感狀態(tài)類別上進行交叉驗證，得到各自權值和后驗概率，導入云滴融合模型得到最終的情感狀態(tài)分類結果，最后計算輸出課堂雙模態(tài)情感評價結果。測試結果表明評價效果比較理想，并與人工統(tǒng)計結果作比較，整體準確率不低于80%，證明本系統(tǒng)對于傳統(tǒng)課堂的評價具有有效性。

[關鍵詞]課堂環(huán)境;人體檢測;情感識別;教學評價

[中圖分類號]G40-057

[文獻標識碼]A

[文章編號]1005-4634（2019）03-0027-07

教學過程是一種信息交往與傳播過程，在這一過程中，學生的表情和姿態(tài)是其學習狀態(tài)的自然流露，真實地反映了學生的學習狀況。傳播學的創(chuàng)始人威爾伯·施拉姆曾說過：“傳播不是全部（甚至大部分不是）通過言詞進行的。一個姿勢，一種面部表情……都攜帶著信息?！盵1]

課堂環(huán)境中，學生的面部表情和姿態(tài)攜帶了很多有用的信息。當學生處于傾聽狀態(tài)時，面部表情是輕松和自然的，身體放松并伴隨著前傾，這代表學生對當前教學內容的學習狀態(tài)良好，能持續(xù)思考;當學生處于疑惑狀態(tài)時，會伴隨傾斜身體、低頭或歪頭、眉目緊蹙等動作，這代表學生對當前教學內容的學習已有疑問且無法獨自解決;學生理解時，會略有點頭動作，同時眉目和肩部自然舒展;學生抗拒和不屑時，會有長時間的低頭或扭頭動作，且面部表情不自然，這代表學生由于某些原因不接受當前的教學內容。傳統(tǒng)的課堂教學中，教師只能通過近距離的課堂觀察解讀學生的面部表情和姿態(tài)所傳遞的情感信息。然而，表情和姿態(tài)的即時性和課堂教學師生一對多的特點增加了課堂情感觀察的難度。

近年來，隨著大數(shù)據(jù)時代的到來，基于模式識別的情感識別技術日趨成熟，為課堂情感識別和評價提供了技術支持。情感識別技術就是通過計算機自動、高效地識別人臉表情所傳遞的信息，進而了解人的情緒狀態(tài)，比如高興、悲傷、憤怒、恐懼、驚訝、厭惡等[2]。雖然情感識別技術目前主要被應用于人機交互、安全、機器人制造、醫(yī)療、通信和汽車等領域，但是，隨著《教育信息化2.0行動計劃》的實施，“數(shù)字校園建設覆蓋全體學校”[3]，大中小學課堂中覆蓋式的視頻監(jiān)控網(wǎng)絡、視頻數(shù)據(jù)為基于模式識別開展學習評價提供了便利條件。

與傳統(tǒng)的課堂觀察相比，基于視頻幀的情感識別可以隨機抽取和重復檢測，對于稍縱即逝的細膩情感變化可以進行實時、主動、跟蹤性的分析和判斷，實現(xiàn)了高效率的課堂管理和學習評價。利用情感識別技術進行學習評價不僅適用面對面的班級課堂，對于無法通過直接觀察獲取表情信息的在線學習和遠程同步課堂更具有使用價值和意義。

1 課堂雙模態(tài)情感評價系統(tǒng)的技術設計

雙模態(tài)情感識別是指利用計算機識別人的面部表情和上身姿態(tài)，分析人的情緒和心理狀態(tài)，通過識別課堂環(huán)境中學生的情感遷移，了解學生的學習狀態(tài)。課堂雙模態(tài)情感評價系統(tǒng)由人臉表情和上身姿態(tài)的檢測與獲取、數(shù)據(jù)預處理、特征提取、分類識別、決策融合和計算評價結果6部分組成，其系統(tǒng)流程如圖1所示。首先，利用FABO數(shù)據(jù)庫中的人臉表情和上身姿態(tài)數(shù)據(jù)作為訓練樣本，以視頻監(jiān)控采集的課堂教學視頻作為測試樣本，通過檢測算法提取出人臉表情和上身姿態(tài)視頻幀序列，經過數(shù)據(jù)預處理之后，分別提取SLTOP（spatio-temporal local ternary orient-ational pattern，SLTOP）特征，得到訓練樣本和測試樣本的SLTOP復合時空特征集，然后依據(jù)最近鄰方法分別對訓練樣本和測試樣本的每個情感狀態(tài)類別進行分類和交叉驗證，得到各自權值和后驗概率，導入云滴融合模型得到情感狀態(tài)分類結果，最后計算輸出課堂雙模態(tài)情感評價結果。

為了對課堂環(huán)境下學生的學習效果進行評價和分析，需要對學生在課堂中的情感狀態(tài)進行分類。在對學生的面部表情進行情感分析的研究中，韓麗[4]等學者在基于課堂靜態(tài)圖像的分析中將學生的聽課狀態(tài)分為傾聽、疑惑、理解、抗拒、不屑5種類型。筆者對課堂環(huán)境下學生的情感狀態(tài)的界定借鑒了韓麗的分類方式。但是，考慮到抗拒和不屑都是對當前教學內容不感興趣，所以，把不屑和抗拒歸為一類，即不屑狀態(tài)，同時還增加了一種不確定的情感狀態(tài)類型，即筆者所定義的課堂環(huán)境下學生的情感狀態(tài)包括傾聽、疑惑、理解、不屑和不確定5類情感。

為對課堂雙模態(tài)情感評價系統(tǒng)進行驗證，筆者分別采用FABO雙模態(tài)情感數(shù)據(jù)庫和采集的山東省濰坊市昌樂二中不同年級、不同年齡段的200段視頻作為訓練樣本和測試樣本。在試驗之前，由于FABO數(shù)據(jù)庫原為生氣、厭煩、高興、害怕和不確定5種情感狀態(tài)而設計，所以需要對數(shù)據(jù)集按照傾聽、疑惑、理解、不屑和不確定5類情感進行重新標注。標注后的FABO數(shù)據(jù)部分示例如圖2所示。

1.1 人臉表情與上身姿態(tài)的檢測與獲取

通過課堂智能監(jiān)控設備，可以獲取學生面部和上身姿態(tài)的視頻幀序列。從視頻畫面中對人臉進行檢測分析，一般常用的方法是利用人臉膚色和背景色之間的差異，對人臉膚色所處區(qū)域進行處理，得出面部所在區(qū)域。但是，光照和類膚色背景等因素對該方法有很大影響，檢測效果魯棒性較差，一般只能作為其他算法的補充。為提高人臉檢測的穩(wěn)定性和魯棒性，筆者采用YCbCr膚色空間與 Adaboost相結合的方法[5]來檢測人臉。

筆者利用旋轉與尺度不變的人體分割方法[6]來提取人體目標所在區(qū)域，不僅考慮到了四肢與軀干的關系，還考慮到了空間與時間上的連續(xù)性以優(yōu)化課堂視頻幀中上身姿態(tài)的檢測與分割。尤其在復雜背景、實時要求、遮擋等苛刻條件下，該方法用于課堂視頻環(huán)境具有較好的魯棒性。

1.2 數(shù)據(jù)預處理

檢測到人臉和上身姿態(tài)區(qū)域后，為了后續(xù)的特征提取，需要對人臉和姿態(tài)區(qū)域進行預處理操作，一般主要包括尺度歸一化、去噪、直方圖均衡化等。尺度歸一化是指統(tǒng)一圖像的尺寸大小，以方便后續(xù)的特征提取;圖像去噪是指去除圖像數(shù)據(jù)中包含的不必要或多余的噪聲，圖像噪聲會對特征提取造成很大的干擾;直方圖均衡化的目的是為了減弱光線和光照強度的影響、增強對比度，以此達到圖像灰度歸一化，使圖像結構輪廓更清晰。數(shù)據(jù)預處理的操作步驟可以概括為：首先將視頻數(shù)據(jù)轉化為單幀序列圖片，利用檢測算法提取表情和姿態(tài)序列;然后利用均值聚類算法[7]分別對人臉表情和上身姿態(tài)序列圖像進行聚類處理，得到幀的圖像序列。用聚類得到的圖像序列對每一幀的圖像進行尺度歸一化處理，得到大小均勻的局部矩形子塊，然后利用BM3D算法[8]進行去噪、直方圖均衡化。數(shù)據(jù)預處理效果如圖3所示。圖3 數(shù)據(jù)預處理流程圖

1.3 特征提取

特征提取是指使用計算機用映射的方法把原始特征轉換為數(shù)量較少的新特征的過程。依據(jù)不同的分類標準可以將特征提取劃分為不同的類，按照提取方法可將其劃分為幾何特征、紋理特征及多特征融合。按照作用區(qū)域劃分可將其劃分為局部特征、全局特征及混合特征。

基于紋理的特征提取方法主要包括局部二值模式（Local Binary Pattern，LBP）及其優(yōu)化算法、Gabor小波和 HLAC（Higher Order Local Autocorrelation）特征等[9]。局部二值模式是一種有效的局部紋理描述算子，根據(jù)像素值之間大小關系對灰度圖的紋理信息進行算子編碼和提取。LOP 算子[10]是在 LBP 特征基礎上加入方向角信息。筆者采用了姜明星等人[11]提出的時空局部三值方向角模式（SLTOP）特征提取算法，SLTOP特征是為了彌補LOP算子在描述方向角差時對圖像噪聲及劇烈光照變化不夠敏感的不足，通過利用自適應閾值，將LOP算子拓展為三值編碼模式。由于課堂環(huán)境下視頻幀特征集規(guī)模龐大，筆者結合灰度共生矩陣思想降低其特征的稀疏性，以此達到表征課堂環(huán)境下視頻幀和實時處理目的。

以上身姿態(tài)的三維時空特征圖譜為例，如圖4所示，首先在上身姿態(tài)視頻關鍵幀序列中從前向后選擇連續(xù)的8幀圖像，然后對圖像進行分塊并提取其SLTOP特征，最后進行特征級聯(lián)，得到上身姿態(tài)的特征圖譜。

1.4 分類識別

表情分類本質就是選擇合適的分類算法對前期提取的圖像特征進行分類判別，屬于一個模式識別的過程。支持向量機（SVM）在處理小樣本、多維度和非線性等分類問題上具有突出效果，因此在模式識別領域被廣泛運用。但是選取合適的核函數(shù)以及設置相應的參數(shù)常常成為影響最終識別效果的關鍵，這也是該分類算法的難點。筆者采用最近鄰分類（Nearest Neighbor， NN）[12]算法對測試樣本進行分類，其核心思想是在訓練樣本特征空間集里選擇與待測樣本的距離最近的樣本所屬類別為待測樣本所屬的類別，距離函數(shù)主要包括切空間距離、歐氏距離和 Minkowski 距離等。當然，不同的距離函數(shù)會直接影響最近鄰分類最終的識別效果，不同的距離函數(shù)有各自適用的具體場景。

1.5 決策融合

在雙模態(tài)情感評價系統(tǒng)中，信息融合技術分為特征級融合和決策級融合兩類。筆者采用云加權決策融合的方法[13]，即首先利用最近鄰分類算法對訓練樣本的人臉表情和上身姿態(tài)進行粗分類識別，其次分別對人臉表情和上身姿態(tài)在各個情感狀態(tài)類別上的分類結果進行交叉驗證，并依據(jù)交叉驗證的結果得到人臉表情和上身姿態(tài)各自的云滴模型權值。然后針對測試樣本利用最近鄰算法求得人臉表情和上身姿態(tài)分別屬于5類情感狀態(tài)的云滴后驗概率。最后用人臉表情和上身姿態(tài)各自的權值和分屬于不同情感狀態(tài)的后驗概率相乘并分別求和，得到最終測試樣本所屬的情感類別。

1.6 評價結果

課堂雙模態(tài)教學評價系統(tǒng)可以統(tǒng)計學生的課堂參與度與課堂偏離度。當學生處于傾聽和理解狀態(tài)時，統(tǒng)計為學生的課堂參與度;當學生處于不屑和疑惑狀態(tài)時，統(tǒng)計為學生的課堂偏離度。如果某一段時間學生的課堂參與度下降明顯且持續(xù)偏低，說明就整體而言，學生對于課堂內容產生厭倦情緒或者到達了課堂的低潮期。也可以在課堂上任意選擇跟蹤某位學生某段時間內的狀態(tài)，系統(tǒng)最后給出統(tǒng)計分析結果，以此作為課后對跟蹤學生進行單獨輔導或者矯正的依據(jù)。此外，系統(tǒng)在整體統(tǒng)計課堂參與度與偏離度的同時，如果有持續(xù)保持在不屑或不確定的情感狀態(tài)的學生個體，還會向教師發(fā)出提醒信號，方便教師對該學生進行即時的關注或引導。

2 課堂雙模態(tài)情感評價系統(tǒng)的測試與效果評價

2.1 測試樣本

為了檢測課堂雙模態(tài)情感評價系統(tǒng)的應用效果，筆者采集了山東省濰坊市昌樂二中不同年級、不同年齡段的200段課堂監(jiān)控視頻作為測試樣本。測試樣本中單視頻時長為45分鐘，每個課堂中共50位學生。為了將后續(xù)的系統(tǒng)評價結果與人工評價結果進行比對，隨機挑選了20位教師對200段視頻中的學生情感狀態(tài)進行標注，并做歸一化處理。部分測試樣本及其標注結果如圖5所示。

2.2 效果評價

1）學生個體情感評價的測試與檢驗。筆者在采集的200段課堂教學視頻記錄中隨機選擇了學生A作為被試樣本，跟蹤了學生A在45分鐘內情感的變化。圖6是課堂雙模態(tài)情感評價系統(tǒng)統(tǒng)計的學生A各種情感變化的時間圖，每15秒統(tǒng)計1次其情感狀態(tài)，由圖6可以看出學生A在45分鐘內情感變化較小，整體處于認真聽課的狀態(tài)，但在第25分鐘后注意力進入低潮，產生不屑和疑惑情緒，在后期又回到傾聽狀態(tài)。

為了驗證課堂雙模態(tài)情感評價系統(tǒng)的有效性，筆者又通過人工的方式對學生A進行情感統(tǒng)計，并將兩種結果進行對比分析。本文隨機選擇了20位教師對該學生在課堂中的情感狀態(tài)進行標記，然后對標記結果做均值處理，最后得到的情感狀態(tài)類別和評價結果如圖7和圖8所示，圖中對角線填充的矩形為人工評價值，橫線填充的矩形為系統(tǒng)評價值。其中，傾聽、疑惑、理解、不屑和不確定的準確率分別為90%、82%、88%、80%、80%，整體準確率不低于80%，證明本文提出的評價體系對于單個學生個體在傳統(tǒng)課堂中表現(xiàn)的評價具有有效性。

2）學生整體情感評價的測試與檢驗。課堂雙模態(tài)情感評價系統(tǒng)不僅能針對學生個體進行情感識別和評價，也可以統(tǒng)計分析課堂內全體學生的情感變化。

針對實際教學中情感變化的有效時間，筆者設定整體評價的時間間隔。本文隨機選擇50段課堂教學視頻，并在時間間隔上進行情感評價分類，即每隔2秒做1次情感狀態(tài)分類，最后把50段視頻的分類結果做均值處理。圖9是從45分鐘的課堂視頻中隨機選擇的5個時刻點的情感狀態(tài)分類結果，課堂中共有學生50人。從圖中可以看出，5個時刻點學生整體處于傾聽狀態(tài)，但是有部分學生處于不屑、疑惑和不確定情緒，這時系統(tǒng)就會向教師發(fā)出提醒信號，有利于教師對這些學生進行即時的關注或引導，提高課堂的教學質量。

可以計算課堂全體學生傾聽和理解的有效時間以此來反映學生的整體參與度，相應地，計算學生不屑和疑惑的有效時間可以用來反映學生整體的課堂偏離度。

為了驗證課堂雙模態(tài)情感評價系統(tǒng)對學生整體的有效性，筆者通過人工的方式對采集的200段課堂教學視頻中的學生每隔2秒進行一次情感標記，并與系統(tǒng)檢測的結果進行比較。最后得到的情感狀態(tài)分類結果和評價結果如圖10和圖11所示。圖中對角線填充的矩形為實際值，橫線填充的矩形為系統(tǒng)評價值。其中，傾聽、疑惑、理解、不屑和不確定的準確率分別為80%、89%、86%、80%、83%，整體準確率不低于80%，證明本系統(tǒng)對于傳統(tǒng)課堂的評價具有有效性。

學習過程中的情感識別是課堂觀察和評價的重要指標，也是情感計算研究領域的熱點問題。本文設計開發(fā)了基于面部和姿態(tài)的課堂雙模態(tài)情感評價系統(tǒng)，創(chuàng)新性地將姿態(tài)引入課堂教學評價中，重新定義了課堂環(huán)境下學生的情感狀態(tài)，包括傾聽、疑惑、理解、不屑和不確定5類情感，且該評價系統(tǒng)主要由人臉表情和上身姿態(tài)的檢測與獲取、數(shù)據(jù)預處理、特征提取、分類識別、決策融合和計算評價結果6部分組成。最后，從學生個體和學生整體兩個角度對該系統(tǒng)進行驗證，具有較高的評價準確率。與人工統(tǒng)計結果做比較，整體準確率不低于80%，證明本系統(tǒng)對于傳統(tǒng)課堂的評價具有有效性。但還有很多相關問題有待進一步研究，比如如何評價教師在課堂中的情感狀態(tài)，如何分析和評價學生之間、師生之間情緒上的相互影響等。

參考文獻

[1]Adler R B，Rodman G R，Du Pré A.Understanding human communication[M].New York：Oxford University Press，2016.

[2]閆靜杰，鄭文明，辛明海，等.表情和姿態(tài)的雙模態(tài)情感識別[J].中國圖象圖形學報，2013，18（9）：1101-1106.

[3]徐靖程.教育部印發(fā)《教育信息化2.0行動計劃》[J].中小學信息技術教育，2018（5）：4.

[4]韓麗，李洋，周子佳，等.課堂環(huán)境中基于面部表情的教學效果分析[J].現(xiàn)代遠程教育研究，2017（4）：97-103.

[5]畢雪芹，惠婷.基于膚色分割與 AdaBoost 算法的人臉檢測[J].國外電子測量技術，2015（12）：82-86.

[6]薄一航.視頻中旋轉與尺度不變的人體分割方法[J].自動化學報，2017，43（10）：1799-1809.

[7]Kanungo T，Mount D M，Netanyahu N S，et al.An efficient k-means clustering algorithm：analysis and implementation[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2002（7）：881-892.

[8]Lebrun M.An analysis and implementation of the BM3D image denoising method[J].Image Processing On Line，2012（2）：175-213.

[9]Tan X，Triggs B.Enhanced local texture feature sets for face recognition under difficult lighting conditions[J].IEEE transactions on image processing，2010，19（6）：1635-1650.

[10]付曉峰，付曉鵑，李建軍，等.視頻序列中基于多尺度時空局部方向角模式直方圖映射的表情識別[J].計算機輔助設計與圖形學學報，2015（6）：1060-1066.

[11]姜明星，胡敏，王曉華，等.視頻序列中表情和姿態(tài)的雙模態(tài)情感識別[J].激光與光電子學進展，2018（7）：167-174.

[12]Mehmood R M，Lee H J.Emotion classification of EEG brain signal using SVM and KNN[C]//2015 IEEE International Conference on Multimedia & Expo Workshops （ICMEW）.Turim：IEEE，2015：1-5.

[13]劉海軍，柳征，姜文利，等.基于云模型和矢量神經網(wǎng)絡的輻射源識別方法[J].電子學報，2010，38（12）：2797-2804.