基于表情識別的課堂專注度實時反饋系統(tǒng)設(shè)計與實現(xiàn)

周新一， 應(yīng)文豪， 龔聲蓉

（1.東北石油大學(xué) 計算機與信息技術(shù)學(xué)院， 黑龍江 大慶 163318；2.蘇州大學(xué) 計算機科學(xué)與技術(shù)學(xué)院， 江蘇 蘇州 215000；3.常熟理工學(xué)院 計算機科學(xué)與工程學(xué)院， 江蘇 常熟 215500）

0 引 言

隨著“互聯(lián)網(wǎng)+”時代的到來，在線教育、人工智能、智慧課堂等成為了教育教學(xué)的熱點話題，傳統(tǒng)教學(xué)方式受到嚴(yán)重沖擊[1]。2020 年受疫情影響，為確保疫情防控的同時也能順利完成教學(xué)任務(wù)，全國各地的教學(xué)任務(wù)都開始由線下改到線上進(jìn)行，在線教學(xué)迎來了高光時刻，成為疫情期間課堂教學(xué)的主要方式。安東尼奧·里卡拉多等人更是稱在線教育為“兩百年來最重要的教育技術(shù)”。然而隨著在線教學(xué)的展開，這種方式的弊端也逐漸展露，在線教育是利是弊引發(fā)教育研究者深思。線上教學(xué)使教師處于課堂視覺盲區(qū)，盡管教師可以通過設(shè)置隨堂考核[2]或者課堂提問[3]等方式了解學(xué)生課堂專注狀態(tài)，但是教師并不能實時跟蹤學(xué)生在整個課堂教學(xué)過程中的注意力狀態(tài)[4]。例如：部分學(xué)生自控力差，不能一直在屏幕前聽課[5]，或者雖然在計算機前聽課，但注意力不集中，時常走神[6]，這就使得教師講課時不能確保課堂上大部分學(xué)生掌握知識點。

在線上教學(xué)模式下，學(xué)生完全脫離了教師的實景視線[7]，教師因無法掌握課程動態(tài)而嚴(yán)重影響教學(xué)質(zhì)量。計算機視覺的發(fā)展給在線課堂提供了解決問題的方向。目前，表情識別技術(shù)已經(jīng)日趨成熟，具有廣泛的應(yīng)用前景。殷樂章等人將學(xué)生表情與環(huán)境監(jiān)測結(jié)合，設(shè)計了適合在線課堂的學(xué)生課堂專注度檢測系統(tǒng)[8]。鐘馬馳等人通過頭部偏轉(zhuǎn)角、疲勞度和面部表情識別進(jìn)行模糊綜合評價，從而實現(xiàn)專注度識別[9]。陶溢等人將表情與頭部姿態(tài)結(jié)合進(jìn)行專注度評價[10]。袁霞提出將學(xué)生表情、人體姿態(tài)、頭部姿態(tài)多維度相結(jié)合，識別專注度[11]。張璟提出一個輕量級卷積神經(jīng)網(wǎng)絡(luò)的表情識別算法，將學(xué)生面部完整度、是否低頭扭頭、學(xué)生群體表現(xiàn)和學(xué)生表情相結(jié)合，可以更準(zhǔn)確地評估學(xué)生的學(xué)習(xí)狀態(tài)[12]；G.Tonguc 等人借助微軟情感識別API，對在整個講座過程中學(xué)生的情緒進(jìn)行自動監(jiān)測，統(tǒng)計分析表情變化是否有意義[13]。P.Sharma 等人將眼睛和頭部運動信息與面部情緒相結(jié)合，用非常投入、名義投入和完全不投入3 個指標(biāo)進(jìn)行判別，實驗不僅正確識別3 個指標(biāo)的時間段，還得出得分最高的學(xué)生也具有較高的專注度指標(biāo)[14]。何秀玲等人提出一種結(jié)合眉毛、眼睛、嘴巴的局部特征與CLBP 淺層紋理、CNN 深度網(wǎng)絡(luò)的全局特征的學(xué)習(xí)表情特征提取方法，實驗證明該方法適用于自發(fā)的學(xué)習(xí)表情數(shù)據(jù)庫識別[15]。唐康將抬頭聽課率和學(xué)生表情相結(jié)合來評價課堂效果，實驗結(jié)果與人的注意力保持規(guī)律相一致，具有一定理論意義[16]。徐振國通過實驗探討學(xué)習(xí)畫面自適應(yīng)調(diào)整對學(xué)習(xí)者情感的影響，設(shè)計情感自動評估系統(tǒng)，從而有助于教學(xué)設(shè)計，促進(jìn)學(xué)習(xí)者輕松專注于課堂[17]。先前工作中所做的課堂表情研究都是基于常見的六七種傳統(tǒng)表情，見表1，這在真實的課堂場景中效果并不理想。因此，本文考慮將學(xué)業(yè)表情外顯情緒作為表情分類，對課堂專注度進(jìn)行實時計算并呈現(xiàn)給教師和學(xué)生。

表1 課堂學(xué)生表情研究分類表

學(xué)業(yè)情緒的概念最早是由Pekrun 提出的，是指學(xué)生在學(xué)習(xí)環(huán)境中會體驗到各種各樣的自我參照情緒、任務(wù)相關(guān)情緒和社會情緒，是一個心理學(xué)的概念，它的外顯表情一定程度上能反映學(xué)生的課堂狀態(tài)。本文將深度學(xué)習(xí)算法應(yīng)用于表情識別，通過模糊綜合評價將表情與專注度關(guān)聯(lián)來設(shè)計系統(tǒng)，利用表情數(shù)據(jù)分析師生行為，輔助教師教學(xué)，滿足學(xué)生個性化需求，提高教學(xué)效果。本文利用表情識別技術(shù)讓教師掌握學(xué)生課堂表情變化情況，跟蹤其上課專注度，從而分析課堂動態(tài)，實時調(diào)整教學(xué)方法。

1 系統(tǒng)的設(shè)計

首先對課堂專注度實時反饋的業(yè)務(wù)過程進(jìn)行詳細(xì)分析，根據(jù)教師和學(xué)生的上課需求，設(shè)計與實現(xiàn)了表情專注度識別模塊，實現(xiàn)對課堂主體專注度分析的數(shù)據(jù)支持；然后，在此基礎(chǔ)上進(jìn)行數(shù)據(jù)可視化，以圖表方式為教師和學(xué)生提供數(shù)據(jù)依據(jù)。

1.1 系統(tǒng)組成模塊

為了輔助教師線上教學(xué)，本文提出一種課堂專注度實時反饋系統(tǒng)，其主要分為表情識別、數(shù)據(jù)庫存儲、統(tǒng)計分析三大模塊，如圖1 所示。

圖1 課堂專注度實時反饋系統(tǒng)的結(jié)構(gòu)

1.2 表情識別模塊

表情識別模塊主要負(fù)責(zé)通過分析一個人的面部表情來檢測他的情緒。

1.2.1 數(shù)據(jù)集和預(yù)處理

本系統(tǒng)根據(jù)學(xué)業(yè)情緒和相關(guān)課堂表情研究，將表情分類細(xì)化為困惑、沮喪、難過、生氣、害怕、厭惡、無聊、昏昏欲睡、驚訝、開心、無表情、看其他地方等12 種。這里采 用 公 開 的JAFFE、NIR KMU-FED、kaggle 競 賽 中Student-engagement 的表情數(shù)據(jù)集，表情圖片以“.jpg”格式保存，通過人工標(biāo)注成“.xmls”格式，共3 084 張作為深度學(xué)習(xí)模型訓(xùn)練模型，提高表情識別率。

1.2.2 表情識別模型

YOLOv4 是當(dāng)前最先進(jìn)的目標(biāo)檢測算法之一，不僅識別速度快，精確度還高。為了取得最好的學(xué)生面部表情識別性能，本模塊將通過YOLOv4 算法完成人臉檢測和表情分類。

圖2 是YOLOv4 的網(wǎng)絡(luò)架構(gòu)，相比于之前的YOLO系列，YOLOv4 性能表現(xiàn)更加優(yōu)異。在主干網(wǎng)絡(luò)部分，它將之前研究者已經(jīng)寫好的方法技巧應(yīng)用于DarkNet-53 網(wǎng)絡(luò)中構(gòu)成新的CSPDarkNet-53 的主干網(wǎng)絡(luò)來對目標(biāo)進(jìn)行特征提取，同時使用允許負(fù)值不截斷還有較小負(fù)梯度流入的激活函數(shù)Mish 替換原來的負(fù)值過于絕對的激活函數(shù)ReLU，以確保訓(xùn)練時的穩(wěn)定和準(zhǔn)確率的提高等；在中間層部分，結(jié)合路徑聚合網(wǎng)絡(luò)PANet 和特征金字塔進(jìn)行參數(shù)特征拼接聚合，以提高檢測效果，同時通過空間金字塔池化SPP 網(wǎng)絡(luò)將規(guī)范不同尺寸的輸入圖像最大池化，以增大感受野。

圖2 YOLOv4 網(wǎng)絡(luò)架構(gòu)

1.2.3 訓(xùn)練與結(jié)果

訓(xùn)練隨機抽取測試集的20%作為驗證集，剩余部分為訓(xùn)練樣本，且訓(xùn)練集與驗證集數(shù)據(jù)無交叉。參數(shù)具體設(shè)置見表2。

表2 訓(xùn)練參數(shù)設(shè)置

mAP 指的是多個類別平均精確率AP 的算術(shù)平均值，是目標(biāo)識別任務(wù)中常用的指標(biāo)，可以用來衡量模型識別效果的好壞[18]。通過訓(xùn)練模型識別的mAP 達(dá)到了80.42%，如圖3 所示，結(jié)果已經(jīng)達(dá)到人眼判別的性能。由于學(xué)生課堂表情大多以中性為主，為了深度分析學(xué)生心理，數(shù)據(jù)集采用中性表情數(shù)量相對較少，對應(yīng)識別精度并不高；另一方面，厭惡表情與生氣表情有點相似，精確度也相對較低。這說明了表情識別是一種復(fù)雜且模糊的任務(wù)。

圖3 訓(xùn)練結(jié)果圖

1.3 數(shù)據(jù)庫存儲模塊

本系統(tǒng)數(shù)據(jù)庫包括學(xué)生、教師、專注度信息三個實體。教師主體屬性有教工號、姓名、登錄密碼，學(xué)生主體屬性有學(xué)工號、姓名、登錄密碼，專注度信息主體屬性有專注度信息號、時間、表情、專注度分、表情標(biāo)簽。圖4為系統(tǒng)主要內(nèi)容的E-R 圖。圖中表述了實體之間的聯(lián)系：一位教師可以給多名學(xué)生授課，一名學(xué)生只能聽一位教師的課，因此教師和學(xué)生之間是一對多的聯(lián)系；一個專注度信息可以存放多名學(xué)生的信息，一名學(xué)生只能存放在一個信息庫中。因此，信息庫與學(xué)生之間是一對多的聯(lián)系。

圖4 E-R 圖

數(shù)據(jù)庫主要是用于存儲學(xué)生的課堂表情專注度信息，如表3 所示。

表3 專注度信息表

1.4 統(tǒng)計分析模塊

統(tǒng)計分析模塊是本文的核心模塊，主要負(fù)責(zé)學(xué)生課堂表情專注度計算。

1.4.1 專注度評估方法

模糊綜合評價法是一種基于模糊數(shù)學(xué)理論的評價方法，用于評估多個因素對某一目標(biāo)的影響程度。通常這種方法是在沒有數(shù)據(jù)情況下生成數(shù)據(jù)的典型方法。本文研究的專注度是一個持續(xù)性過程，單張圖片、單個表情都并不能說明學(xué)生學(xué)習(xí)的專注情況，因此通過邀請100 名高校老師填寫自制的高校教師針對課堂表情專注度模糊綜合評價問卷，來進(jìn)行專注度評估研究，具體步驟流程如下：

1） 確定評價指標(biāo)。本研究因素集V為12 種表情，評語集U為5 個評判等級。

2） 確定權(quán)重。指標(biāo)層權(quán)重A為階段時間內(nèi)對應(yīng)表情數(shù)量與總表情數(shù)量的占比。

3） 構(gòu)建評價矩陣。通過問卷結(jié)果計算出評價矩陣R為：

4） 模糊合算。按照一定的模糊運算規(guī)則進(jìn)行模綜合評價，求得模糊綜合評價集合B，具體為：

5） 決策。先將上述模糊綜合評價集B進(jìn)行歸一化，再采用加權(quán)平均原則進(jìn)行數(shù)據(jù)轉(zhuǎn)化，得出階段時間內(nèi)該學(xué)生的決策專注度評分。

本文將學(xué)生表情按照階段時間專注度評分，作為分析該學(xué)生上課情況的數(shù)據(jù)依據(jù)，將每分鐘所有學(xué)生專注度評分平均分作為分析課堂評分的數(shù)據(jù)依據(jù)。專注度評分的數(shù)據(jù)以圖表的可視化形式展現(xiàn)，使得數(shù)據(jù)更為直觀、更容易理解。通過系統(tǒng)實時獲得專注度評分，給學(xué)生提供了自我監(jiān)督和自我審查功能。當(dāng)檢測出不想聽課的學(xué)生時，本系統(tǒng)會向該同學(xué)發(fā)出警報，提醒學(xué)生學(xué)習(xí)狀態(tài)。

1.4.2 實驗對象與分析

以本校5 名學(xué)生作為實驗對象，選取研究對象自己感興趣的課程視頻作為課程內(nèi)容，進(jìn)行時長45 min 的線上教學(xué)并對實驗對象進(jìn)行錄屏。研究將視頻默認(rèn)設(shè)置1 s 一張表情截取，5 min 之后計算專注度分。將5 min 內(nèi)對應(yīng)表情的占比默認(rèn)為該表情的權(quán)重。根據(jù)模糊綜合評價相關(guān)計算，獲得45 min 內(nèi)該學(xué)生的專注度得分。為了驗證研究結(jié)果的合理性，針對這5 名學(xué)生上課過程的錄像視頻，請5 名高校教師通過觀察對這5 名學(xué)生課堂表情專注度進(jìn)行打分，打分標(biāo)準(zhǔn)參照學(xué)生課堂專注度量表，該量表是陶溢的專注度評價量表的表情包部分內(nèi)容，量表的信度和效度符合評判標(biāo)準(zhǔn)[10]。表4 是教師評價與本文專注度評價的分?jǐn)?shù)。

表4 教師和本文研究專注度評分表 分

皮爾遜相關(guān)系數(shù)（Pearson Correlation Coefficient）是一種衡量兩個變量之間線性關(guān)系強度的統(tǒng)計量，通常用于描述兩個連續(xù)型變量之間的關(guān)系。它可以幫助大家了解兩個變量之間的線性關(guān)系，從而進(jìn)行更深入的數(shù)據(jù)分析和預(yù)測。它的取值范圍在-1～1 之間，其值越接近于1 或-1，則說明兩個變量之間的關(guān)系越強；如果其值越接近于0，則說明兩個變量之間的關(guān)系越弱或者不存在線性關(guān)系。皮爾遜相關(guān)系數(shù)的計算公式為：

式中：x和y分別表示兩個變量的值；n表示數(shù)據(jù)點的個數(shù)。如果兩個變量的皮爾遜相關(guān)系數(shù)為正，說明兩個變量之間存在正相關(guān)關(guān)系；如果皮爾遜相關(guān)系數(shù)為負(fù)，則說明兩個變量之間存在負(fù)相關(guān)關(guān)系；如果皮爾遜相關(guān)系數(shù)為0，則說明兩個變量之間不存在線性關(guān)系。為測定教師評價結(jié)果與本研究專注度評價結(jié)果的相關(guān)性，選用皮爾遜相關(guān)系數(shù)進(jìn)行測量，計算結(jié)果為0.989，其絕對值接近1，由此可知本研究的評價方式是合理可行的。

2 系統(tǒng)實現(xiàn)

本系統(tǒng)涉及兩種用戶界面，分別對應(yīng)學(xué)生和教師。

2.1 學(xué)生界面

學(xué)生專注度反饋的界面將學(xué)生自身的課堂狀態(tài)及時記錄評分，并通過專注度折線圖方式知曉，以促進(jìn)該生的學(xué)習(xí)動機。當(dāng)學(xué)生長期處于消極狀態(tài)時，界面開始彈窗警報以規(guī)范該生上課行為；當(dāng)學(xué)生重新回到正常狀態(tài)時，界面重新記錄課堂狀態(tài)。警報功能圖如圖5 所示。

圖5 學(xué)生界面警報功能圖

2.2 教師界面

教師專注度反饋的界面將課堂主體的學(xué)習(xí)經(jīng)歷以數(shù)據(jù)的形式提供反饋，教師通過學(xué)生專注度評分排名了解學(xué)生個體的學(xué)習(xí)狀況，據(jù)此教師可以及時調(diào)整課堂進(jìn)度、教學(xué)風(fēng)格，滿足了教師的課上需求，也給學(xué)生提供了高質(zhì)量的學(xué)習(xí)體驗。在課程后，通過系統(tǒng)輔助教師分析學(xué)生的學(xué)習(xí)態(tài)度以及時調(diào)整學(xué)生學(xué)習(xí)心理，從而整體了解學(xué)生對知識點的掌握情況，分析課程的教學(xué)效果，有利于其對下一節(jié)課的課前回顧的重點突出。教師主界面圖如圖6 所示。

圖6 教師主界面圖

3 系統(tǒng)實驗結(jié)果

為了驗證系統(tǒng)的可行性，繼續(xù)將之前的5 名同學(xué)作為研究對象進(jìn)行線上授課實驗，圖7、圖8 分別為個體、全體學(xué)生專注度反饋結(jié)果。結(jié)果表明，系統(tǒng)能夠?qū)W(xué)生專注度狀態(tài)進(jìn)行檢測并實時反饋給教師和學(xué)生，通過反饋內(nèi)容，學(xué)生可以及時調(diào)整課堂狀態(tài)，教師也能及時調(diào)整課程。

圖7 個體學(xué)生專注度反饋

圖8 全體學(xué)生專注度反饋

4 結(jié) 語

課堂教學(xué)是一項需要情感賦能的工作，本質(zhì)是師生互動，師生關(guān)系融洽的課堂環(huán)境有助于學(xué)生的深度學(xué)習(xí)。針對傳統(tǒng)表情不適用于現(xiàn)實課堂，本文設(shè)計一種基于表情識別的課堂專注度實時反饋系統(tǒng)，將可識別的學(xué)業(yè)表情作為課堂表情識別類別更具有可靠性，教師可以更加細(xì)致地觀察和分析學(xué)生在課堂中的情緒變化，從而更好地促進(jìn)學(xué)生的學(xué)習(xí)和發(fā)展。

注：本文通訊作者為龔聲蓉。