基于“專注”與“走神”表情識別的線上課堂學(xué)生專注度評價研究

李盡秀 孫濤

關(guān)鍵詞：表情識別；眼部關(guān)鍵點檢測；表情持續(xù)時間統(tǒng)計；專注度評價

1引言

近年來，隨著人工智能技術(shù)的快速發(fā)展，表情識別已成為感知學(xué)習(xí)情緒最直接和最有效的方式，備受教育技術(shù)領(lǐng)域關(guān)注。然而，由于表情與認知之間關(guān)聯(lián)度復(fù)雜、教育場景復(fù)雜多變等，學(xué)生表情識別依然是一個開放問題。心理學(xué)家MEHRABIAN通過研究發(fā)現(xiàn)：“情緒表達=7%的語言+ 38％的姿勢表情+55%的面部表情”，面部表情包含豐富直觀的情緒信息。研究表明，在學(xué)習(xí)環(huán)境下，面部表情不僅能直觀反映學(xué)生的情緒狀態(tài)，還能反映學(xué)生的心理狀態(tài)[2]。

通常而言，課堂環(huán)境下學(xué)生的面部表情以中性表情居多。然而，中性表情識別的結(jié)果并不能作為準(zhǔn)確判斷學(xué)生聽課專注度的依據(jù)，無法確定學(xué)生在中性表情的狀態(tài)下是專注聽講，還是走神發(fā)呆。因此，本文將線上教學(xué)環(huán)境中學(xué)生的中性表情進一步劃分為“專注”和“走神”兩種子表情，提出了一種基于Dlib眼部關(guān)鍵點檢測的“專注”與“走神”表情識別方法，通過計算眼睛高寬比，實現(xiàn)“專注”與“走神”兩類表情的識別，并在此基礎(chǔ)上設(shè)計學(xué)生表情持續(xù)時間統(tǒng)計算法，計算各表情持續(xù)的時間，為線上教學(xué)環(huán)境中精準(zhǔn)判斷學(xué)生聽課專注度提供技術(shù)依據(jù)與支持。

2相關(guān)研究

隨著學(xué)生表情識別研究的不斷深入，國內(nèi)外學(xué)者建立了許多與學(xué)生表情相關(guān)的數(shù)據(jù)庫，但其構(gòu)建標(biāo)準(zhǔn)和方法并不統(tǒng)一。目前，大多數(shù)研究者在Ekman六類基本情緒（憤怒、厭惡、恐懼、高興、悲傷、驚訝）理論[3]基礎(chǔ)上開展學(xué)生表情識別研究，如表1所列。

現(xiàn)有的面部表情識別技術(shù)中魏刃佳等[9]基于ASM定位人臉特征點，獲取眼部和嘴巴的形變特征，以識別學(xué)習(xí)者的疲勞情況。韓麗等[10]基于AAM對課堂環(huán)境下學(xué)生面部關(guān)鍵點進行標(biāo)記，依據(jù)建立的形狀模型提取多姿態(tài)人臉特征，有效解決了人臉姿態(tài)的多樣性，取得了較好的識別效果。徐振國[11]設(shè)計了一個7層CNN模型，能夠快速準(zhǔn)確地識別學(xué)生的面部表情，進一步提升判斷學(xué)生的情緒整體狀態(tài)的效果。

基于眼睛特征的方法是對眼睛特有的形狀、虹膜與眼白的像素差等固有的特征進行檢測，這些方法實現(xiàn)簡單。侯向丹等[12]根據(jù)眼睛與周圍區(qū)域的對比度檢測眼睛候選區(qū)域，并利用在水平和豎直方向的積分投影法定位眼睛，而當(dāng)頭部姿態(tài)變化時，積分投影誤差較大。RUILIAN利用霍夫變換法對眼睛的橢圓形狀特征進行檢測，但在多姿態(tài)下眼睛形狀變化較大。為解決多姿態(tài)下的眼睛定位問題，KIM等[14]提出一種基于多尺度虹膜形狀特征的方法，首先進行人臉定位，然后利用多尺度虹膜特征提取眼睛候選區(qū)域，最后對眼睛候選區(qū)域進行分類篩選，得到最終的眼睛位置。由于在現(xiàn)實的無約束環(huán)境下，眼睛的形狀、虹膜等固有特征很容易受到影響，所以這些方法在現(xiàn)實條件下的效果都不理想。

3工具介紹

Dlib是一個現(xiàn)代C++工具箱，其中包含機器學(xué)習(xí)算法和在C++創(chuàng)建復(fù)雜軟件以解決實際問題的工具。它廣泛應(yīng)用于工業(yè)界和學(xué)術(shù)界，包括機器人、嵌入式設(shè)備、移動電話和大規(guī)模高性能計算環(huán)境。Dlib的開源許可證允許它在任何應(yīng)用中免費使用。Dlib包含很多模塊，近年來，學(xué)者主要關(guān)注于機器學(xué)習(xí)、深度學(xué)習(xí)、圖像處理等模塊的開發(fā)。它的主要特點也非常多，其中包括文檔豐富、高質(zhì)量的廣泛兼容的代碼等，而在圖形模型推理算法中，加入樹算法可以在貝葉斯網(wǎng)絡(luò)中進行精確推理。在圖像處理技術(shù)中，用來讀取和保存常用圖像格式的是一種例行程序。針對各種像素類型之間的自動顏色空間轉(zhuǎn)換，常見的圖像操作，如邊緣檢測和形態(tài)學(xué)操作，SURF，HOG和FHOG的特征提取算法，還可作為圖像中目標(biāo)檢測的工具，包括正面人臉檢測和目標(biāo)姿態(tài)估計以及應(yīng)用高質(zhì)量的人臉識別。

4基于眼睛關(guān)鍵點檢測的“專注”與“走神”表情識別

4.1人臉數(shù)據(jù)集

視頻數(shù)據(jù)采集于內(nèi)蒙古科技大學(xué)線上騰訊會議授課環(huán)境，采集工具為筆記本電腦攝像頭，視頻來源則是對學(xué)生聽課場景的錄屏操作。所采取的視頻為5段不同學(xué)生的上課視頻，視頻格式為MP4，如圖1所示。將視頻通過Video Crop轉(zhuǎn)變?yōu)閹瑪?shù)為3幀的圖像并保存。

4.2實驗設(shè)計與實現(xiàn)

本實驗中采用的模型是shape_predictor_68_facelandmarks. dat。這是一個人臉68關(guān)鍵點檢測模型，如圖2所示，利用68個關(guān)鍵點對人臉進行檢測。

首先，將數(shù)據(jù)利用圖像處理中的開運算，去除類膚色塊中像素點少于100的區(qū)域，并分割出人臉區(qū)域。其次，標(biāo)記眼部的6個特征點，每個眼睛區(qū)域表示為6個坐標(biāo)。眼部特征提取算法如表2所列。

即以右眼目青區(qū)域的左角為起點，如圖3所示，以順時針方式在眼鏡區(qū)域的周圍設(shè)置6個面部特征點。其中，P1為眼睛區(qū)域的左角面部特征點的位置，P2為眼睛區(qū)域的左上面部特征點的位置，P3為眼睛區(qū)域的右上面部特征點的位置．P4為眼睛區(qū)域右角面部特征點的位置，P5為眼睛區(qū)域的右下面部特征點的位置，P6為眼睛區(qū)域的左下面部特征點的位置。

根據(jù)采集的眼部6個特征點的坐標(biāo)來計算每一個學(xué)生圖像的眼睛高寬比。如公式（1）所示，W為眼睛高寬比的比例。

4.3

實驗結(jié)果與誤差分析

當(dāng)人眼睜開日寸，高寬比在某個值域范圍內(nèi)波動；當(dāng)人眼閉合時，高寬比迅速下降，理論上接近于0。洪子夢[15]提出一種基于眼睛長寬比的船舵手疲勞檢測方法以及人工判斷，當(dāng)眼睛的高寬比例大于0.25的時候，判定學(xué)生為“專注”，并用綠色進行說明，而“走神”的時候則用比較顯眼的紅色來說明。圖4為眼目青特征點識別展示圖。

將采集的學(xué)生人臉視頻利用視頻剪輯器剪輯成一個包含兩類學(xué)生表情的5分37秒視頻，并對通過人工統(tǒng)計方法得出的表情進行篩選和對比分析。學(xué)生表情數(shù)量統(tǒng)計及誤差如表4所列。

表4中第一行是人工統(tǒng)計的表情數(shù)量：第二行是本算法識別的表情數(shù)量：第三行是兩種數(shù)量統(tǒng)計方法的絕對數(shù)量誤差：第四行是兩種數(shù)量統(tǒng)計方法的相對數(shù)量誤差，其計算方法如公式（2）所示：

在公式（2）中，RE為兩種數(shù)量統(tǒng)計方法的相對誤差；AE為兩種數(shù)量統(tǒng)計方法的絕對誤差；CE為人工統(tǒng)計的學(xué)生課堂表情數(shù)量。

在線上課堂學(xué)生“專注”與“走神”的表情識別中，將眼睛高寬比作為判斷學(xué)生“專注”與“走神”狀態(tài)的重要依據(jù)，“專注”時眼睛開合較大，而在“走神”時眼睛的開合較小。實驗結(jié)果表明，該方法識別準(zhǔn)確率為95. 1％，誤差相對較小，可為線上課堂教學(xué)評價提供技術(shù)支持。

5表情持續(xù)時間統(tǒng)計

學(xué)生聽課狀態(tài)與“專注”和“走神”兩種表情的持續(xù)時間高度相關(guān)。表情持續(xù)時間統(tǒng)計是通過人臉眼睛關(guān)鍵點識別出視頻圖像數(shù)據(jù)中學(xué)生的兩種表情，并統(tǒng)計眼睛關(guān)鍵點識別出來的視頻中表情的視頻幀數(shù)，再利用表情的視頻幀數(shù)與視頻幀率的關(guān)系計算出學(xué)生上述兩種表情的持續(xù)時間，經(jīng)由公式（3）實現(xiàn)：

在公式（3）中，T為學(xué)生表情的時間，count為學(xué)生表情的幀數(shù)，rate為每秒視頻的幀率。學(xué)生表情持續(xù)時間統(tǒng)計算法如表5所列。

為了驗證學(xué)生表情持續(xù)時間算法及其誤差情況，將攝像頭采集的五個學(xué)生的單個人臉視頻剪輯成一個5分38秒的視頻，通過人工統(tǒng)計方法得出視頻中學(xué)生上課表情的時長，同時采用本文算法，將學(xué)生上課表情的時間與人工統(tǒng)計時長進行對比分析。學(xué)生表情持續(xù)日寸間統(tǒng)計及誤差如表6所列。

表6中第一行是人工統(tǒng)計的學(xué)生表情持續(xù)時間；第二行是本算法統(tǒng)計的學(xué)生表情持續(xù)時間：第三行是兩種時間統(tǒng)計方法的絕對誤差：第四行是兩種日寸間統(tǒng)計方法的相對誤差，其計算方法如公式（4）所示：

在公式（4）中，RE為兩種時間統(tǒng)計方法的相對誤差；AE為兩種時間統(tǒng)計方法的絕對誤差；CE為人工統(tǒng)計的學(xué)生課堂表情持續(xù)日寸間。

從表6可知，本文表情持續(xù)時間算法中“專注”表情的誤差比較小，只有0.1%，基本上滿足學(xué)生表情識別的檢測需求，而“走神”的誤差較大，達到了10.4%。經(jīng)過實驗分析，主要是在眼睛的高寬比小于特定值時，“走神”與眨眼的過渡期是有重合的，當(dāng)學(xué)生眨眼時，本算法采取的幀數(shù)（3幀）會出現(xiàn)時間差。所以，針對這一現(xiàn)象，可以在后續(xù)的實驗中提取“走神”的視頻，然后在一定的時間內(nèi)設(shè)定一個閾值，如果高寬比處于眨眼的浮動日寸間（0.2～0.4s）范圍且小于該閾值，就可判定為眨眼：如果大于該閾值且保持一定的日寸間，就可判定為“走神”。但總體而言，利用學(xué)生表情持續(xù)時間統(tǒng)計算法基本上能夠統(tǒng)計出學(xué)生兩種表情的持續(xù)時間。

6線上課堂學(xué)生專注度評價

基于線上課堂學(xué)生“專注”與“走神”兩種表情識別結(jié)果，從以下兩個維度開展線上課堂學(xué)生專注度評價，具體如下。

6.1線上課堂學(xué)生專注度占比分析

網(wǎng)上授課與傳統(tǒng)的線下課堂不同，教師與學(xué)生在空間上處于分離狀態(tài)，除了在溝通的時候會出現(xiàn)一定的障礙，更為重要的是，教師并不能第一時間觀察出學(xué)生上課時的狀態(tài)，只能通過課堂測驗和考試的形式來判斷學(xué)生整體的學(xué)習(xí)狀態(tài)。其弊端顯而易見，即教師不能及時在課堂上對學(xué)生狀態(tài)的變化做出調(diào)整。

6.1.1學(xué)生整體課堂專注度占比分析

學(xué)生的專注度可以較為直觀地說明學(xué)生的聽課狀態(tài)和效果。首先，將線上授課的視頻分別截取為每10分鐘為一單位的子視頻，在每一單元的視頻中，將“專注”與“走神”所占的比例來反映一段時間內(nèi)學(xué)生的“專注”與“走神”程度，如圖5所示。

通過計算所得學(xué)生的“專注”與“走神”兩類表情的占比，可以在一定程度上對課堂中學(xué)生的“專注”程度做出大致的判斷。經(jīng)過多次實驗和查看相關(guān)文獻，并結(jié)合對課堂視頻的人為分析結(jié)果，可以得出以下規(guī)律公式：

在公式（5）中，a表示學(xué)生的專注度。對于一般的線上課堂，當(dāng)班級整體專注度低于0.5時，學(xué)生的課堂專注度較差：當(dāng)專注度在0.5～0.7時，學(xué)生的課堂專注度良好：而當(dāng)專注度高于0.7時，學(xué)生整體通常表現(xiàn)得十分專注。

從圖5可以看出，在上課開始10分鐘左右以及30分鐘左右這一時間段中，學(xué)生整體專注度偏高，而在20分鐘左右的時間段中，可以看出“走神”的比例明顯大于“專注”的比例。至此，可以得出整節(jié)課的學(xué)生“專注”與“走神”程度在各個時間段內(nèi)的分布情況。例如，在20分鐘左右的日寸間段中，學(xué)生因線上授課缺乏交流溝通導(dǎo)致專注度降低，教師可以在此時間段安排學(xué)生進行小組內(nèi)交流或者參加一些與課堂相關(guān)的趣味游戲來調(diào)動學(xué)生的專注度，在后面的時間段中可以通過提問等方式使學(xué)生更加集中注意力，以提升學(xué)生的課堂專注度。

6.1.2學(xué)生個體課堂專注度占比分析

針對學(xué)生個體課堂專注度占比的分析，以上圖4中的女生為例，將線上授課的視頻分別截取為每10分鐘為一單位的子視頻，在每一單元的視頻中，用“專注”與“走神”所占的比例來反映一段時間內(nèi)學(xué)生個體的“專注”與“走神”程度，如圖6所示。

通過計算所得學(xué)生的“專注”與“走神”兩類表情的占比，可以在一定程度上對課堂中學(xué)生的專注度做出大致判斷。結(jié)合規(guī)律公式（5），當(dāng)學(xué)生個體專注度低于0.5時，學(xué)生的課堂專注度較差：當(dāng)專注度在0.5～0.7時，學(xué)生的課堂專注度良好：而當(dāng)專注度高于0.7時，學(xué)生整體通常表現(xiàn)得十分專注。

由圖6可知，該女生整體課堂表現(xiàn)得比較專注，只是在20分鐘與40分鐘之間的時候?qū)Ｗ⒄急扔兴陆?，而在課程的后半段專注度又呈上升趨勢。經(jīng)過實驗分析，學(xué)生的專注區(qū)間類別大致分為三類，一類是學(xué)生剛開始上課時較為積極，而隨著課堂時間的推移，專注度有所下降。二類是慢熱型學(xué)生在課堂開始階段并不是很專注，但是隨著時間的推移，慢慢變得有興趣。三類是學(xué)生在課堂中間階段比較積極，而在課堂開始與結(jié)束時卻積極性不高。由此可知，針對不同學(xué)生的專注度可以做不同的調(diào)整。例如，教師可以在不同的時間段穿插興趣活動，或者分組使不同類型的學(xué)生結(jié)合起來達到提升專注度的效果。

6.2線上課堂專注度趨勢分析

根據(jù)線上課堂學(xué)生“專注”與“走神”的時間統(tǒng)計結(jié)果，首先將線上授課視頻分別截取為每10分鐘為一單位的子視頻，在每一個子視頻的時間段中，用專注度趨勢來反映整節(jié)課堂學(xué)生專注度的走勢。如圖7所示，橫坐標(biāo)表示每10分鐘為一時間段，縱坐標(biāo)表示“專注”表情的比例。

從圖7可以看出，在課堂剛開始階段，學(xué)生的專注度呈上升趨勢：在15分鐘至30分鐘時增長較為平緩：35分鐘左右此趨勢到達頂峰：在35分鐘之后，學(xué)生專注度則明顯有下降趨勢：在即將下課的末尾階段，學(xué)生專注度下降的趨勢變得較為平緩。由此，可以判斷學(xué)生的專注度在一定時間內(nèi)是變化的。

教師可以根據(jù)此研究結(jié)果在講授知識難點與授課方式方面進行改進。例如，將知識難點講授著重放在課程的前半段左右，而在課程的后半段則利用較為活躍的授課方式與知識點相結(jié)合，給學(xué)生良好的上課體驗。而在學(xué)生層面，同樣是受到上課時間疲勞等因素的影響，在課程的后半段可根據(jù)自身條件做出調(diào)整。例如，改變學(xué)習(xí)方法或者調(diào)整自我身體因素等。

7結(jié)束語

隨著5G與人工智能、計算機視覺等先進技術(shù)與教育的深度融合，通過學(xué)生線上課堂表情識別可有效判斷學(xué)生課堂專注度。本文提出了一種基于眼睛特征提取的線上教學(xué)環(huán)境下學(xué)生“專注”與“走神”兩類表情檢測的方法，采用眼部特征點進行表情檢測，優(yōu)點是數(shù)據(jù)量小、計算速度快。而且，時間統(tǒng)計同樣滿足誤差需求。針對線上課堂，從學(xué)生“專注”占比程度與“專注”趨勢兩個維度做出評價，不僅有助于教師獲取實時精準(zhǔn)的教學(xué)反饋，及時改進教學(xué)策略，還能提高課堂教學(xué)質(zhì)量，為教育領(lǐng)域提供技術(shù)支持與依據(jù)。在未來的研究工作中，可結(jié)合視線偏移，設(shè)定眨眼時間閾值以及將多種面部特征進行融合，進一步提高表情識別的準(zhǔn)確率以及完善線上課堂教學(xué)質(zhì)量評價體系。