基于2D和3D圖像處理技術(shù)的在線學(xué)習(xí)評估

姚 遠，徐晶晶，朱小倩

(華中師范大學(xué) 物理科學(xué)與技術(shù)學(xué)院，湖北 武漢 430079)

0 引 言

2020年初新冠肺炎疫情爆發(fā)以來，國內(nèi)外學(xué)校紛紛關(guān)閉，打破時空限制滿足不同群體的遠程在線教學(xué)呈井噴式發(fā)展，大學(xué)MOOC、騰訊課堂、網(wǎng)易云課堂、51talk、猿輔導(dǎo)、新東方在線、學(xué)而思等為學(xué)習(xí)者提供了豐富的教學(xué)資源[1]。與傳統(tǒng)的課堂相比，在線學(xué)習(xí)缺乏一定的監(jiān)督機制，在線教學(xué)系統(tǒng)無法自動評估學(xué)習(xí)者的學(xué)習(xí)狀態(tài)進而影響了教學(xué)效果，因此實時分析評估進而監(jiān)督在線學(xué)習(xí)者的學(xué)習(xí)狀態(tài)具有重要意義。

Gupta S K等人[2]通過分析學(xué)習(xí)者的面部表情，將學(xué)習(xí)者情緒劃分為高積極情緒、低積極情緒、高消極情緒、低消極情緒四種，教師可利用分析結(jié)果改進教學(xué)策略，提高學(xué)習(xí)效率。A.Tzanavari等人[3]基于多媒體技術(shù)分析學(xué)生在學(xué)習(xí)過程中的情緒、行為和狀態(tài)等，建立了一個基于虛擬現(xiàn)實的在線學(xué)習(xí)系統(tǒng)。D’Mello S[4]通過捕捉學(xué)習(xí)者學(xué)習(xí)過程中椅背上的壓力變化、 語音信息以及面部特征，判斷學(xué)生處于厭煩、高興、疑問等情感狀態(tài)中的哪一種。Tseng等人[5]提出了一種基于人臉標(biāo)志點位置變化率的學(xué)生注意力檢測算法。吳滄海等人[6]通過對學(xué)習(xí)者表情、眼部特征、身體姿態(tài)的分析，進行情感計算得出學(xué)習(xí)者的狀態(tài)。張建利等人[7]結(jié)合情境感知、面部特征提取與圖像識別技術(shù)，對學(xué)習(xí)者的學(xué)習(xí)狀態(tài)進行研究。熊碧輝等人[8]基于眼睛閉合、頭部偏轉(zhuǎn)以及視線特征，提出了一種融合頭姿檢測與視線檢測的注意力檢測方法。但是以上方法存在一定的弊端，一些基于捕捉人體生理信號的方法，侵入性較強，影響學(xué)生學(xué)習(xí)狀態(tài)，且對采集設(shè)備要求較高；基于圖像處理技術(shù)的方法多是基于2D圖像處理技術(shù)，受環(huán)境因素(如光線)影響較大，缺乏對3D信息的捕捉和分析。

因此，文中基于2D和3D圖像處理技術(shù)，提出了一種在線評估學(xué)習(xí)狀態(tài)的方法。該方法利用AdaBoost算法與ResNet模型檢測與識別人臉，利用EPNP算法獲取學(xué)習(xí)者頭部姿態(tài)評估學(xué)習(xí)者的分心狀態(tài)，通過眼睛和嘴巴的特征預(yù)警學(xué)習(xí)者的疲勞狀態(tài)，為在線學(xué)習(xí)者提供積極的個性化服務(wù)。

1 基于2D圖像處理技術(shù)的在線學(xué)習(xí)者身份識別

優(yōu)質(zhì)線上內(nèi)容的打造需要耗費大量的人力、物力和財力，當(dāng)前盜版、非法獲取在線資源等問題影響和制約了在線教育的發(fā)展。文中基于2D圖像處理技術(shù)對學(xué)習(xí)者身份鑒權(quán)，當(dāng)識別到觀看視頻的人員身份異常時，發(fā)出預(yù)警信息隨之停止播放課程，有效避免了在線課程內(nèi)容的泄露。

1.1 基于AdaBoost算法的人臉檢測

基于Haar-like特征的AdaBoost算法可實現(xiàn)人臉的快速檢測[9]。Haar-like特征模板內(nèi)有白色和黑色兩種矩形，將該模板的特征值定義為白色矩形像素和與黑色矩形像素和的差值。AdaBoost算法利用Haar-like特征將2D彩色圖像中人臉特征量化，從而區(qū)分人臉和非人臉。算法的核心思想為：首先對樣本集中的每個訓(xùn)練樣本進行權(quán)值初始化，隨后進行訓(xùn)練并且更新權(quán)值，得到不同的弱分類器，然后將弱分類器根據(jù)其分類能力從低到高進行排列級聯(lián)，從而將單個弱分類器組合成更加復(fù)雜的強分類器，最終得到檢測器。

AdaBoost算法對不同表情、是否佩戴眼鏡以及不同光照等狀態(tài)的人臉圖片檢測表現(xiàn)出了良好的性能，但在人臉偏轉(zhuǎn)角度過大時會出現(xiàn)漏檢。文中在此基礎(chǔ)上增加了膚色特征[10]，基于簡單高斯模型建立膚色模型，隨后在膚色模型的基礎(chǔ)上利用Otsu自適應(yīng)閾值分割計算法選取分割閾值，對人體臉部膚色進行分割，對于漏檢圖像進行二次檢測。根據(jù)不同亮度與色度的圖像，分割閾值范圍在[0.45,0.55]之間。

1.2 基于ResNet模型的人臉識別

針對CNN網(wǎng)絡(luò)因模型深度的不斷加深而出現(xiàn)的梯度爆炸和梯度消失現(xiàn)象，何凱明等人提出了基于殘差網(wǎng)絡(luò)結(jié)構(gòu)的ResNet模型[11]。ResNet模型把殘差網(wǎng)絡(luò)引入到深度卷積神經(jīng)網(wǎng)絡(luò)中，通過殘差塊把訓(xùn)練好的淺層網(wǎng)絡(luò)與自身映射的增加層巧妙地連接在一起，使得當(dāng)網(wǎng)絡(luò)深度的增加而導(dǎo)致模型準(zhǔn)確率下降時，返回之前的淺層網(wǎng)絡(luò)，殘差網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。

圖1 殘差網(wǎng)絡(luò)結(jié)構(gòu)

圖1中網(wǎng)絡(luò)的輸入為x，輸出為第L層的激活值a[L]，權(quán)重矩陣為W[L+1]，偏差因子為b[L]，根據(jù)公式(1)可得線性激活輸出為Z[L+1]，再通過線性整流函數(shù)(rectified linear unit，ReLU)g，由公式(2)可得非線性激活輸出a[L+1]。

Z[L+n]=W[L+n]a[L+n-1]+b[L+n-1],n=1,2

(1)

a[L+1]=g(Z[L+1])

(2)

a[L+2]=g(Z[L+2]+a[L])

(3)

同理，根據(jù)公式(3)得到下一輪的非線性激活值a[L+2]，在進行第二輪非線性激活之前加入了第L層的激活值a[L]，即將上一層網(wǎng)絡(luò)輸出信息直接傳送到網(wǎng)絡(luò)深層，實現(xiàn)了非相鄰層之間的線性傳遞，加速網(wǎng)絡(luò)收斂，從而避免了梯度消失和爆炸問題。

文中利用Dlb庫的ResNet人臉識別模型進行人臉識別，獲取待測人臉128維特征向量時耗費大量資源，無法實現(xiàn)實時監(jiān)測，所以在人臉識別模塊加入質(zhì)心跟蹤算法[12]，利用歐氏距離最小的原則，將相鄰幀獲取的人臉框質(zhì)心聯(lián)系在一起，獲取目標(biāo)在連續(xù)幀中的變化軌跡。對于同一個目標(biāo)，只對初始幀進行特征描述算子提取，其余后續(xù)幀只進行人臉檢測工作，大大提高了人臉識別檢測效率。

2 基于3D圖像處理技術(shù)的在線學(xué)習(xí)者姿態(tài)評估

學(xué)習(xí)者注意力是否集中與其頭部姿態(tài)密切相關(guān)。當(dāng)學(xué)習(xí)者以注意力集中的狀態(tài)學(xué)習(xí)時會不自主地靠近并且正視計算機屏幕，反之，當(dāng)學(xué)習(xí)者分心時，會出現(xiàn)左顧右盼、長時間低頭、抬頭等動作，此時頭部不再正對電腦，因此可通過識別人的頭部姿態(tài)判斷學(xué)習(xí)者的注意力集中程度。

頭部姿態(tài)角由俯仰角(pitch)、偏航角(yaw)與翻滾角(roll)3個自由度定義。頭部姿態(tài)檢測算法的步驟分為：2D人臉關(guān)鍵點檢測；3D人臉模型匹配；求解3D人臉關(guān)鍵點對應(yīng)2D人臉關(guān)鍵點轉(zhuǎn)換關(guān)系；根據(jù)旋轉(zhuǎn)矩陣求解歐拉角。其中3D人臉模型常用的獲取方法有：(1)利用不可變形的三維人臉模型；(2)利用模型匹配算法擬合三維人臉模型。方法1無法獲取精確世界坐標(biāo)系人臉三維特征點，誤差較大；方法2模型匹配算法的重建精度嚴重依賴于所使用模型，而模型的訓(xùn)練對數(shù)據(jù)的采集及處理要求很高。因此文中利用深度攝像頭獲取RGB-D圖像，基于3D圖像處理技術(shù)構(gòu)建人臉部三維模型。姿態(tài)計算使用EPNP迭代算法將從彩色圖像獲取的二維人臉特征點映射到構(gòu)建好的三維人臉模型中，獲取頭部姿態(tài)旋轉(zhuǎn)矩陣R與平移矩陣T。

2.1 基于RGB-D圖像的人臉三維特征點提取

人臉特征點定義為人臉面部的關(guān)鍵區(qū)域位置，例如眼角、嘴角、鼻尖、唇、臉頰輪廓等。文中首先利用級聯(lián)回歸樹算法從RGB圖像中提取人臉68個二維特征點位置向量[13]，然后利用RGB-D圖像將二維人臉特征點映射到三維空間中，以獲取高精度三維人臉特征點坐標(biāo)。

RGB-D數(shù)據(jù)是將同一時刻采集的深度數(shù)據(jù)和彩色數(shù)據(jù)對齊和融合的結(jié)果。假設(shè)物體表面上一點在深度相機與彩色相機坐標(biāo)系下的空間坐標(biāo)分別為Pde、Prgb，該點在深度圖與彩色圖像上的像素坐標(biāo)分別為pde、prgb，深度相機與彩色相機內(nèi)參分別為Hde、Hrgb，則變換關(guān)系如式(4)所示:

(4)

Prgb與Pde之間的關(guān)系可通過式(5)表示:

Prgb=RPde+T

(5)

式中，R與T為深度相機坐標(biāo)系變換到彩色相機坐標(biāo)系的旋轉(zhuǎn)矩陣與平移矩陣。在同一場景下，通過標(biāo)定獲取深度相機與彩色相機的內(nèi)外參矩陣，由公式(4)、公式(5)即可通過RGB-D圖像中某一點的像素值獲取該點的深度信息，進而獲取該點的三維坐標(biāo)。

2.2 EPNP算法

EPNP算法是一種非迭代的位姿估計算法。算法的核心是將世界坐標(biāo)系的3D坐標(biāo)表示為4個不共面虛擬控制點的加權(quán)和[14]，求解4個虛擬控制點在相機坐標(biāo)系下的坐標(biāo)，將求解2D-3D的PnP問題轉(zhuǎn)化為求解3D-3D的剛體變化問題。

(6)

Mx=0

(7)

方程組式(7)的解x∈ker(MTM)，其中MTM的零特征值維數(shù)與空間參考點的特征以及相機焦距有關(guān)，求解方程通常選擇4組以內(nèi)的零特征值對應(yīng)的特征向量，進而將求解2D-3D的PnP問題轉(zhuǎn)化為絕對定位問題，獲得攝像頭的位姿參數(shù)，即文中所求的頭部姿態(tài)參數(shù)。

3 基于特征分析的在線學(xué)習(xí)者疲勞預(yù)警

在線學(xué)習(xí)者疲勞預(yù)警主要是通過分析學(xué)習(xí)者的眼睛、嘴部的疲勞特征判斷人是否處于疲勞狀態(tài)，當(dāng)學(xué)習(xí)者處于疲勞狀態(tài)時，進行自動預(yù)警。

3.1 眼部特征判定疲勞狀態(tài)

人眼在正常狀態(tài)下每分鐘眨眼15～20次，每次眨眼大概需要0.4 s，眨眼間隔約為3 s[16]。當(dāng)人處于疲勞狀態(tài)時，人眼持續(xù)閉合時間增長，眨眼頻率會明顯增高或減少。文中采用眼睛縱橫比(eye aspect ratio，EAR)作為評價指標(biāo)，判斷眼睛處于睜開或閉合中的哪種狀態(tài)。當(dāng)人眨眼時，眼睛縱橫比會先減小后增大，因此可通過眼睛縱橫比在一段時間內(nèi)的變化規(guī)律判斷是否為眨眼動作。眼睛縱橫比值的計算步驟為：

(1)通過彩色圖像幀獲取人眼部特征點(如圖2所示)。

圖2 眼睛特征點分布(左眼特征點模型、睜開、閉合)

(2)計算出左右眼睛縱橫方向相應(yīng)位置的歐幾里得距離，獲取左右眼睛的縱橫比。計算左右眼睛平均縱橫比值，并以此代表眼睛縱橫比值，計算公式如下：

(8)

(9)

(10)

3.2 嘴部特征判定疲勞狀態(tài)

嘴部狀態(tài)主要有閉合、說話以及打哈欠三種。說話過程中人的嘴巴上下張開幅度較小，且變動頻繁，嘴型持續(xù)時間較短，與打哈欠時的嘴巴狀態(tài)正好相反。研究資料表明，當(dāng)人在打哈欠時其嘴部將處于張大嘴的狀態(tài)3 s以上[17]，當(dāng)嘴部狀態(tài)改變時，嘴巴縱橫比值(mouth aspect ratio，MAR)隨之改變。文中嘴巴縱橫比值的計算步驟為：

(1)通過彩色圖像幀獲取人嘴部特征點(如圖3所示)。

圖3 嘴部特征點分布(嘴部特征點模型、閉合、半張開、完全張開)

(2)計算出嘴巴對應(yīng)點位置的歐幾里得距離，獲取嘴巴的嘴巴縱橫比值。嘴巴縱橫比值的計算公式為：

(11)

4 仿真實驗分析

學(xué)習(xí)者的學(xué)習(xí)視頻采集攝像頭：英特爾公司Intel? RealSenseTMD400，D415，其采樣頻率為30幀/s，圖像分辨率為640×480；圖像仿真分析計算機配置：Intel(R)Core(TM)i5，1.8 GHz，8G內(nèi)存；仿真軟件為PyCharm；編程語言為Python。

4.1 學(xué)習(xí)者身份識別實驗

文中利用D415中的2D彩色攝像頭進行學(xué)習(xí)者身份識別實驗。實驗利用Dlib庫的人臉框位置檢測器dlib.get_frontal_face_detector()檢測攝像頭前的人臉數(shù)n，利用Dlb庫的人臉識別模型dlib_face_recognition_resnet_model_v1.dat獲取待測人臉128維特征向量，使用歐氏距離與已錄入數(shù)據(jù)庫人臉特征數(shù)據(jù)進行匹配，使用最近鄰分類器返回樣本的標(biāo)簽。

通過測試發(fā)現(xiàn)實時提取當(dāng)前幀人臉特征向量平均耗時0.2 s，導(dǎo)致圖像幀率低于4幀/s，影響后續(xù)模塊檢測結(jié)果，因此文中添加質(zhì)心目標(biāo)跟蹤。當(dāng)攝像頭前人臉數(shù)n≥1時，提取初始幀圖像進行人臉識別，利用質(zhì)心追蹤算法判斷視頻流目標(biāo)變化情況，利用歐氏距離最小的原則，將不同幀獲取的人臉框的質(zhì)心聯(lián)系在一起，在此過程中有人加入或退出，則提取變化的初始幀進行人臉識別，當(dāng)攝像頭前人臉數(shù)不變時，只進行人臉檢測。通過實驗發(fā)現(xiàn)，加入質(zhì)心目標(biāo)跟蹤算法后，界面輸出的幀率從2幀/s～3幀/s提高到17幀/s～20幀/s，識別效率明顯提高。

為驗證ResNet模型算法的有效性，將ResNet模型算法在人臉數(shù)據(jù)集LFW上進行測試，識別率達到99.38%，滿足了身份鑒權(quán)防止學(xué)習(xí)內(nèi)容泄露的需求。

4.2 學(xué)習(xí)者異常姿態(tài)檢測實驗

文中利用Dlib庫官方提供的分類器shape_predictor_68_face_landmarks.dat提取人臉二維特征點，獲得彩色圖像像素坐標(biāo)系下68個二維特征點的位置信息。通過D415的3D紅外攝像頭獲取深度圖，將彩色圖與深度圖對齊融合獲得RGB-D圖像，利用Realsese D415 SDK中的rs.rs2_deproject_pixel_to_point(intrinsics,(x,y),d)獲取人臉68個三維特征點坐標(biāo)值。

為減少計算量，在上述68個特征點中選取14個2D-3D特征點對作為EPNP算法的輸入。實驗結(jié)果如圖4所示，圖中實心矩形點表示實時采集的14點人臉二維特征點，空心原點表示EPNP算法得出的位姿參數(shù)對人臉三維特征點反投影得到的二維點。圖4(a)表示利用文獻[18]中的方法，將來自科英布拉大學(xué)系統(tǒng)與機器人研究所的3D人臉模型特征點代替世界坐標(biāo)系三維特征點位置獲取的仿真結(jié)果。圖4(b)表示利用D415獲取的人臉三維特征點作為真實世界坐標(biāo)系三維坐標(biāo)位置的仿真結(jié)果。

圖4 三維人臉模型仿真

由仿真結(jié)果可知，利用文中方法EPNP算法獲取頭姿一致性更好。

學(xué)習(xí)者姿態(tài)預(yù)警信息的獲取與設(shè)定的頭部偏轉(zhuǎn)歐拉角閾值緊密相關(guān)。文中進行了頭部俯仰偏轉(zhuǎn)與左右偏轉(zhuǎn)動作測試以獲取閾值。測試結(jié)果顯示，頭部俯仰偏轉(zhuǎn)主要改變俯仰角(pitch)的大小，頭部左右偏轉(zhuǎn)主要改變偏航角(yaw)的大小。根據(jù)測試數(shù)據(jù)設(shè)定頭部俯仰偏轉(zhuǎn)閾值為pitch=±15°，頭部左右偏轉(zhuǎn)閾值為yaw=±30°。當(dāng)pitch>15°或pitch<-15°時，判斷學(xué)習(xí)者處于頭部俯仰偏轉(zhuǎn)狀態(tài)；當(dāng)yaw>30°或yaw<-30°時，判斷學(xué)習(xí)者處于頭部左右偏轉(zhuǎn)狀態(tài)。在真實的學(xué)習(xí)場景中，學(xué)習(xí)者以正常狀態(tài)學(xué)習(xí)時，也有可能出現(xiàn)頭部姿態(tài)異常的情況，例如學(xué)生暫時低頭看書、輕微點頭或搖頭等。為防止誤測，文中設(shè)定異常頭部姿態(tài)時間閾值為4 s，當(dāng)學(xué)生頭部處于異常姿態(tài)的時間超過閾值時，則判定為分心狀態(tài)。

為驗證文中所用姿態(tài)檢測算法的有效性，以1分鐘為單位采集5組視頻圖像，圖像連續(xù)4 s以上處于姿態(tài)異常狀態(tài)，則判定分心，測試結(jié)果如表1所示。根據(jù)測試結(jié)果可知，文中算法頭部姿態(tài)檢測可以實現(xiàn)異常姿態(tài)導(dǎo)致的分心狀態(tài)檢測。

表1 分心狀態(tài)測試

4.3 學(xué)習(xí)者疲勞狀態(tài)預(yù)警實驗

人的眨眼頻率與哈欠等疲勞特征的獲取與人眼睛縱橫比、嘴巴縱橫比的閾值設(shè)定密切相關(guān)，對兩名實驗者分別進行了眨眼以及哈欠動作檢測以獲取所需閾值。分析檢測結(jié)果可知，當(dāng)EAR<0.23時人的眼睛處于閉合狀態(tài)，所以設(shè)定EAR的閾值為0.23。當(dāng)學(xué)習(xí)者眼睛在0.4 s時間內(nèi)EAR先減小到小于閾值再增大時，則判斷眨眼一次，每分鐘眨眼頻率fblk<10或fblk>20時，則判斷學(xué)生已處于疲勞狀態(tài)。當(dāng)MAR>0.6時人處于張大嘴狀態(tài)，所以將0.6設(shè)定為張大嘴的閾值，當(dāng)嘴部超過3 s時間處于張大嘴狀態(tài)時，則判斷打哈欠一次，當(dāng)每分鐘內(nèi)哈欠次數(shù)達到2次及以上，則判定學(xué)生出現(xiàn)疲勞。

為驗證該算法的有效性，以1分鐘為單位采集5組視頻圖像進行檢測，獲取學(xué)習(xí)者的每分鐘眨眼頻率與哈欠次數(shù)，判定學(xué)習(xí)者是否處于疲勞狀態(tài)，測試結(jié)果如表2所示。根據(jù)測試結(jié)果可知，綜合考慮學(xué)習(xí)者的眨眼頻率與哈欠次數(shù)，可比較有效地實現(xiàn)學(xué)習(xí)者疲勞狀態(tài)的判定。

表2 疲勞狀態(tài)測試

4.4 系統(tǒng)實驗與結(jié)果分析

文中由上述身份識別、姿態(tài)檢測、疲勞檢測三個模塊構(gòu)成在線學(xué)習(xí)檢測系統(tǒng)，并且將系統(tǒng)檢測結(jié)果數(shù)據(jù)上傳至Web端平臺，對學(xué)生的上課異常狀態(tài)進行實時記錄，教師可通過平臺實時查看學(xué)生學(xué)習(xí)異常狀態(tài)。系統(tǒng)部分實驗結(jié)果如圖5所示，Web端平臺數(shù)據(jù)顯示如圖6所示。圖5(a)為學(xué)生處于正常上課狀態(tài)；圖5(b)為攝像頭前出現(xiàn)未授權(quán)用戶時，異常狀態(tài)報警框顯示“未授權(quán)用戶”；圖5(c)中，攝像頭前人臉數(shù)n=0，異常狀態(tài)報警框顯示“脫離學(xué)習(xí)座位”；圖5(d)攝像頭前出現(xiàn)人臉數(shù)n>1，異常狀態(tài)報警框顯示“多人”；圖5(e)為學(xué)生長時間東張西望時，異常狀態(tài)報警框顯示“東張西望，分心”；圖5(f)為學(xué)習(xí)者眨眼頻率過快或過慢，異常狀態(tài)報警框顯示“眨眼頻繁，疲勞預(yù)警”。

圖5 在線學(xué)習(xí)檢測系統(tǒng)部分實驗結(jié)果

圖6 Web端數(shù)據(jù)顯示

綜合分析實驗結(jié)果，將本系統(tǒng)與文獻[7]與文獻[19]中的方法進行對比，結(jié)果見表3。文中方法相對于文獻[7]方法功能更加完善，相對于文獻[19]方法在檢測準(zhǔn)確度方面更有優(yōu)勢。本系統(tǒng)基本可以實現(xiàn)學(xué)生學(xué)習(xí)狀態(tài)的評估，并且在學(xué)生出現(xiàn)異常狀態(tài)時進行實時預(yù)警提醒，但是該方法假設(shè)學(xué)習(xí)者的學(xué)習(xí)環(huán)境背景簡單，且不需要長時間低頭做筆記、長時間大聲誦讀等，所以在環(huán)境背景復(fù)雜的情境下一定程度上影響了系統(tǒng)檢測結(jié)果，這也是接下來要研究的重點內(nèi)容。

表3 實驗對比結(jié)果 %

5 結(jié)束語

文中利用深度攝像機D415實時獲取學(xué)習(xí)視頻，通過人臉識別、頭部姿態(tài)識別、疲勞檢測三個模塊，基于2D和3D圖像處理技術(shù)開展了無人、多人、用戶未授權(quán)、分心以及疲勞等學(xué)習(xí)狀態(tài)的評估，仿真實驗測試了該方法的可行性，為在線教育隨時調(diào)整教學(xué)策略提高在線學(xué)習(xí)的質(zhì)量提供了積極思路。