基于CNN-LSTM模型的紅外圖像疲勞情感狀態(tài)分析方法

劉 星 黃子琪

（南京信息職業(yè)技術(shù)學(xué)院數(shù)字商務(wù)學(xué)院，江蘇 南京 210021）

1 相關(guān)工作

汽車智能化是當(dāng)前全球汽車重要的技術(shù)發(fā)展趨勢之一，也是實(shí)施《中國制造2025》、“兩化融合”戰(zhàn)略的重要支撐。深度學(xué)習(xí)是人工智能領(lǐng)域取得的一個較大突破，且在汽車智能化應(yīng)用方面深度學(xué)習(xí)模型已具有極大潛力。司機(jī)疲勞駕駛是造成致命事故的最重要的原因之一，當(dāng)駕駛員處于疲勞駕駛狀態(tài)時，其路況識別能力和駕駛技能明顯下降，約25%～30%的交通事故是由駕駛員疲勞駕駛導(dǎo)致的。為了解決這個問題，開發(fā)一種可以有效檢測駕駛員疲勞駕駛并及時發(fā)出警告的系統(tǒng)非常必要?；谲囕v行為、駕駛員生理狀態(tài)和面部表情的研究已被用于識別疲勞駕駛[1-2]，基于車輛行為的駕駛員疲勞駕駛檢測方法主要處理車輛行駛數(shù)據(jù)，即車輛的轉(zhuǎn)向角度、行駛速度、加速度和轉(zhuǎn)彎角度[3-4]，不考慮駕駛員自身情況進(jìn)行早期檢測和預(yù)警，就無法起到事前預(yù)警的作用。

2 基于面部圖像特征的駕駛員疲勞狀態(tài)檢測框架

基于駕駛員生理狀態(tài)的檢測方法是基于眼電（EOG）、心電圖（ECG）[5]、心率（HR）、腦系統(tǒng)[6]、心率變異性（HRV）以及腦電圖（EEG）等生理信號的。然而，駕駛員必須在駕駛過程中穿戴設(shè)備才能獲得相應(yīng)的信號，會影響駕駛員的舒適感?；隈{駛員面部表情的疲勞駕駛檢測方法通過分析眼瞼閉合時間、眨眼、打哈欠、頭部姿態(tài)和眼瞼運(yùn)動[7-9]取得了較好的效果。集成視覺信號和生理信號的方法比單一信號具有更高的性能，但是存在價(jià)格昂貴、體驗(yàn)不舒適的缺點(diǎn)。該文重點(diǎn)研究了基于視覺的疲勞駕駛檢測中最重要的一步，即利用KCF 改進(jìn)的MTCNN 對人臉進(jìn)行檢測和跟蹤，并對眼睛、嘴巴和頭部姿態(tài)進(jìn)行魯棒性定位，特別是在低照度、戴口罩以及大幅度運(yùn)動等復(fù)雜真實(shí)車載情況下進(jìn)行相關(guān)檢測。

該文提出的疲勞檢測方法的整體框架如圖1所示，主要包括3 個部分，即紅外圖像采集和使用VIBE 算法定位前景、人臉檢測以及疲勞特征識別。首先，在實(shí)際車輛環(huán)境下采集紅外圖像。在獲取紅外圖像后，運(yùn)用VIBE 算法來準(zhǔn)確定位前景區(qū)域。其次，進(jìn)行人臉檢測。該文提出了一種改進(jìn)的MTCNN 方法，基于核相關(guān)濾波技術(shù)可以在一段時間內(nèi)對檢測的人臉進(jìn)行跟蹤，特別是在面臨大運(yùn)動或光照變化等情況下，也可以比較穩(wěn)定地定位人臉區(qū)域。最后，進(jìn)行疲勞特征的融合和識別。提取眼睛區(qū)域特征、嘴巴區(qū)域特征和頭部姿勢特征，并將它們輸入多維度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行疲勞識別。

圖1 疲勞駕駛檢測系統(tǒng)框圖

3 基于核相關(guān)濾波器改進(jìn)的MTCNN 人臉檢測

該文提出的駕駛員疲勞駕駛檢測系統(tǒng)的第一步就是獲取人臉的位置，并標(biāo)定面部關(guān)鍵點(diǎn)的坐標(biāo)。為了獲取人臉關(guān)鍵點(diǎn)，該文采用人臉關(guān)鍵點(diǎn)檢測網(wǎng)絡(luò)MTCNN 對人臉進(jìn)行檢測和提取關(guān)鍵點(diǎn)。MTCNN 是一個三級聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)，即提議網(wǎng)絡(luò)（P-Net）、精煉網(wǎng)絡(luò)（R-Net）和回歸網(wǎng)絡(luò)O-Net，可以整合人臉檢測和人臉對齊2 個任務(wù)，最終輸出的結(jié)果是人臉目標(biāo)框、嘴部、鼻子和眼部等關(guān)鍵人臉點(diǎn)坐標(biāo)。但是當(dāng)人臉出現(xiàn)光照不均勻造成的“陰陽臉”或者駕駛員看后視鏡造成的大角度側(cè)臉的情況時，會導(dǎo)致MTCNN 人臉檢測算法短暫失效，無法定位人臉和提取人臉的關(guān)鍵點(diǎn)。同時，因?yàn)樵趯?shí)車駕駛過程中，圖像視野中可能會出現(xiàn)多個人臉的情形，所以在MTCNN 的檢測參數(shù)中設(shè)定最小檢測目標(biāo)尺寸為100 px，如果檢測到多個目標(biāo)，就默認(rèn)駕駛員的頭像為最大尺寸。

另外，由于該方法在嵌入式芯片上運(yùn)行，芯片的運(yùn)算算力有限，MTCNN 算法的運(yùn)行時間為200 ms，因此提出跟蹤器與檢測器相融合的方法，既可以在短暫時間內(nèi)用跟蹤算法更好地鎖定人臉，又可以減少對CPU 處理資源的占用，使算法具有更高的魯棒性且更高效。

在MTCNN 中有3 種任務(wù)，包括人臉/非人臉分類、邊界框回歸和關(guān)鍵點(diǎn)定位。為了獲得穩(wěn)定的結(jié)果，該文在邊界和關(guān)鍵點(diǎn)定位中加入了空間約束和時間約束。針對每個候選窗口，該文預(yù)測它與上一幀的面邊界框之間的偏移量（邊界框的左上角、高度和寬度）。歐氏距離損失適用于每個樣本，如公式（1）所示。

與邊界框回歸任務(wù)類似，人臉目標(biāo)檢測也被定義為一個回歸問題。該文還應(yīng)用了候選目標(biāo)的關(guān)鍵點(diǎn)與上一幀圖像的人臉關(guān)鍵點(diǎn)之間的歐氏距離，如公式（2）所示。

經(jīng)過測算，在實(shí)際應(yīng)用中，當(dāng)KCF 跟蹤算法及MTCNN檢測在海思3521DV200 芯片上運(yùn)行時，針對1280px×720px的圖像，KCF 跟蹤器的運(yùn)算速度約為60 f/ms，而MTCNNmobilenet 的運(yùn)算速度約為200 f/ms。因此，在加入KCF 跟蹤器后，平均3 s 內(nèi)跟蹤了46 f，平均運(yùn)算速度為15 f/s，而在國家標(biāo)準(zhǔn)中，要求須在2 s 內(nèi)對疲勞駕駛的行為發(fā)出預(yù)警，因此該文提出的方法在海思的嵌入式芯片上也基本能滿足實(shí)時預(yù)警的要求。

該文主要通過O-Net 輸出的目標(biāo)框與上一幀存儲的目標(biāo)框之間的重疊率來判斷MTCNN 是否檢測到人臉，設(shè)定當(dāng)IoU超過70%且滿足O-Net輸出的概率大于0.7時，即認(rèn)為有效檢測出人臉目標(biāo)。該文主要通過KCF跟蹤器輸出的目標(biāo)框與上一幀存儲的目標(biāo)框之間的重疊率來判定KCF 跟蹤器是否跟蹤人臉，具體方法與檢測階段一致。交并比（Intersection over Union，IoU）是指檢測框與Ground Truth 的交集和并集之間的比，當(dāng)IoU=1 時，檢測框完全等于Ground Truth，當(dāng)IoU=0 時，檢測框與Ground Truth 沒有交集。

4 基于LSTM 網(wǎng)絡(luò)的疲勞狀態(tài)識別方法

針對CNN 提取到的特征序，應(yīng)用標(biāo)準(zhǔn)的RNN 模型可以計(jì)算一個隱藏層序列ht和一個輸出序列yt，分別如公式（3）、公式（4）所示。

式中：Wfh為遺忘門的權(quán)重系數(shù)矩陣；bh為遺忘門的偏置向量；fa為激活函數(shù)（激活函數(shù)可以用tanh 函數(shù)、Sigmod 函數(shù)等）；Whh為輸入門的權(quán)重系數(shù)矩陣；ht-1為t-1 時刻的隱藏層序列；Why為輸出門的權(quán)重系數(shù)矩陣；bh為輸出門的偏置向量。

雖然RNN 可以對非線性時間序列的數(shù)據(jù)進(jìn)行預(yù)測，但是仍然存在梯度消失、爆炸以及需要預(yù)先確定延遲窗口長度的問題。因此，LSTM 模型應(yīng)運(yùn)而生，隱藏層計(jì)算如公式（5）～公式（9）所示。

式中：it為t時刻輸入門狀態(tài)；Wxi為輸入門i時刻權(quán)重值；Wci為對于細(xì)胞狀態(tài)i的權(quán)重；Ct-1為t-1 時刻的細(xì)胞狀態(tài)值；bi為輸出門偏置向量；ft為t時刻遺忘門狀態(tài)；Wxf為遺忘門i時刻權(quán)重值；Whf為遺忘門的權(quán)重系數(shù)；Wcf為對于遺忘門計(jì)算中細(xì)胞狀態(tài)i的權(quán)重；bf為遺忘門的偏置向量；ct為t時刻細(xì)胞狀態(tài)；ft為細(xì)胞狀態(tài)計(jì)算中的激活函數(shù)；tanh 為激活函數(shù)之一；Wxc為細(xì)胞狀態(tài)中對于向量xt的權(quán)重；Whc為細(xì)胞狀態(tài)中對于ht-1隱藏序列的權(quán)重；bc為細(xì)胞狀態(tài)的偏置向量；ot為輸出門t時刻輸出；Wxo為輸出門對于xt向量的權(quán)重；Who為輸出門中ht-1隱藏序列的權(quán)重。

該文采用LSTM 作為網(wǎng)絡(luò)主體，將眼部和嘴巴提取到的時間序列特征集記為F，并將其輸入LSTM 網(wǎng)絡(luò)的時序序列中進(jìn)行判定。

5 試驗(yàn)設(shè)計(jì)及結(jié)果

5.1 試驗(yàn)平臺

為了驗(yàn)證該文提出的方法在真實(shí)車輛環(huán)境下的性能，采集7 個不同車輛的真實(shí)車輛數(shù)據(jù)序列，分別為土方車、長途重卡、冷鏈運(yùn)輸車、私家車、SUV、公共汽車以及施工卡車。攝像頭放置在司機(jī)的前面。為了最大限度地減少驅(qū)動器的影響（特別是在夜間），采用940 nm 小波的紅外光提供照明。該文提出的方法使用約10 000 f 進(jìn)行訓(xùn)練，并在6 個實(shí)車序列上進(jìn)行測試，總共超過60 000 f（見表1），其分辨率為1280px×720px，訓(xùn)練數(shù)據(jù)和測試數(shù)據(jù)之間不存在重疊。使用lableImg 軟件手動標(biāo)注眼睛、嘴的真實(shí)坐標(biāo)以及駕駛員疲勞狀態(tài)。

表1 人臉檢測算法對比

疲勞駕駛攝像頭采集到的圖像為RGB 圖像及紅外圖像，可以通過分析圖像質(zhì)量結(jié)合當(dāng)前時間來選取采用RGB圖像還是紅外圖像。該設(shè)備的顯示器主要用來提示駕駛員是否處于疲勞駕駛，當(dāng)駕駛員處于疲勞駕駛時，可以通過屏幕與駕駛員互動或發(fā)出聲光提示報(bào)警。

5.2 主要參數(shù)對比

召回率反映了測試方法的魯棒性和持續(xù)跟蹤能力，精度反映了測試方法對干擾物和目標(biāo)的識別能力。不同車輛視頻序列的結(jié)果概述見表1。由表1 可知，該文提出的方法比原來的MTCNN 和Dlib19.22 具有更高的魯棒性，這是改進(jìn)后的MTCNN 加上KCF 跟蹤的效果。該文提出的方法也具有更高的性能，特別是在人臉側(cè)面，現(xiàn)有方法很難在光照變化以及側(cè)臉等困難環(huán)境下取得同樣的性能。由表1 可知，該文凸出的方法在側(cè)臉和光照變化方面具有更高的性能，這是KCF跟蹤器的作用。如果MTCNN 在3 s 內(nèi)檢測到駕駛員的人臉，KCF 跟蹤器將檢測結(jié)果作為初始目標(biāo)對人臉進(jìn)行跟蹤，那么該目標(biāo)不會受到太多光照變化、大幅度運(yùn)動和側(cè)臉的影響。

5.3 參數(shù)分析

該文將所提出的方法與dlib 算法的最新版本19.22、原始MTCNN 和Face++進(jìn)行比較。由表1 可知，3 種方法在手干擾、背景雜波、大運(yùn)動和正常駕駛方面的性能差異不大。

該文提出的方法在光照變化和側(cè)臉方面具有更高的性能，這是KCF 跟蹤器的效果。在序列五中，需要檢測駕駛員側(cè)臉，這對人臉檢測方法來說是一個問題，尤其是大角度的人臉檢測。然而，如果在前方檢測駕駛員的人臉并將人臉的邊界框輸入KCF 跟蹤器中，那么該文提出的方法是目前最先進(jìn)的跟蹤方法，可以跟蹤側(cè)臉而不是檢測側(cè)臉。在序列四中，光照變化是車輛駕駛員人臉檢測的另一個問題，由于光照總是會發(fā)生變化的，因此可以假設(shè)在一段時間內(nèi)光照良好，MTCNN 人臉檢測算法可以工作于檢測駕駛員面部，將檢測到的面部區(qū)域與上一次保存的人臉結(jié)果進(jìn)行比對，當(dāng)相似度大于80%時，認(rèn)為當(dāng)前檢測到的人臉是可靠的，并將其作為KCF 跟蹤器的輸入，在接下來的3 s 內(nèi)進(jìn)行跟蹤，由于采集幀率為30 f/s，因此跟蹤的總幀數(shù)為90 f。運(yùn)用該文提出的方法在光照變化不均衡的圖像序列上具有更高的性能。

5.4 疲勞狀態(tài)識別結(jié)果

MCNN 對睜眼圖像進(jìn)行分類的準(zhǔn)確數(shù)為2 753 張，準(zhǔn)確率為93.3%，對閉眼圖像進(jìn)行分類的準(zhǔn)確數(shù)為978 張，準(zhǔn)確率為91.7%，依然無法達(dá)到實(shí)際車載使用準(zhǔn)確率為99%的要求，其原因是駕駛員佩戴墨鏡及眼鏡鏡片反光導(dǎo)致識別準(zhǔn)確率下降，這也是后期需要解決的重要問題之一，當(dāng)前運(yùn)用的技術(shù)一般為偏振光片，但是存在價(jià)格昂貴無法商用的問題。

識別嘴巴狀態(tài)（打哈欠）圖像的準(zhǔn)確數(shù)為5 411 張，識別正確率為95.2%，主要識別錯誤的情況為駕駛員張嘴說話以及手部的一些干擾動作。識別嘴巴正常情況圖像的準(zhǔn)確數(shù)為14 753 張，識別準(zhǔn)確率為98.4%。嘴部識別的準(zhǔn)確率比眼睛該，其原因是嘴部的識別難度較小且干擾少，容易分類。識別打電話圖像的準(zhǔn)確數(shù)為1 001 張，識別正確率為89.2%，識別率較低，其原因是打手機(jī)與摸臉、整理頭發(fā)等動作相似，存在一些誤檢的情況。

6 結(jié)語

該文針對駕駛員疲勞檢測提出了一種基于CNN-LSTM模型的紅外圖像檢測方法，通過分析眼動和嘴巴狀態(tài)來判別駕駛員的疲勞程度，該方法識別的狀態(tài)包括閉眼、打哈欠和打手機(jī)等行為。該文研究重點(diǎn)利用CNN 網(wǎng)絡(luò)提取駕駛員面部特征，并通過LSTM 網(wǎng)絡(luò)來推斷實(shí)際車輛運(yùn)行環(huán)境下駕駛員疲勞狀態(tài)的關(guān)鍵問題。大量真實(shí)駕車試驗(yàn)數(shù)據(jù)驗(yàn)證了該文提出的方法具有較高的性能，并且可以進(jìn)一步應(yīng)用于實(shí)際場景中。然而，該方法仍面臨一個問題，即對打手機(jī)動作的識別率較低。為了解決這一問題，需要采集更多樣本數(shù)據(jù)，并對網(wǎng)絡(luò)模型進(jìn)行優(yōu)化。