基于雙卷積神經(jīng)網(wǎng)絡(luò)的人眼狀態(tài)和眨眼識別算法研究

馬?？? 陳軍峰

(1. 武警工程大學(xué), 陜西 西安 710086；2. 武警警官學(xué)院, 四川 成都 610213)

0 引 言

激光眩目器是一種重要的非致命性警用裝備，然而如何實時地改變對目標(biāo)人眼的照射能量以達(dá)到可控的照射效果是其實際應(yīng)用的一大難題。為解決這一問題需要對目標(biāo)人眼進(jìn)行準(zhǔn)確定位并對眼睛的開閉狀態(tài)進(jìn)行準(zhǔn)確的預(yù)測。

目前，人眼定位及狀態(tài)檢測算法主要有Hough[1]、灰度積分投影[2]、Gabor[3]、模板匹配[4]等融合類算法。這幾種算法里，對已知形狀的目標(biāo)檢測上，Hough算法具備不受圖形旋轉(zhuǎn)影響和受曲線間斷影響小的優(yōu)勢，即便檢測的目標(biāo)有稍許的缺損或污染也能被正確識別，其不足之處是計算量非常大；灰度積分投影的優(yōu)點(diǎn)是定位目標(biāo)坐標(biāo)的算法計算量較低，不足之處是自然條件下背景圖像較復(fù)雜，準(zhǔn)確定位目標(biāo)的識別率會降低；Gabor小波變換的優(yōu)點(diǎn)是適用于局部特征提取,該算法的魯棒性優(yōu)良，其不足之處是存在維數(shù)災(zāi)難和特征冗余的問題；模板匹配優(yōu)點(diǎn)是用合成的目標(biāo)模板對圖像進(jìn)行匹配，有效壓縮了計算量，提高了定位速度和精度，不足之處是目標(biāo)姿態(tài)變化大的情況下不能保證定位準(zhǔn)確率等問題。

此外，文獻(xiàn)[5]使用時空濾波和方差圖來定位臉部和眼睛的特征點(diǎn)，用Lucas Kanade特征追蹤器進(jìn)行眼睛追蹤，算法不足在于眨眼檢測會受到頭部運(yùn)動的影響，導(dǎo)致準(zhǔn)確率較大幅度下降。文獻(xiàn)[6]使用眼角、眼瞼和虹膜來跟蹤眼球運(yùn)動和眨眼，實現(xiàn)基于流的人眼跟蹤，其檢測準(zhǔn)確率達(dá)到90%，其不足之處是在多姿態(tài)的檢測中，特別是側(cè)面的檢測時準(zhǔn)確率還不夠高。文獻(xiàn)[7]提出的眨眼檢測系統(tǒng)可以根據(jù)眨眼持續(xù)時間，將眨眼分類為自主和非自主，檢測準(zhǔn)確率達(dá)到95.3%。其不足之處是在光照變化時檢測準(zhǔn)確率會下降。文獻(xiàn)[8]提出凝視跟蹤方法，使用兩個基于外觀的跟蹤器，分別對眼瞼和虹膜進(jìn)行跟蹤。用于眼瞼跟蹤的跟蹤器能夠快速識別眨眼，使其適用于實時應(yīng)用，其不足之處是算法比較復(fù)雜。文獻(xiàn)[9] 提出的基于面部標(biāo)志點(diǎn)自動跟蹤的眼睛眨動檢測方法，實現(xiàn)了眼睛和眼瞼輪廓的定位，使用 savitzky-golay (sg)濾波器對所獲得的信號進(jìn)行平滑處理，使用有限狀態(tài)機(jī)根據(jù)持續(xù)時間檢查假眨眼和真眨眼情況，其不足之處是算法模型復(fù)雜，運(yùn)算量大。

針對上述算法的不足，本文提出一種基于雙卷積神經(jīng)網(wǎng)絡(luò)的人眼定位與狀態(tài)識別的算法，該模型基于兩個卷積神經(jīng)網(wǎng)絡(luò)的聯(lián)合訓(xùn)練，將眼睛輪廓和二進(jìn)制掩膜作為輸入來預(yù)測眼睛的狀態(tài)。實驗結(jié)果表明此算法對普通視頻及紅外視頻中的動態(tài)目標(biāo)人眼位置及狀態(tài)預(yù)測均具有良好的效果，能夠應(yīng)用于智能激光眩目器控制系統(tǒng)。

1 基于雙卷積神經(jīng)網(wǎng)絡(luò)的人眼狀態(tài)和眨眼識別算法

算法整體框架如圖1所示。視頻流作為輸入，首先，采用基于多任務(wù)級聯(lián)卷積網(wǎng)絡(luò)檢測器進(jìn)行人臉區(qū)域檢測，利用得到的眉毛和眼睛坐標(biāo)信息定位人眼；而后，通過計算其對應(yīng)眼標(biāo)坐標(biāo)集上的凸包，對提取的兩個眼斑進(jìn)行二元掩碼運(yùn)算，得到二進(jìn)制掩碼；最后，把提取的眼斑及其相應(yīng)的二進(jìn)制掩碼帶入彩色人眼和掩膜人眼兩個卷積神經(jīng)網(wǎng)絡(luò)，通過兩個神經(jīng)網(wǎng)絡(luò)聯(lián)合訓(xùn)練對眼睛狀態(tài)(睜開或閉合)進(jìn)行預(yù)測。算法框架記錄每一幀眼睛狀態(tài)，若眼睛在閉上若干幀后首次睜開，即認(rèn)定為眨眼。幀數(shù)的閾值根據(jù)人類平均眨眼時間設(shè)定為100 ms～400 ms[10]。

圖1 基于雙卷積神經(jīng)網(wǎng)絡(luò)的人眼狀態(tài)和眨眼識別算法框架

1.1 眼睛輪廓提取

眼睛輪廓提取過程如圖2所示。本文采用基于多任務(wù)級聯(lián)卷積神經(jīng)網(wǎng)絡(luò)(Multi Task Cascaded Convolutional Networks，MTCNN)的檢測器[11]，其特點(diǎn)是檢測準(zhǔn)確率較高且運(yùn)算復(fù)雜度較低。當(dāng)視頻流輸入初始，首先對每幀圖像檢測面部區(qū)域。當(dāng)檢測到圖像中存在人臉時，卷積約束局部模型(Convolutional Experts Constrained Local Model，CE-CLM)將檢測出圖像中人臉的坐標(biāo)，該卷積約束使用點(diǎn)分布模型(Point Distribution Model，PDM)來捕捉坐標(biāo)的形狀變化，并使用區(qū)域?qū)＜夷Ｐ蛠砟M每個坐標(biāo)的局部外觀變化，以得到圖像中人臉眼睛、眉毛、嘴唇、下顎線和鼻子等68個坐標(biāo)位置，而后提取出與眼睛和眉毛相對應(yīng)的坐標(biāo)。利用此信息將眼睛圖像定義為一個輪廓邊界，具體定義為，將輪廓的上邊界和下邊界分別設(shè)置為相應(yīng)的眉毛最上端坐標(biāo)和眼睛最下端坐標(biāo)；輪廓左邊和右邊的邊界分別設(shè)置為眼睛的最左和最右邊坐標(biāo)。之所以這樣設(shè)置，是考慮到在閉眼時，上眼皮和下眼皮的坐標(biāo)幾乎相同，如果只用眼睛的坐標(biāo)來確定上界，那么提取的閉眼輪廓高度與睜眼輪廓高度相差較大，帶入卷積神經(jīng)網(wǎng)絡(luò)后會造成特征提取不準(zhǔn)確。同時由于PDM能夠捕捉足夠數(shù)量的變化坐標(biāo)，使得檢測器對不同角度的人臉和眼睛定位均有較高檢測率，在實際測試中準(zhǔn)確率達(dá)到98.7%左右，這也為后續(xù)人眼動作識別奠定了良好的基礎(chǔ)。

圖2 眼睛輪廓提取示意圖

1.2 二值化掩膜生成

在提取眼睛輪廓后，通過在其對應(yīng)的眼睛標(biāo)坐標(biāo)集使用凸包算法生成二值化掩膜。凸包內(nèi)區(qū)域像素值設(shè)定為1(白色)，凸包外區(qū)域像素值設(shè)定為0(黑色)。計算掩膜是由于其特征圖簡單，只需關(guān)注眼睛的開放程度，即可以準(zhǔn)確地區(qū)分閉眼和睜眼。睜眼輪廓的掩膜像大部分像素值為1，相反閉眼輪廓掩膜大部分像素值為0。掩膜中的白色前景(僅眼睛區(qū)域)和黑色背景(掩膜的其他部分)之間的高度對比將使得卷積神經(jīng)網(wǎng)絡(luò)只關(guān)注眼睛的外部形狀和輪廓，從而學(xué)習(xí)睜眼/閉合的真實映射關(guān)系。二值化掩膜生成示意圖如圖3所示。

圖3 二值化掩膜生成示意圖

1.3 人眼狀態(tài)預(yù)測

在提取了眼睛輪廓及其相應(yīng)的二值化掩膜后，把該信息輸入到一個雙卷積神經(jīng)網(wǎng)絡(luò)，即：將眼睛輪廓(RGB彩色圖像)作為彩色人眼神經(jīng)網(wǎng)絡(luò)的輸入，將同一眼睛輪廓的二值化掩膜作為掩膜人眼神經(jīng)網(wǎng)絡(luò)的輸入。彩色人眼神經(jīng)網(wǎng)絡(luò)旨在學(xué)習(xí)整個眼睛輪廓的全局特征，而掩膜人眼神經(jīng)網(wǎng)絡(luò)則側(cè)重于學(xué)習(xí)局部特征，如眼睛輪廓的形狀、輪廓以及白色(眼區(qū))像素和黑色(非眼區(qū))像素的空間分布。鑒于其不同的結(jié)構(gòu)，彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)可以提取眼睛輪廓的不同特征。因此，本文將此兩個網(wǎng)絡(luò)并聯(lián)共同訓(xùn)練用于眼睛狀態(tài)分類。

1)彩色人眼神經(jīng)網(wǎng)絡(luò)。將大小為32×32的眼睛輪廓的彩色圖像作為輸入。本文對經(jīng)典LeNet-5架構(gòu)進(jìn)行改進(jìn)，使用了三個卷積層、三個最大池化層和兩個全連接層。同時在每個卷積層之后使用一個最大池化層減少特征圖的空間維度[12]，最終可減少網(wǎng)絡(luò)中的參數(shù)總數(shù)，防止過度擬合。彩色人眼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4(a)所示。

2)掩膜人眼神經(jīng)網(wǎng)絡(luò)。將大小為32×32的二值掩膜作為輸入。該模型結(jié)構(gòu)與彩色人眼神經(jīng)網(wǎng)絡(luò)類似，只是在兩個全連接層中的神經(jīng)元數(shù)量減少了一半。這樣做是為了減少過擬合，因為輸入的二進(jìn)制遮罩圖像只有一個顏色通道，與相應(yīng)的RGB眼罩相比，變化要小得多。因此，掩膜人眼神經(jīng)網(wǎng)絡(luò)的模型復(fù)雜度需要比彩色人眼神經(jīng)網(wǎng)絡(luò)低，以便在相同數(shù)量的數(shù)據(jù)上訓(xùn)練時學(xué)習(xí)相同質(zhì)量的辨別特征。對于進(jìn)入神經(jīng)元的來自上一層神經(jīng)網(wǎng)絡(luò)的輸入向量，使用線性整流激活函數(shù)的神經(jīng)元會輸出至下一層神經(jīng)元或作為整個神經(jīng)網(wǎng)絡(luò)的輸出。掩膜人眼神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如圖4(b)所示。

圖4 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)

3)雙卷積神經(jīng)網(wǎng)絡(luò)。上述彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)經(jīng)過單獨(dú)訓(xùn)練后，通過連接兩個神經(jīng)網(wǎng)絡(luò)對應(yīng)的頂部全連接層。在串聯(lián)層的基礎(chǔ)上增加一個全連接層和一個softmax函數(shù)，用于對閉眼和睜眼進(jìn)行分類。訓(xùn)練時，固定預(yù)先訓(xùn)練好的彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)的卷積層的權(quán)重值，并與聯(lián)合模型的連接層和全連接層一起重新訓(xùn)練其頂層[13]，同時定義綜合損失函數(shù)訓(xùn)練兩個網(wǎng)絡(luò)模型[14]。整個雙卷積神經(jīng)網(wǎng)絡(luò)的損失函數(shù)表示為

(1)

式中：Li和ψi分別是第i個模型的損失函數(shù)和調(diào)諧超參數(shù)權(quán)重。i=1代表彩色人眼神經(jīng)網(wǎng)絡(luò)；i=2代表掩膜人眼神經(jīng)網(wǎng)絡(luò)；i=3代表融合模型。參數(shù)ψ1、ψ2、ψ3根據(jù)經(jīng)驗分別設(shè)置為1、1和0.5。每個損失函數(shù)Li是交叉熵?fù)p失，其定義為

(2)

其中，

(3)

(4)

(5)

從圖5中可以看到雙卷積神經(jīng)網(wǎng)絡(luò)的三個softmax輸出在訓(xùn)練時計算損失函數(shù)，而在預(yù)判時只使用集成模型的softmax輸出。使用學(xué)習(xí)率為0.001的Adam優(yōu)化器[15]對雙卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行120次訓(xùn)練。本文采用丟棄正則化技術(shù)[16]，同時在每個卷積層之后使用一個最大池化層減少特征圖的空間維度[12]，最終減少網(wǎng)絡(luò)中的參數(shù)總數(shù)，防止過度擬合。

圖5 雙卷積神經(jīng)網(wǎng)絡(luò)模型架構(gòu)

1.4 眨眼檢測

從輸入的視頻流中，檢測每一幀的人的眼睛是睜開還是閉上。當(dāng)眼睛在閉上一定時間后再次睜開時，即定義檢測到了眨眼。人類平均眨眼時間范圍從100 ms～400 ms，對于一個30幀的相機(jī)，相當(dāng)于3～12幀。因此，可以通過眼睛在再次睜開前保持閉合的幀數(shù)來判斷是否眨眼。如果眼睛閉上的幀數(shù)超出了這個范圍，即認(rèn)定為無效眨眼。本文采用有限狀態(tài)機(jī)來模擬檢查真假眨眼。預(yù)先定義兩個參數(shù)，即眨眼下限 0.1 fps和眨眼上限 0.4 fps(fps為視頻攝像機(jī)的流媒體速率，單位是幀/s)，這是有限狀態(tài)機(jī)檢測一個真正的眨眼所需的最小和最大的幀數(shù)。同時設(shè)置“閉合幀計數(shù)器”，用于計算眼睛閉合的幀數(shù)初始值為0。有限狀態(tài)機(jī)初始狀態(tài)為0，最終狀態(tài)是狀態(tài)3。當(dāng)檢測到閉眼時，會出現(xiàn)以下狀態(tài)，如圖6所示。

圖6 有限狀態(tài)機(jī)檢測眨眼過程

1)有限狀態(tài)機(jī)從狀態(tài)0過渡到狀態(tài)1。在這個狀態(tài)下，每一幀的閉眼幀計數(shù)器都會遞增1。如果閉合幀計數(shù)器超過眨眼幀數(shù)上限，則檢測到一個無效眨眼，該狀態(tài)被重置為狀態(tài)0。閉合幀計數(shù)器也被重置為0。

2)當(dāng)檢測到睜眼時，有限狀態(tài)機(jī)從狀態(tài)1轉(zhuǎn)換到狀態(tài)2。如果閉合幀計數(shù)器小于較低的眨眼幀數(shù)，則檢測到無效眨眼，狀態(tài)被重置為狀態(tài)0。閉合幀計數(shù)器也被重置為0。

3)如果閉合幀計數(shù)器大于較低的眨眼幀數(shù)，有限狀態(tài)機(jī)從狀態(tài)2轉(zhuǎn)換到狀態(tài)3。檢測到一個真正的眨眼，狀態(tài)被重置為狀態(tài)0。閉合幀計數(shù)器也被重置為0。

2 實驗及結(jié)果分析

本文采用Blinks數(shù)據(jù)集來訓(xùn)練、驗證和測試眼睛狀態(tài)分類模型。從Blinks數(shù)據(jù)集中抽取1 408個閉眼幀和1 369個睜眼幀，其中，70%的數(shù)據(jù)用來訓(xùn)練，20%的數(shù)據(jù)用來驗證，10%的數(shù)據(jù)用來測試模型。在眨眼檢測中，本文采用ZJU[17]、Eyeblinks8[18]和Talking Face[19-20]數(shù)據(jù)集進(jìn)行檢測，精度和召回率兩個指標(biāo)作為評估指標(biāo)，得到比較結(jié)果。這三個數(shù)據(jù)集各有特點(diǎn)：1)ZJU 數(shù)據(jù)集由20個人的80個視頻組成，每個人都有正面視圖、向上視圖、戴眼鏡和不戴眼鏡4個片段，分辨率為320×240(30幀)，無面部表情，無頭部運(yùn)動。2)Eyeblink8數(shù)據(jù)集包含了面部表情、頭部運(yùn)動和低頭看鍵盤，分辨率為640×480，平均長度5 000～11 000幀，由70 992個視頻幀上的408個眨眼組成。3)Talking Face數(shù)據(jù)集采用顯式與隱式屬性的協(xié)同學(xué)習(xí)方法，形成具有個性化的頭部運(yùn)動軌跡，考慮到不同個體的運(yùn)動特點(diǎn)，可以預(yù)測其眨眼信息，同時也可以生成更加逼真包含眨眼信息的人臉視頻。

表1 雙卷積神經(jīng)網(wǎng)絡(luò)的眼位預(yù)測指標(biāo) %

2.1 眼部狀態(tài)分類實驗結(jié)果

本文采用標(biāo)準(zhǔn)指標(biāo)，如準(zhǔn)確率、精確度、召回率、F1得分、第一類錯誤率、第二類錯誤率和等效錯誤率(EER)來評估提出的雙卷積神經(jīng)網(wǎng)絡(luò)模型。圖7和為雙卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練、驗證精度和損失曲線。圖8～圖11所示的是精度-召回率和ROC曲線。表1列出在測試數(shù)據(jù)集上以眼睛為輸入的雙卷積神經(jīng)網(wǎng)絡(luò)的所有指標(biāo)值，表2列出以整個面部圖像為輸入的相同指標(biāo)。

圖7 雙卷積神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練和驗證準(zhǔn)確性與歷時的關(guān)系

圖8 眼睛層圖精度-召回率曲線

圖9 人臉層精度-召回率曲線

圖10 眼睛層ROC曲線

圖11 人臉層ROC曲線

表2 雙卷積神經(jīng)網(wǎng)絡(luò)的臉部水平預(yù)測指標(biāo) %

本文提出的雙卷積神經(jīng)網(wǎng)絡(luò)與單個彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)比較結(jié)果，以及本文算法與基于分割的模糊邏輯算法[21]、深度殘差CNN算法[22]、HOG-SVM算法[23]比較結(jié)果如表3所示?？梢钥闯觯疚奶岢龅碾p卷積神經(jīng)網(wǎng)絡(luò)模型在準(zhǔn)確度和等錯誤概率方面優(yōu)于其他基線模型，包括單個彩色人眼神經(jīng)網(wǎng)絡(luò)和掩膜人眼神經(jīng)網(wǎng)絡(luò)。

表3 普通圖像算法比較測試結(jié)果 %

為進(jìn)一步驗證雙卷積神經(jīng)網(wǎng)絡(luò)對于不同環(huán)境圖像的效果，本文又采用開放的近紅外眼睛圖像數(shù)據(jù)集[23]上對其進(jìn)行了測試，并與傳統(tǒng)算法比較，結(jié)果如表4所示?？梢钥闯觯梢噪p卷積神經(jīng)網(wǎng)絡(luò)等效錯誤率為1.18%，在近紅外數(shù)據(jù)集上優(yōu)于其他模型。

表4 近紅外圖像算法比較測試結(jié)果 %

2.2 眨眼檢測實驗結(jié)果

通過比較標(biāo)準(zhǔn)測試集ZJU、Eyeblink8和Talking face上檢測到的眨眼與真實眨眼比較眨眼檢測算法，評估指標(biāo)為精度和召回率，實驗結(jié)果如表5所示?？梢钥闯觯疚奶岢龅恼Ｑ蹤z測方法在精度和召回率方面優(yōu)于其他現(xiàn)有方法。

表5 算法比較測試結(jié)果 %

3 結(jié) 語

針對動態(tài)人群人眼狀態(tài)及定位問題，本文提出了一種基于并聯(lián)架構(gòu)的雙卷積神經(jīng)網(wǎng)絡(luò)模型。實驗表明，本文提出的算法模型復(fù)雜度低、運(yùn)算量小，對自然環(huán)境中光線、角度變化具有更好的魯棒性。其次，通過有限狀態(tài)機(jī)在人眼眨眼檢測的準(zhǔn)確度方面要優(yōu)于傳統(tǒng)的haar加adaboost級聯(lián)分類器。本文算法在實際中實現(xiàn)了27 幀/s的平均處理率，適用于對實時性要求較高的動態(tài)人眼目標(biāo)檢測場合。