紅外圖像的疲勞狀態(tài)識別方法

黃 斌，羅秋鳳，王海濤，顏 偉，宿海燕

(1.南京航空航天大學(xué) 自動化學(xué)院，南京 211016；2.山東煙臺通用照明有限公司，山東 煙臺 264006)

紅外圖像的疲勞狀態(tài)識別方法

黃 斌1，羅秋鳳1，王海濤1，顏 偉1，宿海燕2

(1.南京航空航天大學(xué) 自動化學(xué)院，南京 211016；2.山東煙臺通用照明有限公司，山東 煙臺 264006)

為了解決光照變化對疲勞檢測系統(tǒng)造成的識別準(zhǔn)確性不高的問題，提出了一種近紅外環(huán)境下判斷人眼狀態(tài)的方法，即針對紅外光補圖像的人眼狀態(tài)判斷；首先，利用Adaboost算法進(jìn)行人眼區(qū)域定位，在網(wǎng)格法標(biāo)記人眼瞳孔部分的基礎(chǔ)上，采用Retinex算法對紅外圖像進(jìn)行增強；接著，結(jié)合“亮瞳效應(yīng)”特性，對二值化以及邊緣檢測后的紅外圖像分別進(jìn)行網(wǎng)格法閉合度計算，得到人眼閉合度大小；最后，根據(jù)閉合度計算結(jié)果設(shè)定雙閾值并結(jié)合PERCLOS準(zhǔn)則來判斷人眼特征狀態(tài)；另外，在DM642硬件平臺上進(jìn)行疲勞檢測試驗，實驗結(jié)果表明，該方法的人眼狀態(tài)識別率達(dá)到了90%以上，且平均每秒能處理21幀圖片；證明了該方法不僅能有效解決光照變化帶來的問題，而且滿足疲勞狀態(tài)檢測系統(tǒng)的快速性、準(zhǔn)確性和有效性等要求。

疲勞檢測；紅外圖像；網(wǎng)格法；雙閾值；人眼狀態(tài)識別

0 引言

疲勞駕駛的危害巨大，據(jù)國外相關(guān)研究顯示，如果司機在交通事故將要發(fā)生前能夠提高0.5秒的反應(yīng)速度，就能遏制60%以上的交通事故[1]?；趫D像處理技術(shù)的疲勞檢測算法，重點是眼睛區(qū)域特征圖像分析技術(shù)，是防疲勞駕駛監(jiān)測的主要手段之一。目前，主要采用基于Haar特征的Adaboost算法定位人眼，通過分析人眼狀態(tài)結(jié)合PERCLOS標(biāo)準(zhǔn)來判斷疲勞駕駛行為是否發(fā)生[2-4]。

在實際運用環(huán)境中，困擾眼部狀態(tài)疲勞識別準(zhǔn)確率提高的兩大問題，一個是監(jiān)測時間段內(nèi)光照變化導(dǎo)致的計算精度不夠高的問題，如垂直積分投影法、Hough變換法和眼睛寬高比等，但這些方法都易受光照影響。另一個是監(jiān)測對象瞳孔周圍干擾較多或者頭部轉(zhuǎn)動導(dǎo)致狀態(tài)誤判的問題，如眼鏡邊框會干擾特征判斷。針對以上問題，提出了一種基于紅外圖像的快速眼睛狀態(tài)識別方法，利用近紅外圖像的3個特點：紅外圖像具有光照不變特性，彌補常規(guī)系統(tǒng)光照不足、光照變化的缺陷[5]；產(chǎn)生明亮的瞳孔效應(yīng)，突出瞳孔特征；紅外線對于駕駛員是不可視的，不會造成干擾。

1 方法設(shè)計

本文采用基于Haar特征的Adaboost算法進(jìn)行人眼區(qū)域的定位，對眼部瞳孔進(jìn)行網(wǎng)格標(biāo)記的基礎(chǔ)上進(jìn)行Retinex圖像增強，接著進(jìn)行人眼閉合度計算以及疲勞狀態(tài)的判斷，算法流程圖如圖1所示。

圖1 整體算法流程圖

1.1 Adaboost算法

Adaboost算法是一種分類器，從眾多的弱特征中訓(xùn)練出最能代表人眼特征的一部分弱特征，集成為強分類器，進(jìn)而形成級聯(lián)分類器。Adaboost 算法進(jìn)行人眼檢測主要利用的是人眼圖像的灰度分布與非人眼圖像不一樣這一特性，采用積分圖計算的Haar 特征，Haar 特征計算簡單，檢測速度快[6-7]。前期利用大小為35*16的紅外人眼圖像作為正樣本，進(jìn)行訓(xùn)練，得到19層分類器，加載到DSP中，Adaboost算法檢測到人眼，返回包含人眼的矩形框，檢測結(jié)果如圖2所示。

圖2 Adaboost算法檢測人眼示意圖

Adaboost算法得到矩形框的4個頂點A、B、C、D的位置坐標(biāo)(xLU,yLU)、(xRU,yRU)、(xLD,yLD)、(xRD,yRD)、寬W和高H，標(biāo)記網(wǎng)格利用的是人眼在矩形框中的幾何位置，人眼瞳孔在該矩形框中的分布如圖3(a)所示。

圖3 人眼瞳孔分布及網(wǎng)格標(biāo)記示意圖

對自然光下戴眼鏡、不帶眼鏡，近紅外光下戴眼鏡、不戴眼鏡4種情況，分別用網(wǎng)格法在灰度圖像中進(jìn)行標(biāo)記，實際標(biāo)記結(jié)果如圖4所示，其中(a)、(c)是自然光下的標(biāo)記結(jié)果，(b)、(d)是近紅外光下的標(biāo)記結(jié)果。選取三網(wǎng)格標(biāo)記的意義在閉合度計算時將進(jìn)一步說明。

圖4 網(wǎng)格定位示意圖

1.2 圖像增強

紅外圖像與自然光下的圖像有所區(qū)別，圖像處理的方式也有所區(qū)別。直接進(jìn)行對紅外圖像二值化等操作會使感興趣部分細(xì)節(jié)丟失，如圖5所示，在Matlab中分別對兩幅紅外圖像進(jìn)行二值化操作，二值化后的圖像無法體現(xiàn)原圖的眼部特征。

圖5 直接二值化圖

為有效提高紅外圖像質(zhì)量，方便后續(xù)進(jìn)一步處理，本文采用基于Retinex理論的圖像增強算法[8]。Retinex算法常用來對紅外圖像進(jìn)行增強，主要用于受照射光變化影響嚴(yán)重的圖像。Retinex理論模型如式5所示。

S(x,y)=R(x,y)·L(x,y)

(5)

對于圖像中任一像素點(x,y)，輸入圖像的灰度值S(x,y)由物體自身的反射系數(shù)R(x,y)與入射光照亮度L(x,y)相乘得到。L(x,y)是物體所處環(huán)境光照強度，它表征了圖像中的灰度值的動態(tài)范圍且對應(yīng)著圖像的低頻信息，而R(x,y)代表成像物體的細(xì)節(jié)及對光照的反射性質(zhì)，它包含圖像的高頻信息。先估計得到入射光L，而S是已知的，再通過式5求解得到反射部分R，也就得到了增強后的圖像。將Retinex模型轉(zhuǎn)換為對數(shù)形式可以將乘法變換為簡單的加減運算,求解R如式(6)所示。

r=lnR=lnS-lnL=s-l

(6)

對于入射光L的估計，Jobson[9]論證了高斯卷積函數(shù)可以從已知圖像中更好的估計出L，其可以表示為：

(7)

其中： *表示卷積操作，σ是尺度常數(shù)，σ越小，灰度動態(tài)范圍壓縮的越多，但反射圖像的數(shù)據(jù)越少；反之，σ越大，圖像銳化的程度越高，對應(yīng)的反射圖像數(shù)據(jù)越多[10]。

本文在Matlab中驗證了該方法的可行性，如圖6所示，其中圖(a)為原圖與增強后圖像的比較，圖(b)為原圖二值化與增強后二值化圖像的比較，圖(c)為原圖直方圖與增強后圖像直方圖的對比。

圖6 Retinex算法增強示意圖

同時，在DM642硬件平臺上進(jìn)行了驗證，選取不同對眼部紅外圖像進(jìn)行增強的結(jié)果如圖7所示。

圖7 DSP中不同增強示意圖

從圖6、7可以發(fā)現(xiàn)，合適對應(yīng)的高斯濾波器的SSR(Single Scale Retinex)算法能有效地增強紅外圖像，不僅使對比度得到了顯著增強，且增強了目標(biāo)圖像的細(xì)節(jié)，為人眼閉合度計算帶來方便。

此外，在光照環(huán)境差別較大時，該方法也能得到較好的效果，如圖8所示。

圖8 不同光照處理結(jié)果

1.3 閉合度計算

人眼對不同波長的紅外光反射量程度不同，在850nm波長時，視網(wǎng)膜能夠反射90%的入射光，在950nm時，視網(wǎng)膜只能反射40%的入射光，而在880±80 nm范圍內(nèi)，人臉的其他部分對于紅外的反射程度卻基本一致。因此對于850nm的近紅外光，經(jīng)視網(wǎng)膜成像并反射，會被CCD 攝像頭接收到，會形成帶有“亮瞳效應(yīng)”[10-11]的視頻幀。利用“亮瞳效應(yīng)”，在增強后的圖像中進(jìn)行人眼閉合程度的計算，其流程如圖9所示。

圖9 閉合度計算流程圖

1.3.1 二值化

為了明顯區(qū)分瞳孔區(qū)域和非瞳孔區(qū)域，充分利用亮瞳效應(yīng)，對網(wǎng)格中各像素點進(jìn)行二值化，如式(8)所示。

(8)

閾值Tsplit的選取是利用OTSU大津法，使用的是聚類的思想，把圖像的灰度數(shù)按灰度級分成兩部分，使得兩個部分之間的灰度值差異最大，每個部分之間的灰度差異最小，通過方差的計算來尋找一個合適的灰度級別來劃分，并自動選取最佳閾值[13]。

眼部區(qū)域經(jīng)過OTSU二值化的圖像如圖10所示，(a)、(b)、(c)依次為睜眼、半睜、閉眼狀態(tài)。為了提高檢測系統(tǒng)的實時性，僅僅對網(wǎng)格內(nèi)的像素點進(jìn)行二值化，減少運算量。

圖10 OTSU二值化圖

1.3.2 Sobel邊緣檢測

實際情況中，當(dāng)眼睛閉合時，由于睫毛與眼瞼的影響，二值化后的眼部區(qū)域存在干擾像素點，如圖9(b)(c)所示，兩者二值化后黑色像素點個數(shù)接近。由于Sobel邊緣檢測在紅外光產(chǎn)生亮瞳效應(yīng)的情況下，邊緣特征提取效果較好，同時凸顯了瞳孔部分，能夠彌補二值化的不足，如圖10所示。

Sobel算子采用了兩個3*3卷積核卷積形成邊緣檢測算子，取中心點周圍的八領(lǐng)域的像素[13]。用Sobel算子和圖像的灰度矩陣做卷積，可以得到橫向和縱向邊緣檢測的圖像灰度值，如式(9)、(10)所示。

(9)

(10)

其中:Gx為橫向邊緣檢測的圖像灰度值矩陣，Gy為縱向邊緣檢測的圖像灰度值矩陣。

接著，可以得到該中心像素點的灰度梯度G，如式(11)所示。為了提高實際在DSP中的運算速度，可以將式(13)簡化為式(12)。

(11)

G=|Gx|+|Gy|

(12)

通過基本全局門限判定的方法可以判斷該點是否為邊緣點，即當(dāng)圖像中(i,j)像素點G(i,j)大于或等于設(shè)定門限T時，規(guī)定該點的像素值為0，反之則為255，如式(13)所示。其中，本文設(shè)定的門限值T=130。

(13)

利用Sobel算子對紅外圖像進(jìn)行邊緣檢測后的邊緣圖像如圖11(a)(b)(c)所示，其中(a)為睜眼狀態(tài)，(b)為半睜眼狀態(tài)，(c)為閉眼狀態(tài)。

圖11 Sobel邊緣二值化示意圖

1.3.3 人眼閉合度計算

分別對二值化、邊緣檢測后的圖像進(jìn)行閉合度計算，得出Ⅰ、Ⅱ、Ⅲ三個區(qū)域像素值與眼睛閉合程度△的數(shù)學(xué)關(guān)系式。由于駕駛過程中由于頭部的晃動以及眼神的漂移等因素，會引起瞳孔相對網(wǎng)格位置的變化，瞳孔并不完全在Ⅱ區(qū)域內(nèi)，如圖12所示。

圖12 頭部轉(zhuǎn)動檢測示意圖

分析眼神左右漂移產(chǎn)生瞳孔位置的左右偏向?qū)ζ蜞徲虻幕叶扔绊懀芒?、Ⅱ區(qū)灰度面積與Ⅲ區(qū)域面積差、Ⅲ、Ⅱ區(qū)灰度面積與Ⅰ區(qū)域面積差的最大值來表征瞳孔閉合度△。如式(14)所示：

△=max(|3∑fI-∑fII,III|,|3∑fIII-∑fI,II|)

(14)

其中:∑f表示該區(qū)域內(nèi)像素點灰度之和，|3∑fI-∑fII,III|對應(yīng)眼神向右漂移的△，而|3∑fI-∑fII,III|則對應(yīng)眼神向左漂移的△。從式(14)可以發(fā)現(xiàn)，計算表達(dá)式依然適用于眼神不存在漂移的情況。

從式(14)可以得出：△與眼睛睜開程度滿足非線性遞增關(guān)系，睜開時的△比較大；閉合時的△幾乎為0。因此可以根據(jù)△可以判斷眼睛的閉合程度，分別設(shè)定閾值T1、T2，其中T1對應(yīng)二值化后人眼閉合時△的門限值，T2對應(yīng)邊緣檢測后人眼閉合時△的門限值，采用雙閾值判定人眼的狀態(tài)。

選取三網(wǎng)格的目的在于：在實際應(yīng)用過程中，由于頭部晃動、眼神漂移、配戴眼鏡，引起網(wǎng)格標(biāo)記位置的偏差，導(dǎo)致網(wǎng)格內(nèi)包含眼鏡邊框、眉毛等“外部”黑色像素點，而三網(wǎng)格的選取能有效地削弱這些像素點影響，提高了檢測系統(tǒng)的魯棒性。如圖4(a)所示，網(wǎng)格內(nèi)包含了眼鏡的邊框，如式14所示，網(wǎng)格之間的計算，抵消了外部像素點的影響。

1.4 疲勞判斷

利用上述算法能夠快速準(zhǔn)確的判斷人眼的狀態(tài)，并通過PERCLOS原理中的P80準(zhǔn)則[3,14]進(jìn)行疲勞判斷，即眼瞼遮住瞳孔的面積超過80%就計為眼睛閉合，統(tǒng)計在一定時間內(nèi)眼睛閉合時所占的時間比例，就能進(jìn)一步判斷人眼是否處于疲勞狀態(tài)。

2 實驗及結(jié)果分析

實驗采用DM642芯片，主頻為720 MHz，選用的定時器頻率為主頻的1/8。實驗對視頻幀圖像進(jìn)行疲勞狀態(tài)的識別，對系統(tǒng)輸出的4:2:2YCbCr格式的Y分量進(jìn)行處理，選取的人眼分類器大小為35*16，共19層級聯(lián)分類器，實驗系統(tǒng)硬件框圖如圖13所示，紅外CCD攝像頭采集的圖像大小為576*720。

圖13 實驗系統(tǒng)硬件框圖

首先，驗證了整體算法的流程的識別率和效率，對6個不同對象進(jìn)行了“網(wǎng)格法”定位，驗證了其有效性，定位結(jié)果如圖14所示。

圖14 不同對象網(wǎng)格法定位結(jié)果

可以發(fā)現(xiàn)，被測對象的瞳孔均在網(wǎng)格內(nèi)，并且滿足閉合度計算的條件，可以成功進(jìn)行人眼狀態(tài)的判斷。

同時計算算法消耗的時間，具體時間花費如表1所示；接著，選取了六個被測者的視頻幀，即共包括800幀閉眼狀態(tài)和800幀睜眼狀態(tài)視頻，比較了其他疲勞檢測算法的識別率，分別采用不同的方法，對視頻圖像進(jìn)行識別，結(jié)果如表2所示。

表1 各部分算法時間花費

從表1可以發(fā)現(xiàn)，各個部分的運行速度相對較快，除了Retinex算法中包含對數(shù)運算以及高斯濾波等，時間花費相對較多，總的檢測速度依然能達(dá)到21幀/s，滿足實時性要求。從表2可以發(fā)現(xiàn)，相對于積分投影法，本文的方法具有明顯的優(yōu)勢；相對于計算量較大的模板匹配法，本文方法的睜眼檢測效果存在不足，但總的誤判率低于模板匹配法，更具可行性。

表2 其他檢測算法識別率比較

3 總結(jié)

本文討論了基于紅外圖像的人眼疲勞狀態(tài)快速識別方法，針對傳統(tǒng)的基于Adaboost檢測算法的不足進(jìn)行了改進(jìn)，利用Retinex算法對紅外圖像進(jìn)行增強，提出了網(wǎng)格計算法來表征人眼閉合度，通過雙判據(jù)結(jié)合PERCLOS判斷人眼狀態(tài)，提高了整個系統(tǒng)的魯棒性和準(zhǔn)確性。實驗表明，該方法在DM642開發(fā)板上具有可行性，對大小576*720的視頻幀，以21幀/秒的速度完成人眼的實時檢測，同時正確率在90%以上，在疲勞檢測領(lǐng)域具有較高的實用性和商業(yè)價值。未來可以進(jìn)一步優(yōu)化Retinex算法，實現(xiàn)尺度自適應(yīng)的同時，減少時間消耗；可以進(jìn)一步優(yōu)化檢測系統(tǒng)，解決眼鏡反光帶來的檢測問題。

[1] S.A.Nobe, F.Y.Wang. An overview of recent developments in automated lateral and longitudinal vehicle controls[A].IEEE International Conference on SMC[C].2001:3447-3452.

[2] 朱振華,吳曉娟,王 磊等.基于眨眼持續(xù)時間的司機疲勞監(jiān)測方法[J].計算機工程,2008,34 (5):201-206.

[3] 陳守明.駕駛員疲勞檢測中人眼定位方法的研究[D].長沙：中南大學(xué),2010.

[4] 蘇起揚, 婁 震. 一種疲勞駕駛檢測系統(tǒng)中快速人眼檢測方法[J]. 現(xiàn)代電子技術(shù), 2015(4): 87-90.

[5] 王 力. 基于紅外圖象的駕駛員疲勞檢測研究[D]. 長沙：中南大學(xué), 2008.

[6] 龍伶敏. 基于Adaboost的人臉檢測方法及眼睛定位算法[D]. 成都：電子科技大學(xué),2008.

[7] 陳秋玲. 基于Adaboost算法的人臉檢測研究[D]. 武漢：武漢理工大學(xué), 2012.

[8] 陳 亮. 一種快速的基于自適應(yīng)尺度Retinex的圖像增強算法[J].紅外與激光工程,2010,39(S):522-525.

[9] Jobson D J. Rahman Z. Woodell G.A. Properties and performance of a center/surround Retinex [J]. IEEE Trans on Image Processing. 1997. 6(7):451-462.

[10] 趙 文, 張 意, 張衛(wèi)華,等. 基于紅外圖像的眼睛開閉檢測方法[J]. 計算機工程與設(shè)計, 2015(2): 436-440.

[11] 郭克友, 張廣淵. 一種紅外圖像條件下的駕駛?cè)搜劬Χㄎ凰惴╗J]. 計算機工程與應(yīng)用, 2008(15):170-172.

[12] Stan Z Li.Illumination invariant face recognition using near-in-frared Images [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence,2007:627-639.

[13] 趙小強,李大湘,白本督.DSP原理及圖像處理應(yīng)用[M].北京:人民郵電出版社,2013.

[14] Lai S K L, Craig A, Boord P, et al. Development of an Algorithm for an EEG-based Driver Fatigue Countermeasure[J]. Journal of Safety Research, 2002, 34:321-328.

Detection Method for Fatigue State Recognition of Infrared Images

Huang Bin1, Luo Qiufeng1, Wang Haitao1, Yan Wei1, Su Haiyan2

(1.College of Automation Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 211016,China;2.Yantai General Lighting Co., Ltd., Yantai 264006,China)

In order to solve the problems of low accuracy caused by light changes in fatigue detection system, a method is proposed to judge the state of eyes in near infrared environment. i.e., it is a detection method for eyes state recognition of infrared images. First of all, it uses the grid method to mark eye's pupil and uses Retinex algorithm to enhance the infrared image based on the human eyes region located by Adaboost algorithm. Then, a grid method is adopted to calculate the closure of eyes after binaryzation and edge detection respective, which is related to bright pupil effect. Finally, the state of eyes is determined by setting the dual-threshold based on the results of the closure of eyes, which is combined with PERCLOS. Besides, The tests on the hardware platform of DM642 shows that the human eyes recognition rate is more than 90%, and the average processing speed is 21 images per second. It has proved that the method can not only solve the problems caused by light changes, but also meet the requirement of rapidity, accuracy and validity of the fatigue detection system.

fatigue detection; infrared image; grid method; dual-threshold; eyes state recognition

2016-08-17；

2016-09-22。

煙臺開發(fā)區(qū)科技發(fā)展計劃項目(201416)；江蘇省重點研發(fā)(社會發(fā)展)項目(BE2015725)；國家質(zhì)量監(jiān)督檢驗檢疫局公益性行業(yè)科研專項(2015424068)。

黃 斌(1992-)，男，碩士，主要從事圖像處理與模式識別方向的研究。

王海濤(1968-)，男，江蘇溧陽人，教授，博士研究生導(dǎo)師，主要從事電磁、超聲、激光超聲檢測技術(shù)、無損檢測技術(shù)方向的研究。

1671-4598(2017)07-0230-05

10.16526/j.cnki.11-4762/tp.2017.07.057

TP216

A