應(yīng)用于駕駛疲勞監(jiān)測(cè)的人眼定位與狀態(tài)分析

張 華，楊 帆，潘國(guó)鋒，孔 哲

(1.河北工業(yè)大學(xué)，信息工程學(xué)院，天津300401;2.中國(guó)人民解放軍93716部隊(duì)，天津301716)

因長(zhǎng)時(shí)間駕駛等原因引起的駕駛疲勞已經(jīng)成為導(dǎo)致交通事故的重要原因之一［1］。由于人眼的某些行為能夠準(zhǔn)確地反映駕駛員所處的精神狀況，基于人眼狀態(tài)的駕駛疲勞監(jiān)測(cè)，已成為駕駛疲勞監(jiān)測(cè)系統(tǒng)研究中的熱點(diǎn)方向，其核心內(nèi)容是在連續(xù)視頻序列中準(zhǔn)確、快速地確定人眼位置并分析眼睛狀態(tài)［2］。

目前，疲勞監(jiān)測(cè)中的眼睛定位及狀態(tài)分析方法主要分為紅外圖像和可見(jiàn)光圖像兩類。紅外圖像方法需要特殊的光源照射，而且閉眼狀態(tài)下在紅外圖像中定位眼睛困難，基于可見(jiàn)光圖像的疲勞監(jiān)測(cè)具有廣闊的前景［3］。例如，文獻(xiàn)［4］根據(jù)膚色模型分割出膚色區(qū)域，并利用形態(tài)學(xué)方法及復(fù)雜度函數(shù)實(shí)現(xiàn)眼睛定位，最后利用眼睛顏色及結(jié)構(gòu)特征實(shí)現(xiàn)眼睛狀態(tài)分析，該方法定位準(zhǔn)確、可度量不同人眼睜開(kāi)高度;為提高算法速度，文獻(xiàn)［5］采用灰度視頻圖像的地形特征進(jìn)行眼睛精確定位，然后利用SVM方法將眼睛識(shí)別為睜開(kāi)、閉合兩種狀態(tài);文獻(xiàn)［6］通過(guò)訓(xùn)練好的SVM分類器在二值化人臉圖像中定位人眼，并通過(guò)粒子濾波器進(jìn)行跟蹤，最后利用模版匹配法判斷眼睛睜閉狀態(tài)。然而駕駛室外部環(huán)境復(fù)雜多變，受其影響臉部光照隨機(jī)、快速多變，偏光、側(cè)光、陰影等均給基于機(jī)器視覺(jué)的人眼定位制造了困難;另一方面，人類在清醒狀態(tài)下每次眨眼時(shí)間只有200 ms［7］，疲勞監(jiān)測(cè)對(duì)算法實(shí)時(shí)性要求極高。傳統(tǒng)算法很難在可靠性及實(shí)時(shí)性兩方面同時(shí)滿足疲勞監(jiān)測(cè)系統(tǒng)。

提出一種應(yīng)用于實(shí)際駕駛環(huán)境中的快速人眼定位與狀態(tài)分析算法，該算法以Adaboost分類器檢測(cè)人臉為基礎(chǔ)，分析了實(shí)際駕駛室環(huán)境中人臉光照特點(diǎn)，給出了圖像自商融合方法克服光照影響;采用自適應(yīng)局部閾值方法二值化人眼區(qū)域自熵圖，通過(guò)圖像矩特征及目標(biāo)上下文信息，實(shí)現(xiàn)了眼睛定位及狀態(tài)分析。本文算法定位準(zhǔn)確率高、實(shí)時(shí)性好，適用于駕駛員疲勞監(jiān)測(cè)。

1 算法描述

1.1 人臉檢測(cè)

駕駛室環(huán)境及光照復(fù)雜，在視頻圖像中直接定位人眼難度大，因此在定位人臉基礎(chǔ)上進(jìn)行人眼檢測(cè)。司機(jī)人臉圖像是視頻圖像的主體，且人臉傾斜角度和尺寸變化較小，故采用基于Adaboost的人臉檢測(cè)算法［8］定位人臉，該算法是目前正確率比較高的算法。

1.2 圖像自商融合

駕駛員面部光照是影響人眼定位的主要因素，為了提高算法可靠性，本文對(duì)檢測(cè)到的人臉圖像進(jìn)行預(yù)處理。眼睛內(nèi)部由虹膜及鞏膜組成，灰度值呈高—低—高的分布;而受光照影響的人臉，在局部區(qū)域內(nèi)的灰度分布為高—低或低—高的某種單一形式。因此利用算子的灰度分布方向選擇性及結(jié)構(gòu)元素的膨脹方向性，可以增強(qiáng)眼部灰度特征，抑制光照影響。根據(jù)上述分析，定義一種圖像自商融合方法

式中:If為自商融合結(jié)果;I為原始人臉圖像;F1，F(xiàn)2為水平相反方向的2個(gè)濾波核;S1，S2為水平相反方向的2個(gè)膨脹元素。圖1為實(shí)際駕車環(huán)境中的原始圖像及自商融合結(jié)果，可以看出，自商融合圖能夠克服光照影響，突顯眼睛灰度特征，這對(duì)后續(xù)人眼定位具有重要意義。

圖1 圖像自商融合

1.3 人眼區(qū)域劃分及目標(biāo)區(qū)域提取

基于整個(gè)人臉定位眼睛增加算法耗時(shí)?；叶韧队笆悄槻刻卣鞫ㄎ活I(lǐng)域的經(jīng)典算法，其優(yōu)點(diǎn)是方法簡(jiǎn)單、定位快速。因此筆者采用投影算法快速分割出人眼區(qū)域，為后續(xù)處理縮小數(shù)據(jù)量。水平積分投影函數(shù)為

式中:Sh(y)為水平行投影曲線;If由式(1)得出。設(shè)曲線波峰位置為yc，以yc為中心在曲線中分別向上、下尋找到的曲線均值位置分別為yup和ydow。yup和ydow基本為眼睛上邊沿及下邊沿，考慮到閉眼狀態(tài)yup與ydow十分接近，定義下面規(guī)則確定人眼區(qū)域的上下邊界

式中:BLup和BLdow分別為人眼的上、下邊界位置;l為根據(jù)人臉“三庭五眼”規(guī)則確定的常數(shù)。圖2為劃分結(jié)果示意，上下邊界用白線表示，準(zhǔn)確包含了眼睛，并排除了大部分眉毛。

圖2 人眼區(qū)域劃分

人眼區(qū)域中，虹膜灰度值低于周邊區(qū)域。為增加算法對(duì)光照的適應(yīng)性，采用Bernsen局部自適應(yīng)閾值法對(duì)人眼區(qū)域二值化，提取眼睛目標(biāo)區(qū)域。其中Bernsen窗口根據(jù)人眼區(qū)域大小動(dòng)態(tài)設(shè)置。

當(dāng)駕駛員佩戴眼鏡時(shí)，鼻梁兩側(cè)區(qū)域容易和人眼區(qū)域粘連，這是二值化方法提取候選區(qū)域的主要問(wèn)題。采用復(fù)雜度或SSIM特征區(qū)分出干擾區(qū)域，算法復(fù)雜、計(jì)算特征的區(qū)域大小不易確定，而且閉眼狀態(tài)很容易漏檢人眼。眼瞼存在明顯眼睛輪廓特征，上下眼瞼在豎直方向存在明顯的灰度變化。本文通過(guò)檢測(cè)眼瞼邊緣并計(jì)算其外接矩形的方法解決粘連問(wèn)題，整個(gè)眼睛候選區(qū)域提取流程如圖3所示。圖4給出了眼睛候選區(qū)域提取結(jié)果，眼瞼特征很好地解決了粘連的問(wèn)題。

圖3 眼睛候選區(qū)域提取流程

圖4 眼睛候選區(qū)域(截圖)

1.4 基于圖像矩與上下文信息的眼睛區(qū)域?qū)?yōu)

由于眼鏡、眉毛及人臉邊緣的存在，候選區(qū)域中存在部分干擾區(qū)域，本節(jié)從圖像矩特征及上下文信息兩方面分析候選區(qū)域，達(dá)到排除干擾，確定眼睛區(qū)域的目的。

圖像矩可以描述圖像的不同特性，一階矩表示目標(biāo)的質(zhì)心，二階矩表示目標(biāo)的大小和方向。定義N×M的灰度圖像f(x，y)的二維(p+q)階規(guī)則矩mp，q為

為獲得平移無(wú)關(guān)性，圖像中心距定義為

以圖4中候選區(qū)域?yàn)槔?，圖5給出了候選區(qū)域的橢圓描述結(jié)果及橢圓參數(shù)統(tǒng)計(jì)結(jié)果。圖5b中右側(cè)y軸為參數(shù)θ，左側(cè)y軸為參數(shù)a和b，x軸為候選區(qū)域號(hào)。正常情況下，駕駛員頭部?jī)A斜角度在10°以內(nèi);眼睛長(zhǎng)度、寬度滿足“三庭五眼”規(guī)則。據(jù)此，通過(guò)人眼區(qū)域劃分情況，自適應(yīng)設(shè)定a，b及θ范圍，從候選區(qū)域中篩選出人眼區(qū)域。圖5中區(qū)域16及區(qū)域19為左右人眼區(qū)域。

圖5 橢圓描述及眼睛判定

駕駛員佩戴眼鏡時(shí)，在閉眼狀態(tài)下，眼睛區(qū)域的參數(shù)與眼睛上方的鏡框邊緣區(qū)域及部分眉毛區(qū)域的參數(shù)相近，無(wú)法通過(guò)限定a，b及θ范圍排除這部分干擾區(qū)域。目標(biāo)上下文是指場(chǎng)景中目標(biāo)與其他物體的位置關(guān)系［9］，閉眼時(shí)存在的干擾區(qū)域位于人眼區(qū)域上方，因此可通過(guò)目標(biāo)上下文信息進(jìn)一步篩選目標(biāo)。

用矩形表示干擾區(qū)域，用圓角矩形表示目標(biāo)眼睛區(qū)域，用一階矩質(zhì)心表示區(qū)域的位置。按“首先y軸方向由大到小，其次x軸方向由大到小”的規(guī)則排列各候選區(qū)域，那么目標(biāo)區(qū)域與干擾區(qū)域存在以下3種位置關(guān)系:1)頭部?jī)A斜角度較小時(shí)，兩個(gè)眼睛同時(shí)低于眉毛區(qū)域;2)頭部向右側(cè)傾斜一定角度后，左眼區(qū)域高于右側(cè)眉毛;3)頭部向左側(cè)傾斜一定角度后，右眼區(qū)域高于左側(cè)眉毛。圖6給出了3種位置關(guān)系及區(qū)域排列順序。通過(guò)分析可得出下列結(jié)論:當(dāng)區(qū)域1與區(qū)域3的中心y軸距離小于區(qū)域1與區(qū)域2的中心x軸距離時(shí)，區(qū)域1和2為目標(biāo)區(qū)域;否則區(qū)域1和3為目標(biāo)區(qū)域。

圖6 上下文眼睛位置分析

1.5 眼睛狀態(tài)分析

目前基于眼部行為的疲勞判斷指標(biāo)主要有:采樣時(shí)間段內(nèi)的眨眼頻率、總閉眼持續(xù)時(shí)間、眨眼時(shí)間均值和PERCLOS值［7，10］，且各指標(biāo)間具有互補(bǔ)性。圖7為 PERCLOS指標(biāo)原理示意，t1，t2，t3分別為3次眨眼過(guò)程中瞳孔縱向張開(kāi)低于20%的時(shí)間，PERCLOS值即為采樣時(shí)段內(nèi)，瞳孔被遮住80%以上的時(shí)間占采樣時(shí)間的比例。PERCLOS值及其他三種指標(biāo)都是在線統(tǒng)計(jì)監(jiān)測(cè)類指標(biāo)，因此可使用人眼橢圓參數(shù)短軸a來(lái)表征瞳孔縱向開(kāi)合高度，只要算法能在一個(gè)眨眼過(guò)程多次采樣眼瞼位置即可。

圖7 PERCLOS疲勞判定指標(biāo)原理示意圖

1.6 目標(biāo)跟蹤

行車中駕駛員頭部不會(huì)大范圍移動(dòng)，為提高實(shí)時(shí)性及可靠性，幀處理時(shí)充分利用幀間有效信息。進(jìn)行人臉檢測(cè)時(shí)，根據(jù)前k幀中人臉位置信息設(shè)定當(dāng)前幀的ROI，提高檢測(cè)速度及檢測(cè)魯棒性;人眼區(qū)域劃分時(shí)，根據(jù)前一幀眼睛位置信息設(shè)定當(dāng)前幀的ROI，只在局部進(jìn)行人眼區(qū)域劃分，不但提高處理速度而且能克服大部分臉部光照的影響;在克服區(qū)域粘連問(wèn)題時(shí)，進(jìn)行最多N次的區(qū)域形態(tài)學(xué)腐蝕。此跟蹤方法建立在單幀定位精確基礎(chǔ)上，方法簡(jiǎn)單易行?？偨Y(jié)幀處理過(guò)程及目標(biāo)跟蹤方法，本文算法流程圖如圖8所示。

2 實(shí)驗(yàn)與分析

本文算法在M480 2.67 GHz CPU，2.00 Gbyte RAM 的PC機(jī)上，采用VC++2008編程實(shí)現(xiàn)。視頻采集設(shè)備采用USB CMOS攝像頭(幀速率30 f/s、幀規(guī)則480×360)，并將攝像頭固定于駕駛室內(nèi)前方玻璃上。實(shí)驗(yàn)中采用實(shí)時(shí)監(jiān)測(cè)、脫機(jī)監(jiān)測(cè)兩種方法測(cè)試算法性能，分4個(gè)時(shí)段行車及停車模擬測(cè)試。圖9為實(shí)驗(yàn)中眼部定位結(jié)果示意，算法可以定位不同狀態(tài)下的人眼并確定睜眼高度;眼部矩形框?yàn)檠劬ξ恢?，矩形高度表征眼睛睜開(kāi)高度。

圖8 算法流程

圖9 部分駕車實(shí)驗(yàn)結(jié)果

2.1 眼睛定位正確率分析

為能準(zhǔn)確地分析眼睛定位正確率，采用脫機(jī)監(jiān)測(cè)方法。脫機(jī)監(jiān)測(cè)是對(duì)駕駛視頻的事后監(jiān)測(cè)，算法可以撲捉視頻序列中的每一幀。眼睛定位正確率用正確定位眼睛的幀數(shù)占總幀數(shù)的百分比表示，正確定位眼睛定義為正確定位單眼或雙眼且無(wú)誤定位現(xiàn)象。在駕駛視頻中分時(shí)段截取4組共10 000幀視頻，并結(jié)合Virtual Dub軟件進(jìn)行分析。

表1為定位結(jié)果統(tǒng)計(jì)，定位正確共9 834幀，定位失敗共166幀。其中“無(wú)人臉”60幀，主要由大角度側(cè)頭導(dǎo)致的Adaboost人臉檢測(cè)失敗造成。組別3和4定位正確率相對(duì)較低，原因是2個(gè)時(shí)段內(nèi)的低角度光照造成臉部側(cè)光，側(cè)光導(dǎo)致定位失敗且造成單眼成功定位現(xiàn)象?？傮w看，算法能夠定位任意睜開(kāi)高度下的人眼，對(duì)光照具有較強(qiáng)適應(yīng)能力，平均定位正確率達(dá)到98.34%。

表1 眼睛定位結(jié)果統(tǒng)計(jì)

2.2 算法實(shí)時(shí)性分析

實(shí)際應(yīng)用中需采用實(shí)時(shí)監(jiān)測(cè)方法監(jiān)測(cè)人眼狀態(tài)，此時(shí)監(jiān)測(cè)速度由算法單幀處理時(shí)間決定。人類約3 s眨眼1次，眨眼時(shí)間大約為200 ms［7］。若算法單幀處理時(shí)間不能明顯小于200 ms，算法將漏采集大部分閉眼過(guò)程，無(wú)法保留眼瞼位置的關(guān)鍵信息。算法實(shí)時(shí)性直接影響PERCLOS等指標(biāo)的有效性。

實(shí)時(shí)監(jiān)測(cè)中，算法平均處理速度為28 f/s，在眨眼過(guò)程可采集6幀圖像并實(shí)現(xiàn)眼睛狀態(tài)分析，遠(yuǎn)高于文獻(xiàn)［12］提出的13 f/s的標(biāo)準(zhǔn)。圖10為停車狀態(tài)下模擬疲勞狀態(tài)的一段實(shí)時(shí)監(jiān)測(cè)視頻序列的人眼狀態(tài)檢測(cè)結(jié)果。前600幀為快速眨眼清醒狀態(tài);大概從600幀開(kāi)始，眨眼時(shí)間變長(zhǎng)，眨眼頻率下降，出現(xiàn)疲勞狀態(tài);大概到1 140幀位置出現(xiàn)瞌睡狀態(tài)。從數(shù)據(jù)曲線的起伏變化看出，算法28 f/s的處理速度能夠正確跟蹤每次眨眼過(guò)程，人眼高度隨時(shí)間的變化能夠準(zhǔn)確描述駕駛狀態(tài)。

圖10 眼睛狀態(tài)檢測(cè)結(jié)果

2.3 駕駛員疲勞測(cè)試

本測(cè)試采用眨眼時(shí)間均值及PERCLOS疲勞判斷指標(biāo)，其指標(biāo)閾值及在線采樣時(shí)間參考文獻(xiàn)［11－12］，如表2所示?？紤]安全問(wèn)題，對(duì)副駕駛員進(jìn)行疲勞測(cè)試，準(zhǔn)許副駕駛員進(jìn)入瞌睡狀態(tài)。同時(shí)引入主觀監(jiān)測(cè)技術(shù)，記錄駕駛員狀態(tài)并給出評(píng)價(jià)。從連續(xù)5 h的2名測(cè)試者駕駛實(shí)驗(yàn)來(lái)看，本文算法應(yīng)用于2種指標(biāo)可以有效地進(jìn)行疲勞預(yù)警;由于算法高達(dá)28 f/s采樣速率及60 s的采樣時(shí)間，使單幀圖像眼睛定位失敗及眼睛狀態(tài)的誤判對(duì)預(yù)警有效性影響很小，疲勞監(jiān)測(cè)受光照影響小，提升了預(yù)警正確率。

表2 疲勞指標(biāo)閾值及采樣時(shí)間

3 結(jié)論

針對(duì)駕駛員疲勞監(jiān)測(cè)中實(shí)時(shí)性與可靠性兩個(gè)關(guān)鍵問(wèn)題，提出了一種快速、精確的駕駛員眼睛定位及狀態(tài)判定算法。通過(guò)一種圖像自商融合方法，增強(qiáng)了算法對(duì)駕駛室光照的適應(yīng)能力;采用投影方法劃分人眼區(qū)域，并利用幀間信息縮小檢測(cè)區(qū)域，減小了數(shù)據(jù)量、提高了算法速度;采用眼瞼特征解決了區(qū)域粘連問(wèn)題，并通過(guò)圖像矩特征及上下文信息實(shí)現(xiàn)了眼睛的定位。不同光照條件下的多種駕車實(shí)驗(yàn)表明，定位準(zhǔn)確率達(dá)到98.34%，算法處理速度高達(dá)到28 f/s，算法對(duì)光照魯棒性強(qiáng)，完全滿足疲勞監(jiān)測(cè)系統(tǒng)要求;結(jié)合PERCLOS及眨眼時(shí)間均值兩個(gè)指標(biāo)進(jìn)行疲勞監(jiān)測(cè)，應(yīng)用該算法的疲勞監(jiān)測(cè)受光照影響小、預(yù)警正確率高，本文算法實(shí)用價(jià)值很高。

［1］楊海燕，蔣新華，聶作先.駕駛員疲勞檢測(cè)技術(shù)研究綜述［J］.計(jì)算機(jī)應(yīng)用研究，2010，27(5):1621－1624.

［2］葛如海，陳彥博，劉志強(qiáng).基于計(jì)算機(jī)視覺(jué)的駕駛員疲勞識(shí)別方法的研究［J］.中國(guó)安全科學(xué)學(xué)報(bào)，2006，16(9):134－138.

［3］隋博，趙永勝.基于視覺(jué)的可靠性疲勞駕駛檢測(cè)技術(shù)研究［J］.電視技術(shù)，2011，35(15):9－12.

［4］朱淑亮，王增才，王樹(shù)梁，等.頭部多角度的眼睛定位與狀態(tài)分析［J］.重慶大學(xué)學(xué)報(bào)，2010，33(11):20－26.

［5］劉鵬，江朝暉，熊進(jìn)，等.用于駕駛疲勞檢測(cè)的人眼定位及疲勞判別算法［J］.計(jì)算機(jī)工程與應(yīng)用，2010，46(24):185－188.

［6］王瓊，王歡，趙春霞，等.基于眼睛狀態(tài)識(shí)別的駕駛員疲勞監(jiān)測(cè)［J］.南京理工大學(xué)學(xué)報(bào):自然科學(xué)版，2010，34(4):448－453.

［7］潘曉東，李君羨.基于眼部行為的駕駛疲勞檢測(cè)方法［J］.同濟(jì)大學(xué)學(xué)報(bào):自然科學(xué)版，2011，39(2):231－235.

［8］ VIOLA P，JONESM.Robust real－time face detection［J］.International Journal of Computer Vision，2004，57(2):137－154.

［9］武暉，于昕，隋堯，等.融合上下文信息的場(chǎng)景結(jié)構(gòu)恢復(fù)［J］.中國(guó)圖象圖形學(xué)報(bào)，2012，17(7):839－845.

［10］ PORTOULI E，BEKIARIS E，PAPAKOSTOPOULOS V，et al.Onroad experiment for collecting driving behavioral data of sleepy drivers［J］.Somnologie－Schlafforschung und Schlafmedizin，2007，11(4):259.

［11］潘曉東，李君羨，徐小冬.基于眼部行為的駕駛疲勞評(píng)價(jià)指標(biāo)的閾值［J］.同濟(jì)大學(xué)學(xué)報(bào):自然科學(xué)版，2011，39(12):1811－1815.

［12］苑瑋琦，滕紅艷.眼睛疲勞程度判定方法研究［EB/OL］.［2013－06 －18］.http://www.cnki.net/kcms/detail/11.2127.tp.20120425.1719.021.html.