疲勞駕駛檢測中的快速人眼定位方法

楊述斌，金 璐，章振保

(武漢工程大學(xué)電氣信息學(xué)院，湖北 武漢 430205)

0 引 言

疲勞駕駛引起的交通事故占據(jù)我國交通事故中很大的一部分，因此，研究有效、可行、操作簡易的疲勞駕駛檢測系統(tǒng)顯得尤為重要.疲勞駕駛檢測可以從多方面對駕駛員進(jìn)行檢測，國外已經(jīng)研制出了幾款比較成功的疲勞駕駛檢測預(yù)警系統(tǒng)，例如日本先鋒公司在1994年研制出來的心跳速度檢測儀，美國的Ellison Research Labs在2000年研制出來了車道偏離報(bào)警系統(tǒng)DAS2000系統(tǒng)，澳大利亞人在1995年研制出來的頭部位置檢測儀系統(tǒng)，與此類似的還有轉(zhuǎn)向盤檢測系統(tǒng).根據(jù)國外的幾種疲勞駕駛檢測預(yù)警系統(tǒng)，國內(nèi)的一些專家學(xué)者根據(jù)這些方法對此進(jìn)行了試驗(yàn)，石堅(jiān)、吳遠(yuǎn)鵬、卓斌[1]等人通過傳感器測量駕駛員駕駛時(shí)方向盤、踏板等運(yùn)動(dòng)參數(shù)來判別駕駛員的疲勞狀態(tài)，該方法的靈敏度較高，且不用與駕駛員身體相接觸，但是檢測結(jié)果的可靠性與準(zhǔn)確率一般.毛喆[1]采集了駕駛模擬器上被測試者在駕駛操作時(shí)的心率、肌電、皮電、皮溫、呼吸頻率及呼吸深度等幾項(xiàng)生理指標(biāo)，提取了疲勞狀態(tài)時(shí)被測試者的生理特征值來判斷，該方法的檢測結(jié)果比較有效可靠，準(zhǔn)確率高，但是該系統(tǒng)要與身體相接觸，影響駕駛員的正常駕駛操作.還有通過測量車輛與路面相關(guān)參數(shù)來判斷駕駛員的疲勞狀態(tài)，這種方法雖然有效，但是測量的信息不是很可靠.結(jié)合前面的幾種疲勞駕駛檢測方法的優(yōu)點(diǎn)和缺陷，筆者采用眼睛狀態(tài)對疲勞駕駛進(jìn)行檢測.由于眼睛是駕駛員最能反映疲勞狀態(tài)的因素，所以，根據(jù)眼睛的狀態(tài)來判斷疲勞駕駛比較有效可靠，且易于操作，不會(huì)影響駕駛員正常駕駛.由于疲勞駕駛檢測中，需要保證檢測系統(tǒng)的實(shí)時(shí)性、高效率以及準(zhǔn)確性，故而，一種快速的高效的人眼定位方法顯得尤為重要.設(shè)計(jì)二次定位，結(jié)合灰度投影并且選用基于LMS(最小均方誤差)模板匹配用于人眼定位，效果良好.

1 系統(tǒng)總體設(shè)計(jì)方案

選用多個(gè)攝像頭對駕駛員進(jìn)行圖像采集，并進(jìn)行圖像預(yù)處理，其中，圖像預(yù)處理包括光照均衡預(yù)處理，直方圖均衡化，去噪等等，目的是為了增強(qiáng)圖像對比度，使圖像更清晰.將篩選后的圖像選擇最優(yōu)的進(jìn)行輸入，繼而進(jìn)行臉部定位，然后運(yùn)用積分投影對人眼進(jìn)行粗定位，初步將人眼定位在眉眼區(qū)域，接著運(yùn)用LMS模板匹配對圖像進(jìn)行最終定位.整個(gè)過程采用的是一種由粗到細(xì)的思路進(jìn)行，最終達(dá)到定位更準(zhǔn)確，效率更高.人眼定位系統(tǒng)總體設(shè)計(jì)框圖如圖1所示.

圖1 人眼定位系統(tǒng)框圖Fig.1 Positioning system block diagram

2 圖像篩選

司機(jī)在駕駛時(shí)，難免會(huì)出現(xiàn)扭頭之類的頭部運(yùn)動(dòng)，因此，這些都會(huì)影響到攝像頭的拍攝，也影響檢測的準(zhǔn)確率.為了解決這一問題，采用多個(gè)攝像頭拍攝，在人臉的不同方位，等距離的安裝多個(gè)攝像頭，通過多個(gè)攝像頭在不同的方位對駕駛員進(jìn)行拍攝，將拍攝獲取的圖像進(jìn)行篩選后，再輸入，再對輸入的圖像進(jìn)行檢測.這里對攝像頭拍攝到的圖像根據(jù)面積大小進(jìn)行篩選，也就是說，將拍攝到的圖像中，能完整的拍攝到整個(gè)臉部的并且臉部面積最大的作為輸入進(jìn)行檢測，整個(gè)圖像篩選過程如圖2所示.

將人臉的形狀模擬成一個(gè)橢圓，用橢圓的面積公式來求取人臉的面積.計(jì)算人臉面積如圖3所示.

圖2 篩選圖像Fig.2 Filtered image

圖3 計(jì)算人臉面積Fig.3 Calculate the area of the face

圖3中，左右臉邊緣線之間的距離為橢圓的長軸用a來表示，額頭頂部與下巴底端之間的距離為橢圓的短軸用b來表示.臉部的面積就模擬為橢圓的面積用S來表示，S=πab/4，通過比較各個(gè)攝像頭拍攝到的圖片的臉部面積大小，取面積最大的作為樣本圖片進(jìn)行輸入.

圖4、圖5、圖6分別是從幾種不同的角度拍攝的圖片.

圖4 正面圖片F(xiàn)ig.4 Positive picture

圖5 雙眼拍攝不完整圖片F(xiàn)ig.5 Incomplete picture of eyes

圖6 側(cè)面圖片F(xiàn)ig.6 The side picture

通過上述比較方法，選擇人臉面積大并且雙眼拍攝完整的圖4作為輸入圖片進(jìn)行檢測.

3 Adaboost(迭代級(jí)聯(lián)分類器)算法進(jìn)行人臉定位

通過CCD攝像頭采集駕駛員的面部圖像，然后對其面部圖像進(jìn)行臉部定位，臉部定位有很多種方法[2-3]，例如有基于膚色的人臉檢測方法，基于模板匹配的人臉檢測等等.但是由于圖像中有一些類似膚色區(qū)域，因此，用基于膚色的檢測方法會(huì)把類似膚色區(qū)域也錯(cuò)判為人臉，模板匹配法大多是用歸一化互相關(guān)聯(lián)直接計(jì)算兩幅圖像之間的匹配程度.因此，這種檢測方法對圖像的要求比較高.所以，采用Adboost(迭代級(jí)聯(lián)分類器)算法[4]進(jìn)行人臉檢測.

AdaBoost (迭代級(jí)聯(lián)分類器)算法是通過把一些比較弱的分類方法合在一起，組合成一種新的且較強(qiáng)的分類方法的一種算法.一個(gè)弱分類器hj(x)包括一個(gè)類 Harr 特征fi和一個(gè)分類閾值θj以及一個(gè)分類方向pj，并有如下關(guān)系：

弱分類器既可以是任何單一特征也可以是組合特征的分類器，只要其能對候選區(qū)域做二值判斷即可，在由類 Harr 特征組成的弱分類器中，一般具有一個(gè)特征，用來對候選區(qū)域進(jìn)行特征運(yùn)算并得到特征值，特征值閾值和代表大于/小于閾值者通過的方向則對應(yīng)每一個(gè)特征.選擇錯(cuò)誤率最小的特征值作為弱分類器的閾值，它的方向符號(hào)作為弱分類器的方向符號(hào).強(qiáng)分類器具有否決權(quán)，強(qiáng)分類器用下式來定義：

每個(gè)弱分類器根據(jù)不同的自身分類精度具有不同的票權(quán)值，如果候選區(qū)域通過了該弱分類器，則它的投票權(quán)值會(huì)被累加，如果權(quán)值累加值達(dá)到一個(gè)預(yù)先設(shè)定的閾值也就是強(qiáng)分類器的閾值時(shí)，則該區(qū)域通過了該強(qiáng)分類器.

圖7、圖8、圖9分別是原始圖像、二值化后的圖像、人臉定位后的圖像.

圖7 原圖Fig.7 The original picture

圖9 人臉定位Fig.9 Face location

經(jīng)過Adaboost算法訓(xùn)練出來的級(jí)聯(lián)分類器就具有很高的識(shí)別率，能較準(zhǔn)確的檢測到人臉.

4 人眼定位

對于眼睛的定位檢測有很多種方法，例如霍夫變換[5]法，霍夫變換是三維的，計(jì)算比較復(fù)雜.閾值分割法，該方法對于如人眼閉合，戴眼鏡等一些情況定位效果較差.模板匹配法[6]，由于這種方法對圖片要求比較高，所以僅僅靠模板匹配來進(jìn)行檢測不是很準(zhǔn)確.還有利用灰度大小來判斷，由于眉毛區(qū)域的灰度也比較低，因此僅僅靠灰度來對人眼進(jìn)行檢測會(huì)將眉毛進(jìn)行誤判.鑒于以上幾種方法的優(yōu)缺點(diǎn)提出將灰度投影[7]與模板匹配相結(jié)合的方法進(jìn)行判斷，最后精確的定位出人眼.

4.1 用灰度投影法勾選出大致的人眼位置

因?yàn)槿说哪槻科鞴俚母鱾€(gè)灰度不同，眉眼區(qū)域相對來說比較黑，因此其灰度比較小，采用水平積分投影將圖像定位在眉眼區(qū)間，以縮小檢測范圍.圖10是經(jīng)過灰度投影法后初步框選出的眼睛區(qū)域.

圖10 框選出眼睛區(qū)域Fig.10 Mark the area of the eye

根據(jù)水平和垂直的灰度投影大致可以框選出眉眼區(qū)間的位置.由于圖片越大，在后續(xù)的模板匹配中的匹配速度就越慢，因此，初步框選出眼睛區(qū)域后的匹配速度要比直接進(jìn)行模板匹配快得多.

4.2 基于LMS的模板匹配最終定位人眼

由于眼睛區(qū)域經(jīng)常會(huì)受到眼皮睫毛之類的遮擋，因此，在對眼睛進(jìn)行進(jìn)一步定位前先對眼睛區(qū)域進(jìn)行邊緣檢測[8].

LMS算法即最小均方誤差，它是通過調(diào)節(jié)自身權(quán)矢量，使得誤差能量達(dá)到最小.這里是指使得模板和匹配目標(biāo)的誤差達(dá)到最小，從而使其能更加準(zhǔn)確的匹配[9].

對于模板匹配，首先要利用以下公式衡量模板T(m,n)和匹配目標(biāo)Sij(i,j)的相似性.

再將其歸一化后，得到模板匹配的相關(guān)系數(shù)為

當(dāng)模板和子圖完全一樣時(shí)，相關(guān)系數(shù)R(i,j)=1.在匹配目標(biāo)Sij(i,j)中完成全部搜索后，找出R的最大值Rmax(im,jm)，其對應(yīng)的子圖即所匹配到的目標(biāo)圖像.顯然，用這種公式做圖像匹配計(jì)算量大、速度慢.因此，選用另外一種算法最小均方誤差(LMS)來計(jì)算，來衡量T(m,n)和Sij(i,j)的誤差，其公式為：

通過調(diào)整權(quán)矢量，使得均方誤差最小，即使得T(m,n)=Sij(i,j)，達(dá)到匹配效果.

圖11和圖12分別是未經(jīng)過灰度投影初步框選眼睛和經(jīng)過灰度投影初步框選眼睛后利用本文提出的算法的模板匹配的結(jié)果圖.

圖11 未經(jīng)初步框選定位眼睛Fig.11 Eye location without the initial marking

圖12 經(jīng)初步框選后定位眼睛Fig.12 Eye location with the initial marking

傳統(tǒng)的模板匹配法是對整幅圖像進(jìn)行模板匹配，這樣會(huì)提高計(jì)算的復(fù)雜度，并且檢測時(shí)間較長，經(jīng)過初步的定位之后，縮小了模板匹配的區(qū)域，將其縮小在比較小的眼睛區(qū)域進(jìn)行匹配，采用LMS模板匹配對圖像進(jìn)行匹配，大大提高了匹配的速度，提高了匹配的準(zhǔn)確率，也降低了模板匹配的復(fù)雜度.將傳統(tǒng)的模板匹配[10]人眼定位與本文提出的人眼定位算法進(jìn)行比較，比較結(jié)果如表1所示.

表1 人眼定位方法的比較Table 1 Comparison of eye location method

在人眼定位仿真實(shí)驗(yàn)中，選用了100幅圖片對其進(jìn)行定位，其中未經(jīng)初步框選的能準(zhǔn)確定位的有96幅，經(jīng)過初步框選的能準(zhǔn)確定位的有97幅，相比傳統(tǒng)的模板匹配，其準(zhǔn)確率提高了.并且在未經(jīng)過初步框選的模板匹配的檢測時(shí)間提高到了90.5 ms，經(jīng)過初步框選后的模板匹配時(shí)間提高到了30.5 ms，檢測效率也提高了.在定位眼睛的過程中，對傳統(tǒng)的定位方法進(jìn)行了改進(jìn)，將灰度投影法，模板匹配法幾種方法結(jié)合起來，對眼睛區(qū)域進(jìn)行多次定位，提高了定位的檢測時(shí)間和準(zhǔn)確率.由表1不難看出，在初步定位的基礎(chǔ)之上，新的模板匹配定位人眼不僅檢測時(shí)間大大縮短，準(zhǔn)確率也提高了.

5 結(jié) 語

采用多個(gè)攝像頭對司機(jī)進(jìn)行拍攝，這樣避免了單個(gè)攝像頭在司機(jī)扭頭或者其他一些動(dòng)作的時(shí)候不能及時(shí)拍到司機(jī)的頭部畫面而不能對其當(dāng)時(shí)的狀態(tài)進(jìn)行檢測，采用的多個(gè)攝像頭拍攝在保證不影響司機(jī)正常駕駛的情況下，提高了檢測的準(zhǔn)確率，降低了漏檢率.接著采用了將灰度投影法和改進(jìn)的LMS模板匹配兩種人眼定位的方法相結(jié)合來進(jìn)行人眼的定位，在有了前面的初步定位的前提下，新的模板匹配比傳統(tǒng)的模板匹配檢測的效率大大提高了，檢測的準(zhǔn)確率也提高了.對眼部狀態(tài)進(jìn)行司機(jī)疲勞駕駛的檢測是比較有效的.但是根據(jù)駕駛的環(huán)境的不同，不同的人的駕駛狀態(tài)也不同，每個(gè)人疲勞駕駛的判定的差異很大，而且每種疲勞駕駛檢測的方法的側(cè)重點(diǎn)不同.因此，為了提高疲勞駕駛的準(zhǔn)確性與有效性，多種疲勞駕駛方法相結(jié)合是今后研究的重點(diǎn).

致謝

感謝智能機(jī)器人湖北省重點(diǎn)實(shí)驗(yàn)室提供的基金資助.

參考文獻(xiàn)：

[1] 甄軼佳．基于眼部特征的疲勞駕駛檢測技術(shù)研究[D]．沈陽：沈陽工業(yè)大學(xué)，2009．

ZHEN Yijia.Detection of fatigue driving based on eye features[D]. Shenyang ：Shenyang University of Technology,2009.(in Chinese)

[2] 王榮本．駕駛員駕駛行為監(jiān)測中的面部定位方法的研究[J] ．公路交通科技，2003(2)：96-99．

WANG Rong-ben. Research of the driving face location method in driver behavior surveillance[J]. Highway traffic science and technology,2003(2)：96-99.(in Chinese)

[3] 李逢博．人臉檢測與標(biāo)定技術(shù)的實(shí)現(xiàn)與研究[D]．西安：西北大學(xué)，2004．

LI Feng-bo. Research and implementation of face detection and calibration technology[D]. Xian:Northwestern University,2004.(in Chinese)

[4] 范一峰，顏志英． 基于Adaboost算法和膚色驗(yàn)證的人臉檢測研究[J]．微計(jì)算機(jī)信息，2010(26)：231-233.

FAN Yi-feng,YAN Zhi-ying.Research on face detection algorithm based on Adaboost and skin color verification[J].Micro computer information,2010(26)：231-233.(in Chinese)

[5] 劉念，蘇杭，郭純宏，等．基于Hough變換圓檢測的人眼定位方法改進(jìn)[J]．計(jì)算機(jī)工程與設(shè)計(jì),2011(4)：1359-1362．

LIU Nian,SU Hang,GUO Chun-hong, et al. Improved eye location method based on Hough transform circle detection[J].Computer engineering and design, 2011(4):1359-1362.(in Chinese)

[6] 舒梅，董秀成．基于膚色和模板匹配的人眼定位[J]．計(jì)算機(jī)工程與應(yīng)用，2009，45(2)：237-239．

SHU Mei,DONG Xiu-cheng. Eye location based on skin color and template matching[J]. Computer enginee-ring and Applications,2009,45(2)：237-239.(in Chinese)

[7] 馮建強(qiáng) , 劉文波 ,于盛林．基于灰度積分投影的人眼定位[J]．計(jì)算機(jī)仿真，2005(4)：75-77．

FENG Jian-qiang,LIU Wen-bo,YU Sheng-lin. Eye location based on gray integral projection[J]. computer simulation, 2005(4)：75-77．(in Chinese)

[8] 曹珩，楊述斌，羅帆，等．多尺度全方位復(fù)合廣義形態(tài)邊緣檢測的算法[J]．武漢工程大學(xué)學(xué)報(bào)，2010，32(9)：78-81．

CAO Heng，YANG Shu-bin，LUO Fan，et al.General edge detection algorithm of compound mathematic morphology based on mulit-scale and omni-direction structure[J].Journal of Wuhan Institute of Technology,2010,32(9):78-81.(in chinese)

[9] 甄巍松,李國強(qiáng),魯統(tǒng)偉. 基于特征點(diǎn)相似度的匹配定位算法[J]．武漢工程大學(xué)學(xué)報(bào)，2011,33(4)：85-88.

ZHEN Wei-song，LI Guo-qiang，LU Tong-wei. Match and location algorithm based on similarity of feature point[J]. Journal of Wuhan Institute of Technology,2011,33(4):85-88.(in chinese)

[10] 劉鵬，江朝暉，熊進(jìn)，等．用于駕駛疲勞檢測的人眼定位及狀態(tài)判別算法[J]．計(jì)算機(jī)工程與應(yīng)用， 2010，46(24)：185-188．

LIU Peng,JIANG Chao-hui,XIONG Jin,et al.Discriminant algorithm for eyes location and status of driver fatigue detection[J].Computer engineering and Applications,2010,46(24):185-188.(in Chinese)