基于區(qū)域灰度特征比較和人眼瞼曲率的狀態(tài)識(shí)別

趙恒煒

(西安建筑科技大學(xué)信息與控制工程學(xué)院，陜西西安 710055)

基于區(qū)域灰度特征比較和人眼瞼曲率的狀態(tài)識(shí)別

趙恒煒

(西安建筑科技大學(xué)信息與控制工程學(xué)院，陜西西安 710055)

針對(duì)眼睛狀態(tài)檢測(cè)在實(shí)際疲勞監(jiān)控系統(tǒng)應(yīng)用中的缺陷，提出了一種基于區(qū)域灰度特征比較和眼瞼曲率的人眼狀態(tài)識(shí)別算法。在確定眼睛區(qū)域的前提下，提取眼睛區(qū)域的灰度特征和眼瞼曲率特征，確定眼睛狀態(tài)。通過對(duì)不同背景、光照變化、眼睛傾斜和旋轉(zhuǎn)，以及戴眼鏡等多種復(fù)雜環(huán)境下進(jìn)行眼睛狀態(tài)檢測(cè)，實(shí)驗(yàn)結(jié)果表明，文中算法具有處理速度快、魯棒性高等特點(diǎn)。

區(qū)域灰度特征比較法;眼瞼曲率法;算法融合

據(jù)不完全統(tǒng)計(jì)，全世界每年死于交通事故的人數(shù)約為60萬，僅車禍?zhǔn)軅娜藬?shù)，平均每年約有1 000萬人［1］。英國交通研究實(shí)驗(yàn)室(Transport Research Laboratory)認(rèn)為:疲勞駕駛導(dǎo)致的交通事故占全部交通事故的10%。有資料表明，高速公路上發(fā)生的交通事故中有50%以上，是由于長時(shí)間疲勞駕駛或所見目標(biāo)單調(diào)而造成注意力不集中、打瞌睡等原因所造成。

隨著計(jì)算機(jī)圖像處理技術(shù)的發(fā)展，利用圖像處理技術(shù)檢測(cè)駕駛員的疲勞狀態(tài)已經(jīng)成為可能。首先利用攝像機(jī)實(shí)時(shí)檢測(cè)駕駛員的眼睛位置，其次根據(jù)圖像處理方法檢測(cè)駕駛員的眼睛狀態(tài)并判斷是否疲勞駕駛，因此眼睛狀態(tài)的識(shí)別具有重要意義［2］。

目前，研究人員在進(jìn)行眼睛狀態(tài)識(shí)別這一領(lǐng)域中做了大量研究，提出了多種方法，其中主要方法有邊緣復(fù)雜度法、灰度投影法［3］、模板匹配法［4］、眼睛面積法、Hough變換找珠法、眼瞼曲率法［5］、SVM 訓(xùn)練法等。以上方法各具特點(diǎn)，但在識(shí)別率、魯棒性、實(shí)時(shí)性等方面難以全面兼顧，總會(huì)存在某種缺陷。本文首先在傳統(tǒng)的灰度投影法思想的基礎(chǔ)上，提出了一種基于區(qū)域灰度特征的識(shí)別方法，其具有速度快、識(shí)別率高等特點(diǎn)。為進(jìn)一步提高算法性能，把傳統(tǒng)的眼瞼曲率法和區(qū)域灰度特征法進(jìn)行融合，通過把兩種方法分別在邊緣特征和區(qū)域灰度特征方面的優(yōu)勢(shì)相結(jié)合，實(shí)現(xiàn)更高的識(shí)別率和更強(qiáng)的魯棒性。

1 眼睛狀態(tài)識(shí)別

1.1 區(qū)域灰度特征比較法

通過對(duì)眼睛的觀察發(fā)現(xiàn)，瞳孔和眼角區(qū)域在睜眼和閉眼時(shí)有明顯變化，于是可以通過對(duì)這種變化的量化分析實(shí)現(xiàn)眼睛狀態(tài)的識(shí)別。

(1)如圖1所示選擇眼睛瞳孔和眼角所在的兩個(gè)矩形區(qū)域作為比較目標(biāo)。瞳孔區(qū)域盡可能取作者簡介:瞳孔的內(nèi)側(cè)矩陣區(qū)域使其與瞳孔近似，眼角區(qū)域盡可能選擇眼角眼白的混合區(qū)，以突出其灰度變化復(fù)雜的特點(diǎn)。

(2)對(duì)眼睛區(qū)域進(jìn)行灰度化，同時(shí)計(jì)算步驟1中標(biāo)注區(qū)域的灰度均值和方差，如式(1)，式(2)所示，眼睛瞳孔區(qū)域灰度均值和方差分別記為V1、σ1，眼角區(qū)域灰度均值和方差分別記為V2、σ2。

式中，I(x，y)表示點(diǎn)(x，y)處的像素灰度值，m、n 分別表示矩形區(qū)域的寬和高。

(3)分別比較 V1、V2和 σ1、σ2，當(dāng)睜眼時(shí)，由于眼睛的瞳孔和眼白出現(xiàn)，瞳孔區(qū)域灰度值很低，而眼角區(qū)域灰度值很高，因此V1?V2。同時(shí)瞳孔區(qū)域以較低的灰度像素均勻分布，眼角區(qū)域灰度分布復(fù)雜，因此σ1?σ2;當(dāng)閉眼時(shí)瞳孔和眼白消失，這兩個(gè)區(qū)域的灰度分布接近，因此V1≈V2且σ1≈σ2。利用此方法，通過設(shè)置合適的閾值可以準(zhǔn)確判斷眼睛的開閉狀態(tài)。

圖1 眼睛特征區(qū)域選取

區(qū)域灰度特征比較法計(jì)算量小、速度快，同時(shí)保留了基于知識(shí)建模方法的人眼狀態(tài)連續(xù)、參數(shù)可調(diào)性，拋棄了需要精確幾何模型的缺點(diǎn)，利用區(qū)域灰度均值和方差，具有較強(qiáng)的魯棒性。但當(dāng)背景或光線陰暗圖片造成噪聲時(shí)，如果噪聲嚴(yán)重，可能影響二值化后的圖像進(jìn)而造成判斷錯(cuò)誤，因此提出和眼瞼曲率法相結(jié)合的思想對(duì)算法作進(jìn)一步改進(jìn)。

1.2 眼瞼曲率法

1.2.1 上眼瞼的提取

(1)邊緣提取。邊緣對(duì)應(yīng)于圖像中灰度劇烈變化的地方，是圖像的重要特征之一，描述邊緣特征包括灰度的變化率和方向。邊緣提取在機(jī)器視覺和圖像處理中較為重要，邊緣檢測(cè)算子依據(jù)邊緣上的灰度的一階導(dǎo)數(shù)最大值和二階導(dǎo)數(shù)過零點(diǎn)提取邊緣點(diǎn)，如Sobel算子、Canny算子、Prewitt算子、Robert算子、Laplacian算子等。Canny算子具有較強(qiáng)抑制噪聲的能力，其原理如下:因?yàn)閳D像中的邊緣可能指向不同的方向，所以Canny算子使用4個(gè)mask檢測(cè)水平、垂直以及對(duì)角線方向的邊緣。原始圖像和每個(gè)mask做卷積運(yùn)算，并且標(biāo)識(shí)每個(gè)點(diǎn)在這個(gè)點(diǎn)上的最大值以及生成的邊緣的方向，這樣從原始圖像生成得到圖像中每個(gè)點(diǎn)亮度梯度圖以及亮度梯度的方向。由于較高的亮度梯度有可能是邊緣，但是無確切的值來限定多大的亮度梯度是邊緣，所以Canny使用滯后閾值。使用Canny算子提取邊緣時(shí)能夠得到較好的效果，具有較強(qiáng)的抗噪性。圖2(b)為邊緣檢測(cè)結(jié)果圖，眼睛的大部分邊緣均被提取出。因此可見經(jīng)過Canny算子運(yùn)算后的圖像，邊界從整幅圖像中突顯出來。

(2)上眼瞼輪廓的提取［5］。眼睛邊緣圖中包含所需的邊緣信息。觀察圖2(b)可知，上眼瞼基本位于邊緣圖上部，因此掃描圖像取出每列的最上面的點(diǎn)，即得到上眼瞼曲線，如圖2(c)。由于噪聲干擾，會(huì)存在一些孤立點(diǎn)對(duì)提取上眼瞼曲線造成影響，必須消除噪聲點(diǎn)干擾，采用三次曲線擬合方法對(duì)上眼瞼曲線擬合，結(jié)果如圖2(d)所示。

圖2 上眼瞼輪廓檢測(cè)

(3)眼瞼曲率的計(jì)算。由于利用上眼瞼的整體特性，因此計(jì)算的是眼瞼的平均曲率。平均曲率的計(jì)算公式為

其中，Δφ表示曲線段切線變化的角度;Δs為弧長。

如果直接利用該公式容易受噪聲點(diǎn)干擾，魯棒性較低，而且由于計(jì)算量大造成速度慢，因此需尋找更為簡單的方法。文獻(xiàn)［6］提出對(duì)每一眼瞼分段，利用以下近似公式求每段的曲率，最后求其中值作為眼瞼的平均曲率

其中，BD、AC為圖3圓弧中的弦長，并且 A，B，C沿圓弧等間隔選取。

圖3 近似圓弧

該方法在不影響計(jì)算精度的基礎(chǔ)上，因?yàn)闇p少了計(jì)算量，所以整個(gè)系統(tǒng)的計(jì)算速度明顯提高。但在計(jì)算過程中，發(fā)現(xiàn)該方法計(jì)算出的眼瞼曲率為零的情況較多，其主要由于每一眼瞼分段較短，幾乎變成直線。為此，文中對(duì)該方法進(jìn)行改進(jìn)，不用分段求曲率，而是將眼瞼曲線作為整體進(jìn)行簡化計(jì)算，具體如下:

(1)選擇眼瞼曲線的兩邊端點(diǎn)分別為A、C，則其縱坐標(biāo)差值為AC。

(2)依次掃描眼瞼上各點(diǎn)，比較各點(diǎn)的橫坐標(biāo)，橫坐標(biāo)靠上的點(diǎn)為眼瞼的中點(diǎn)，即B點(diǎn)，計(jì)算B點(diǎn)到AC的距離得到BD。

(3)根據(jù)公式(4)計(jì)算曲率。

1.2.2 眼睛狀態(tài)識(shí)別

睜眼和閉眼時(shí)眼瞼曲線曲率不同而且彎曲方向也會(huì)不同，這是判斷眼睛睜閉的重要特征。根據(jù)圖3可知，當(dāng)睜眼時(shí)B在AC上方，閉眼時(shí)B在AC的下方。因此定義當(dāng)B在AC的上方時(shí)曲率為正，反之曲率為負(fù)。由于睜眼、半睜眼或瞇眼時(shí)上眼瞼曲率為正，實(shí)際眼睛狀態(tài)識(shí)別過程中，當(dāng)上眼瞼曲率大于閾值時(shí)則判斷為開眼，否則認(rèn)為閉眼。

2 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)環(huán)境選用CPU E5300 2.9 GHz，2 GB的內(nèi)存。操作系統(tǒng)為 Microsoft Windows XP SP3，仿真平臺(tái)為Matalab 7.8。

2.1 區(qū)域灰度特征比較法

選取不同光照下的眼睛圖片，通過對(duì)灰度特征比較法計(jì)算特征值，部分結(jié)果列于表1和表2。從所得數(shù)據(jù)可知，區(qū)域灰度均值和方差在開眼和閉眼狀態(tài)下具有明顯變化，同時(shí)由于圖像的灰度值受光線影響較大，因此采用開眼和閉眼時(shí)的灰度均值比、灰度方差比作為眼睛狀態(tài)判決的閾值，具有較好的適應(yīng)性。

2.2 眼瞼曲率法

同樣對(duì)不同光照下的眼睛圖片計(jì)算眼瞼曲率，通過眼瞼曲率法提取上眼瞼和計(jì)算眼瞼曲率，將部分結(jié)果列于表3。從所得數(shù)據(jù)中可知，眼瞼曲率伴隨眼睛睜閉狀態(tài)而發(fā)生變化，因此可作為眼睛狀態(tài)識(shí)別的特征之一。

表1 睜閉眼睛灰度均值對(duì)比表

表2 睜閉眼睛灰度方差對(duì)比表

表3 睜閉眼睛曲率表

3 結(jié)束語

疲勞駕駛是車禍?zhǔn)鹿实闹饕蛑唬虼藢?duì)駕駛員的疲勞狀態(tài)進(jìn)行監(jiān)測(cè)，減少由于疲勞駕駛而引發(fā)的事故，具有重要現(xiàn)實(shí)意義。人眼狀態(tài)識(shí)別是構(gòu)建駕駛疲勞檢測(cè)系統(tǒng)的關(guān)鍵步驟之一。文中首先提出了一種基于比較區(qū)域灰度特征的眼睛狀態(tài)識(shí)別方法，具有速度快、識(shí)別率高等優(yōu)點(diǎn)。當(dāng)光線較暗或噪聲劇烈時(shí)，通過融合眼瞼曲率法做進(jìn)一步綜合判斷，使兩種方法優(yōu)勢(shì)互補(bǔ)，這樣既縮短了計(jì)算時(shí)間，而且提高了人眼狀態(tài)識(shí)別的精確度和魯棒性。

［1］DAWSON D，LAMOND N，DONKIN K，et al.Quantitative similarity between the cognitive psychomotor performance decrement associated with sustained wakefulness and alcohol intoxication［C］.In Hartley，L，R(Ed.)ManagingFatigue in Transportation Proceedings of the Third International Conference on Fatigue and Transportation，F(xiàn)remantle，Western Australia.Oxford UK.Elsevier Science Ltd，1998.

［2］王榮本，郭克友，儲(chǔ)江偉.一種基于Gabor小波的駕駛員眼部狀態(tài)識(shí)別方法的研究［J］.中國圖象圖形學(xué)報(bào)，2003，8(9):1043 －1047.

［3］左坤隆，劉文耀，朱 昊.基于差分投影和梯度向量流場的眼睛特征提?。跩］.計(jì)算機(jī)工程，2005，31(4):26－28.

［4］陳艷琴.關(guān)于司機(jī)疲勞監(jiān)測(cè)的人眼檢測(cè)與跟蹤研究［D］.長沙:中南大學(xué)，2004.

［5］江水郎.基于視覺的駕駛員疲勞檢測(cè)研究［D］.上海:上海交通大學(xué)，2008.

［6］周玉彬.基于視頻方法檢測(cè)駕駛員疲勞/瞌睡程度的技術(shù)研究［D］.西安:第四軍醫(yī)大學(xué)，2003.

Eye State Detection Based on Comparison of Eye Gray Area Feature and Eyelid Curvature

ZHAO Hengwei
(School of Information and Control Engineering，Xi'an University of Architecture and Technology，Xi'an 710055，China)

In order to improve the defects of current eye state detection when used for fatigue monitoring，this paper proposes a new vision sensor-based comparison of eye gray area and eyelid curvature.Under the premise that the eyes area is found，the eye state is determined by extracting the features of the gray area and eyelid curvature characteristic features.Eye state detection in such complex environments as different backgrounds，changing illuminations，eye tilting and rotation，and wearing glasses shows that the algorithm has faster processing speed and robustness.

comparison of eye gray area;eyelid curvature;merge

TP391.41

A

1007－7820(2012)06－017－03

2012-01-05

趙恒煒(1978－)，男，碩士研究生。研究方向:圖像處理。