基于面部特征的疲勞駕駛檢測(cè)

張麗雯， 楊艷芳， 齊美彬， 蔣建國(guó)

（1.合肥工業(yè)大學(xué) 計(jì)算機(jī)與信息學(xué)院，安徽 合肥 230009；2.合肥工業(yè)大學(xué) 電子科學(xué)與應(yīng)用物理學(xué)院，安徽 合肥 230009）

隨著經(jīng)濟(jì)發(fā)展和人們生活條件的提高，機(jī)動(dòng)車輛快速增加，但是機(jī)動(dòng)車輛造成的交通事故隨之增加。大量研究發(fā)現(xiàn)，疲勞駕駛影響交通安全的程度最大。因此，需要對(duì)駕駛員疲勞狀態(tài)進(jìn)行監(jiān)測(cè)，一旦監(jiān)測(cè)到疲勞就及時(shí)采取措施讓駕駛員停止駕駛，有效地保證行車安全，目前監(jiān)測(cè)駕駛疲勞的方法［1］基本分為主觀和客觀2大類。由于人與人之間差異較大，所以主觀性檢測(cè)不易成為通用的疲勞檢測(cè)標(biāo)準(zhǔn)，因此在各個(gè)領(lǐng)域采用較多的是客觀疲勞檢測(cè)方法。其中基于眼睛閉合狀態(tài)和嘴部狀態(tài)等駕駛?cè)诵袨樘卣鞯目陀^疲勞檢測(cè)方法，由于具有非侵入式和可直接檢測(cè)的特點(diǎn)，成為目前研究熱點(diǎn)。

本文采用基于眼睛和嘴唇2個(gè)面部特征的疲勞判決方式。有的人疲勞時(shí)會(huì)直接進(jìn)入較長(zhǎng)時(shí)間閉眼狀態(tài)，但是有的人則首先頻繁地打呵欠，如果得不到休息，疲勞程度加深后才會(huì)閉眼。因此可先根據(jù)嘴唇開合度判斷司機(jī)是否頻繁打呵欠，若是就直接判為疲勞，否則繼續(xù)判斷眼睛閉合狀態(tài)以判斷司機(jī)是否疲勞駕駛。

由于檢測(cè)疲勞駕駛的基礎(chǔ)是面部特征，所以為了減小搜索范圍，首先做人臉檢測(cè)，然后在人臉區(qū)域內(nèi)搜索嘴唇和眼睛并判斷它們的狀態(tài)，最后判斷司機(jī)是否疲勞駕駛。

1 人臉檢測(cè)

研究發(fā)現(xiàn)人的膚色具有聚類性［2］，利用這個(gè)特性檢測(cè)人臉很容易將背景分離出去。首先通過(guò)統(tǒng)計(jì)方法確定膚色的具體范圍，判別圖像中每一點(diǎn)的像素值是否在該范圍之內(nèi)。若在就是膚色，否則就是非膚色。

該模型的困難之處在于如何確定閾值，其閾值選擇不當(dāng)可能會(huì)使膚色檢測(cè)正確率下降，效果不是很好。

在除去亮度的二維色度平面上，膚色的區(qū)域分布比較集中，這與高斯分布［3－4］有些相似，因此可以用二維高斯分布來(lái)表達(dá)膚色分布。

計(jì)算圖像中每個(gè)點(diǎn)為膚色的概率，從而得到這個(gè)圖像的一個(gè)膚色概率圖，這樣就可以看出有哪些膚色點(diǎn)，這就是高斯模型檢測(cè)膚色。二維高斯型函數(shù)為：

P（Cb，Cr）＝exp［－0.5（x－M）TC－1（x－M）］，其中，x為圖像點(diǎn)像素在YCbCr空間的值，x＝［Cb，Cr］T；M為膚色在YCbCr空間的均值，M＝E（x）；C為協(xié)方差矩陣，C＝E（（x－M）（x－M）T）；P（Cb，Cr）是點(diǎn)（Cb，Cr）為膚色點(diǎn)的概率。

將圖像各點(diǎn)的色度代入高斯函數(shù)，求得各個(gè)P（Cb，Cr）值，然后進(jìn)行歸一化處理，即Pi（Cb，Cr）／maxPi（Cb，Cr），用這個(gè)商作為圖像中點(diǎn)為膚色點(diǎn)的概率。將歸一化的相似度值乘255，就得到膚色相似度圖，從這個(gè)圖中可以直觀地看到圖像中點(diǎn)為膚色點(diǎn)的概率大小。高斯模型比區(qū)域模型能更好地表示膚色分布，相對(duì)而言，它的膚色檢測(cè)正確率也較高。

對(duì)人臉的相似度圖進(jìn)行二值化分割，將人臉區(qū)域和背景分離開。利用形態(tài)學(xué)運(yùn)算，以去除噪聲，修補(bǔ)圖像內(nèi)部的斷裂和空洞，最后利用人臉特征先驗(yàn)知識(shí)得到人臉區(qū)域。人臉檢測(cè)各階段的結(jié)果如圖1所示。

圖1 人臉檢測(cè)各個(gè)過(guò)程圖

2 嘴唇檢測(cè)及打呵欠判斷

人打呵欠時(shí)從表面看表現(xiàn)最明顯的是嘴部，檢測(cè)嘴部狀態(tài)可以先檢測(cè)嘴唇區(qū)域，之后確定嘴唇邊界，進(jìn)而確定嘴部開合狀態(tài)及張開持續(xù)時(shí)間，這樣就可以確定是否在打呵欠。為了檢測(cè)嘴唇邊界，本文采用唇色特征與臉部灰度特征相結(jié)合的方式。先用唇色聚類性確定嘴唇大致范圍，之后在該范圍內(nèi)尋找亮度分量較低的區(qū)域，從而精確定位嘴唇。

2.1 嘴唇檢測(cè)

檢測(cè)嘴唇普遍使用彩色圖像中唇色檢測(cè)［5］方法，然而唇色和膚色有一部分是重疊的，因而依靠唇色聚類性檢測(cè)嘴唇，有一部分膚色區(qū)域也會(huì)被劃入唇色區(qū)域，而嘴角的唇色部分比較少，容易被形態(tài)學(xué)運(yùn)算去除。唇色檢測(cè)結(jié)果如圖2所示。圖2a為通過(guò)唇色聚類性檢測(cè)嘴唇所得到的結(jié)果，其中白色部分為檢測(cè)出的唇色區(qū)域。圖2b和圖2c中白色方框?yàn)閯澏ǖ淖齑絽^(qū)域，可以看出最終檢測(cè)出的嘴唇邊界不是很準(zhǔn)確。

圖2 唇色檢測(cè)結(jié)果圖

為了在此基礎(chǔ)上精確定位嘴唇，本文將臉部圖像的亮度分量取出來(lái)進(jìn)行二值化，由大津閾值法確定二值化的閾值。人臉二值化灰度圖像及嘴唇最終檢測(cè)結(jié)果，如圖3所示。二值化后的灰度圖像中除了深色背景和頭發(fā)，人的臉部中只有眼睛、鼻孔和嘴部為黑色，如圖3a所示。此時(shí)若直接用灰度圖檢測(cè)嘴唇，則黑色的背景干擾很大，不易去除。從圖3b和圖3c可以看出，由唇色檢測(cè)法大致劃定嘴的區(qū)域中只有可能出現(xiàn)的黑色區(qū)域是鼻孔。由于鼻孔面積很小，而且和嘴部黑色區(qū)域沒有連接，采用積分投影很容易區(qū)分。因此，可以先用唇色聚類性檢測(cè)嘴唇以去除黑色背景和頭發(fā)的干擾，大致確定嘴唇范圍。然后檢測(cè)劃定的嘴唇范圍左、右兩邊是否有黑色像素，以排除嘴角沒有包括其中。若漏檢，則增大劃定嘴唇的方框，劃定的嘴唇范圍中用積分投影確定嘴唇邊界，進(jìn)而確定嘴部狀態(tài)以判斷駕駛員是否打呵欠。

圖3 人臉二值化灰度圖像及嘴唇最終檢測(cè)結(jié)果

2.2 實(shí)驗(yàn)結(jié)論

除了打呵欠，人說(shuō)話、笑和哭時(shí)也會(huì)張開嘴，因此僅憑嘴張開不能判斷人是否在打呵欠。但是打呵欠時(shí)嘴張開的幅度很大，而且嘴角向中間靠攏，因此劃定嘴唇的外接矩形上、下高度與左、右寬度的比值要大。圖4所示為采集的3個(gè)人的嘴部圖像，其中，圖4a是人說(shuō)話時(shí)圖像，圖4b是同一個(gè)人打呵欠時(shí)嘴張開過(guò)程中的圖像，圖4c是打呵欠嘴完全張開的圖像。每幅圖像中白色方框是標(biāo)記嘴部區(qū)域。

圖4 不同人說(shuō)話和打呵欠時(shí)嘴圖像

從這些圖可以看出，人打呵欠時(shí)嘴部邊界框的高度大于寬度的1／2。雖然有時(shí)候人說(shuō)話時(shí)嘴也會(huì)張開很大，但是持續(xù)時(shí)間很短。如果測(cè)得嘴部邊界框的高度持續(xù)大于寬度1／2的時(shí)間超過(guò)3 s，說(shuō)明司機(jī)在打呵欠。打呵欠的原因是很多的，偶爾打呵欠與疲勞關(guān)系不大，但是如果頻繁打呵欠就可以說(shuō)明司機(jī)疲勞。實(shí)驗(yàn)結(jié)果顯示，如果1 min內(nèi)測(cè)得打呵欠幀數(shù)與總幀數(shù)比值超過(guò)10%，說(shuō)明人打呵欠頻繁，應(yīng)該報(bào)警提醒司機(jī)。

3 人眼定位及眼睛開合度計(jì)算

本文利用人臉的灰度特征定位人眼，首先在人臉灰度圖像中提取五官邊緣，得到二值化圖。然后對(duì)圖中連通區(qū)域進(jìn)行判斷，并利用先驗(yàn)知識(shí)構(gòu)建人眼區(qū)域規(guī)則集，結(jié)合重心模板［6］尋找眼睛對(duì)。一般重心坐標(biāo)公式［7］為：

由于是在二值化后的圖中計(jì)算重心點(diǎn)，所以重心點(diǎn)坐標(biāo)公式簡(jiǎn)化為：

把重心坐標(biāo)作為種子點(diǎn)進(jìn)行眼睛的區(qū)域生長(zhǎng)，將種子點(diǎn)八鄰域內(nèi)點(diǎn)的灰度值與種子點(diǎn)灰度值差小于標(biāo)準(zhǔn)值的像素點(diǎn)，視為與種子點(diǎn)性質(zhì)相似的點(diǎn)，并成為新的種子點(diǎn)，繼續(xù)區(qū)域生長(zhǎng)［8］，直到所有種子點(diǎn)八鄰域內(nèi)沒有一個(gè)符合標(biāo)準(zhǔn)的像素點(diǎn)，則停止生長(zhǎng)，結(jié)果如圖5a所示。然后利用形態(tài)學(xué)運(yùn)算進(jìn)行去噪，并對(duì)圖像進(jìn)行修復(fù)得到眼睛輪廓，如圖5b所示。

圖5 眼睛檢測(cè)各個(gè)過(guò)程圖

檢測(cè)到眼睛輪廓后就可以計(jì)算眼睛的閉合度，并判斷司機(jī)是否疲勞。司機(jī)疲勞時(shí)會(huì)閉眼睛，實(shí)驗(yàn)證明眼睛瞳孔被眼皮遮擋超過(guò)80%與疲勞相關(guān)性最大。連續(xù)采樣10 s，并求出這段時(shí)間內(nèi)司機(jī)每次閉眼過(guò)程中瞳孔被遮擋面積超過(guò)80%的時(shí)間T。若T與10 s比值超過(guò)40%，可以判斷為司機(jī)疲勞。有時(shí)候司機(jī)疲勞時(shí)會(huì)長(zhǎng)時(shí)間閉眼睛，因此，若測(cè)得司機(jī)眼睛持續(xù)閉合超過(guò)2 s，也判斷司機(jī)在疲勞駕駛。

4 算法步驟及實(shí)驗(yàn)結(jié)果

4.1 算法步驟

（1）利用膚色聚類性檢測(cè)人臉。若檢測(cè)到人臉，則啟動(dòng)卡爾曼濾波進(jìn)行跟蹤，否則繼續(xù)檢測(cè)。

（2）利用唇色特征和臉部灰度特征相結(jié)合劃定嘴唇邊界，若嘴部邊界框的高度大于寬度的1／2，且持續(xù)超過(guò)3 s，判為打呵欠；若1 min內(nèi)打呵欠幀數(shù)與總幀數(shù)之比超過(guò)10%，判為疲勞，則轉(zhuǎn)到步驟（4），否則執(zhí)行步驟（3）。

（3）在人臉二值化灰度圖像中，利用人臉五官結(jié)構(gòu)先驗(yàn)知識(shí)及區(qū)域生長(zhǎng)得到眼睛輪廓，檢測(cè)到眼睛瞳孔被眼皮遮擋超過(guò)80%，開始計(jì)時(shí)10 s。若在該段時(shí)間內(nèi)檢測(cè)到這種狀態(tài)持續(xù)超過(guò)2 s，則判為疲勞，并轉(zhuǎn)到步驟（4）；否則計(jì)算10 s內(nèi)司機(jī)每次閉眼過(guò)程中瞳孔被遮擋面積超過(guò)80%的時(shí)間T。若T與10 s比值超過(guò)40%，判為疲勞，并轉(zhuǎn)到步驟（4）；否則轉(zhuǎn)到步驟（1）執(zhí)行。

（4）報(bào)警輸出。

4.2 實(shí)驗(yàn)結(jié)果

選擇3位學(xué)生作為受測(cè)人員，根據(jù)測(cè)試所需的技術(shù)指標(biāo)，3位學(xué)生分別接受了測(cè)試，結(jié)果證明系統(tǒng)能夠達(dá)到要求，統(tǒng)計(jì)后的實(shí)際數(shù)據(jù)結(jié)果見表1所列。

表1 實(shí)驗(yàn)結(jié)果

5 結(jié)束語(yǔ)

本文討論了基于面部特征的疲勞駕駛檢測(cè)的方法，具有非接觸性及抗干擾性強(qiáng)的優(yōu)點(diǎn)。人臉檢測(cè)效果較好，在此基礎(chǔ)上眼睛定位效率高。嘴唇由粗及細(xì)的定位方法提高了檢測(cè)效果，由實(shí)驗(yàn)結(jié)果可以看出，該疲勞檢測(cè)方法準(zhǔn)確率較高。

［1］Hsu R L，Abdel－Mottaleb M，Jain A K.Face detection in color images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）：696－706.

［2］Grace V E，Byrne J，Legrand M，et al.A machione vision based drowsy driver detection system for heaby vehicles［C］／／Proceedings of the Ocular Measures of Driver Alertness Conference，1999：75－86.

［3］蔣建國(guó)，陳曉蕊，齊美彬.基于膚色模型和Bayes特征的人臉檢測(cè)方法［C］／／全國(guó)第18屆計(jì)算機(jī)技術(shù)與應(yīng)用（CACIS）學(xué)術(shù)會(huì)議論文集.合肥：中國(guó)科學(xué)技術(shù)大學(xué)出版社，2007：1175－1180.

［4］苑瑋琦，賈 琦.基于DM6437的駕駛員疲勞檢測(cè)系統(tǒng)［J］.儀表技術(shù)與傳感器，2010（5）：51－55.

［5］張志文，沈海斌.基于色度分布差異性的唇部檢測(cè)算法［J］.浙江大學(xué)學(xué)報(bào)：工學(xué)版，2008，42（8）：1355－1359.

［6］吳從中，賀 偉，湯潤(rùn)森，等.光照自適應(yīng)的疲勞駕駛檢測(cè)系統(tǒng)［J］.電子測(cè)量與儀器學(xué)報(bào)，2012，26（1）：60－66.

［7］蔣建國(guó)，劉 揚(yáng)，詹 曙，等.灰度視頻序列中駕駛員疲勞實(shí)時(shí)監(jiān)測(cè)方法［J］.合肥工業(yè)大學(xué)學(xué)報(bào)：自然科學(xué)版，2008，31（9）：1424－1427，1442.

［8］劉 揚(yáng).基于DM642的疲勞駕駛實(shí)時(shí)檢測(cè)系統(tǒng)研究與實(shí)現(xiàn)［D］.合肥：合肥工業(yè)大學(xué)，2007.