哈欠檢測(cè)研究綜述

鄭偉超，袁平，殷鋒

（四川大學(xué)計(jì)算機(jī)學(xué)院，成都610065）

0 引言

根據(jù)世界衛(wèi)生組織2015年發(fā)布的道路交通安全報(bào)告[15]顯示，2013年全世界共有約125萬(wàn)人死于交通事故，排在該年所有死亡原因中的第九位。另外，報(bào)告還顯示，該年僅中國(guó)死于交通事故的人數(shù)就超過(guò)25萬(wàn)人。大量的交通事故，不僅給國(guó)家和社會(huì)的經(jīng)濟(jì)與安全帶來(lái)了諸多的影響，更重要的是給遇難者的家庭帶來(lái)了金錢所無(wú)法衡量的傷害。而在眾多交通事故（尤其是告訴公路重大交通事故）的起因當(dāng)中，疲勞駕駛無(wú)疑與超速、無(wú)證駕駛等一樣，已經(jīng)成為當(dāng)之無(wú)愧的罪魁禍?zhǔn)字?。近幾十年?lái)，許多高校、機(jī)構(gòu)以及商業(yè)公司都開始致力于研究如何對(duì)駕駛員的疲勞狀態(tài)進(jìn)行監(jiān)測(cè)，以實(shí)現(xiàn)對(duì)疲勞駕駛事故的防范。目前常用的疲勞駕駛檢測(cè)方案可分為三類：①人體生命體征的檢測(cè)。如心電檢測(cè)、腦電檢測(cè)、心跳檢測(cè)、呼吸檢測(cè)、表面肌電等；②人體行為模式檢測(cè)。如哈欠檢測(cè)、眨眼頻率檢測(cè)、駕駛習(xí)慣檢測(cè)等；③車輛行駛軌跡檢測(cè)。其中，第一類檢測(cè)方式通常是侵入式的，需要駕駛員佩戴或者連接某種測(cè)量設(shè)備，容易造成駕駛員反感和不適。第三類檢測(cè)方式需要在車上增加大量的傳感器及其他設(shè)備，系統(tǒng)部署復(fù)雜，成本較高。目前研究最廣泛的疲勞駕駛測(cè)量方式是基于駕駛時(shí)駕駛員的行為模式的檢測(cè)，通常是以人臉識(shí)別為基礎(chǔ)的面部行為特征的檢測(cè)，即通過(guò)識(shí)別人臉及面部器官，檢測(cè)駕駛員的眨眼頻率、打哈欠檢測(cè)，點(diǎn)頭檢測(cè)等。還有基于駕駛員的駕駛行為的檢測(cè)，如操作方向盤或換擋桿的力度，或者檢測(cè)駕駛員是否在形式過(guò)程中有轉(zhuǎn)身、彎腰等不安全行為。

1 概述

每年，全球因?yàn)榻煌ㄊ鹿识鴮?dǎo)致的死亡人數(shù)不斷增加，每年因?yàn)榻煌ㄊ鹿识o社會(huì)帶來(lái)的損失與危害都是巨大的。在造成交通事故的眾多原因中，駕駛員疲勞駕駛就是其中重要的一個(gè)。因此，不斷有組織與機(jī)構(gòu)投入大量的金錢和精力研究如何檢測(cè)駕駛員的精神狀態(tài)，力圖通過(guò)檢測(cè)駕駛員是否已經(jīng)處于疲勞狀態(tài)對(duì)其進(jìn)行提醒進(jìn)而預(yù)防交通事故的發(fā)生。研究者意識(shí)到，人在疲勞和感到困倦時(shí)，都會(huì)不自覺地打哈欠。因此，越來(lái)越多的研究針對(duì)打哈欠這一行為進(jìn)行研究，以期找到一種高效的方式檢測(cè)該行為。

目前，已有的哈欠檢測(cè)研究都是基于計(jì)算機(jī)視覺和圖像處理的?；镜难芯坎襟E可以籠統(tǒng)地概括為以下四步。第一，人臉識(shí)別。人臉識(shí)別是已有哈欠檢測(cè)的基礎(chǔ)；第二，嘴部定位。打哈欠時(shí)，嘴部相較于人的正常狀態(tài)會(huì)持續(xù)張大數(shù)秒，嘴部就是研究檢測(cè)的重點(diǎn)；第三，特征提取。通過(guò)從定位到的嘴部圖像提取有效的特征信息作為打哈欠行為判定的參考；第四，哈欠判斷。根據(jù)所提取的特征信息，制定科學(xué)合理的模式判定規(guī)則和閾值，最后通過(guò)匹配判定打哈欠這一行為。

2 現(xiàn)狀

目前的哈欠檢測(cè)都是基于計(jì)算機(jī)圖形學(xué)進(jìn)行分析研究的，所以研究的第一步就是進(jìn)行圖像影像的采集。大部分的研究都是利用簡(jiǎn)單的光學(xué)攝像機(jī)最為圖像的采集工具。同時(shí)，為了克服外界光影變化以及夜間光線不足的弊端，有些研究者引入了近紅外光源作為補(bǔ)償，提高圖像的可靠性[5，7]。

采集圖像后，第一步要做的就是定位人臉，這個(gè)哈欠檢測(cè)中很關(guān)鍵的一步。目前有很多算法可以對(duì)圖像的人臉進(jìn)行定位追蹤，Viola-Jones算法[16]就是常用的一種經(jīng)典算法。該算法提出積分圖像的概念，極大地提高了Haar-like特征的提取速度。隨后，V-J算法利用AdaBoost分類器對(duì)前述的Haar-like特征進(jìn)行分類選擇。最后，V-J算法改造AdaBoost算法，提出級(jí)聯(lián)分類器的概念，進(jìn)一步提高了分類的效率。利用V-J算法，可以非常準(zhǔn)確且高效地進(jìn)行人臉檢測(cè)，因此被許多研究者使用[1，4，5，11，14]。除此之外，Lu Yufeng和 Wang Zengcai[2]通過(guò)檢測(cè)連續(xù)的兩幀圖像中的不同進(jìn)行人臉的定位，而Xiao Fan等[3]則是利用Gravity-center Tem?plate匹配的方式定位人臉。M.Omidyeganeh等[8]直接根據(jù)人體膚色與環(huán)境色彩的不同，利用在YCbCr和HSV色彩空間中做形態(tài)學(xué)運(yùn)算提取人臉。在檢測(cè)到人臉后，許多研究者[1，9]根據(jù)連續(xù)的幀之間的關(guān)聯(lián)性，引入Kalman濾波器，提高人臉識(shí)別的速度。

成功檢測(cè)到人臉后，進(jìn)行哈欠檢測(cè)的關(guān)鍵步驟就是嘴部區(qū)域的定位以及嘴部特征的提取。Tiesheng Wang和PengfeiShi[1]利用多閾值二值化法，在密度空間中使用形態(tài)學(xué)閉運(yùn)算去結(jié)合連續(xù)的二值化影像中的組件，以此判定人臉中的嘴部區(qū)域。隨后又通過(guò)在RGB色彩空間中運(yùn)用Gaussian模型檢測(cè)唇部，以此增強(qiáng)嘴部檢測(cè)的魯棒性。之后，他們利用投影方式計(jì)算嘴部特征，即嘴部的上下唇外邊距與左右嘴角距，得出嘴部的縱橫比。Xiao Fan等[3]根據(jù)Gravity-center Template匹配定位人臉的同時(shí)可以得到面部器官的粗略位置。隨后，他們首先繪制瞳孔的連線，然后利用嘴角連線與瞳孔連線基本平行這一特征定位嘴角。他們分別計(jì)算嘴部區(qū)域的水平灰度投影和垂直灰度投影以檢測(cè)嘴部的垂直位置和水平位置。接著，他們提取嘴部的幾何特征（即左右嘴角距離）和嘴角的紋理特征（即二維Ga?bor小波）作為研究對(duì)象。王霞等[14]則是先利用先驗(yàn)知識(shí)，將嘴部檢測(cè)區(qū)域縮小到人臉的下二分之一處，然后根據(jù)YCbCr色彩模型和Lab空間模型結(jié)合，精確定位嘴部。同時(shí)，考慮到不同人的唇部的厚度不同，他們選擇提取嘴部的內(nèi)輪廓作為進(jìn)一步研究的對(duì)象，并根據(jù)提取的嘴部?jī)?nèi)輪廓獲取嘴部縱橫比。Yong Du等[10]在定位嘴部以后，提取了嘴部高度、寬度、縱橫比、Angu?lar Second Moment和Entropy等共63個(gè)特征描述一張人臉的狀態(tài)。

獲取嘴部特征以后，就需要根據(jù)所提取的特征進(jìn)行打哈欠行為的判定。Lu Yufeng等[2]簡(jiǎn)單地定義了一個(gè)嘴部縱橫比的閾值，然后根據(jù)所提取照片中的嘴部縱橫比是否大于該閾值進(jìn)行哈欠的判定。這一方法雖然簡(jiǎn)單，但是容易造成誤判，因?yàn)榇笮蛘呤艿襟@嚇等情況下，人也會(huì)不自主地長(zhǎng)大嘴巴。但是，大笑和打哈欠有一個(gè)顯著的區(qū)別，即打哈欠通常會(huì)持續(xù)6-8s的時(shí)間，而大笑等通常只是一個(gè)較短期的行為。因此，大多數(shù)的研究者[1，6，11-13]會(huì)在此基礎(chǔ)上，增加時(shí)間這一維度，即增加連續(xù)幀數(shù)的閾值，通過(guò)計(jì)算縱橫比大于給定閾值的連續(xù)幀數(shù)是否同時(shí)大于給定的閾值判斷駕駛員是否在打哈欠。Xiao Fan等[3]和Mandalapu Sara?dadevi等[4]則分別使用LDA分類器和支持向量機(jī)（SVM）進(jìn)行哈欠判定。

3 結(jié)語(yǔ)

由于駕駛員疲勞駕駛引發(fā)的交通事故數(shù)量常年居高不下，國(guó)內(nèi)外越來(lái)越多的組織和機(jī)構(gòu)開始研究如何對(duì)駕駛員的疲勞狀態(tài)進(jìn)行檢測(cè)并以此為依據(jù)適時(shí)對(duì)駕駛員發(fā)出警告，以期避免或者盡可能減少此類交通事故的發(fā)生。

目前的疲勞駕駛檢測(cè)方案中，通過(guò)采集駕駛員的面部圖像，進(jìn)而分析駕駛員的嘴部特征，識(shí)別駕駛員是否打哈欠的方式判定疲勞是主要的研究手段之一，并且該方式也取得了不錯(cuò)的研究結(jié)果。但是，這種方式依舊存在較多的問(wèn)題：

（1）使用照相機(jī)實(shí)時(shí)采集駕駛員的面部影像，首先需要對(duì)于車輛本身進(jìn)行改造；其次，通過(guò)照相的方式，會(huì)給一些注重隱私的人群帶來(lái)心理上的負(fù)擔(dān)，影響這類人員在駕駛時(shí)的心態(tài)。

（2）基于圖像的方式容易受外部因素的影響。例如，外部環(huán)境多變的光源會(huì)影響基于色彩空間的膚色分析，進(jìn)而影響人臉或者嘴部的識(shí)別；又如，有些駕駛員喜歡戴各種墨鏡開車，這在某種程度上影響了人臉的檢測(cè)，影響了人臉識(shí)別的難度；再如，有些人在打哈欠的時(shí)候往往會(huì)不自覺地用手遮擋嘴部，這以行為無(wú)疑會(huì)嚴(yán)重影響人臉和嘴部的檢測(cè)。

雖然目前市面上已經(jīng)有利用文中所提出的類似方案實(shí)現(xiàn)的實(shí)際產(chǎn)品，但是，距離出現(xiàn)一個(gè)統(tǒng)一且高效安全的疲勞駕駛檢測(cè)的標(biāo)準(zhǔn)還任重道遠(yuǎn)。

參考文獻(xiàn)：

[1]Wang T,ShiP.Yawning Detection for Determining Driver Drowsiness[C].IEEE International Workshop on VlsiDesign and Video Technology.IEEE,2005:373-376.

[2]Lu Y,Wang Z.Detecting Driver Yawning in Successive Images[C].The,International Conference on Bioinformatics and Biomedical Engineering.IEEE Xplore,2007:581-583.

[3]Fan X,Yin BC,Sun Y F.Yawning Detection for Monitoring Driver Fatigue[C].International Conference on Machine Learning and Cybernetics.IEEE,2007:664-668.

[4]Saradadevi M,Bajaj P.Driver Fatigue Detection Using Mouth and Yawning Analysis[J].International Journal of Computer Science&Network Security,2008(6):183-188.

[5]Azim T,JaffarM A,Mirza AM.Automatic Fatigue Detection of Drivers through Pupil Detection and Yawning Analysis[C].Fourth International Conference on Innovative Computing,Information and Control.IEEEComputer Society,2009:441-445.

[6]Li L,Chen Y,Li Z.Yawning Detection For Monitoring Driver Fatigue Based on Two Cameras[C].International IEEE Conference on Intelligent Transportation Systems.IEEE,2009:1-6.

[7]Liu W,Sun H,Shen W.Driver Fatigue Detection Through Pupil Detection and Yawing Analysis[C].International Conference on Bioinformatics and Biomedical Technology.IEEE,2010:404-407.

[8]Omidyeganeh M,Javadtalab A,ShirmohammadiS.Intelligent Driver Drowsiness Detection Through Fusion of Yawning and Eye Closure[C].IEEE International Conference on Virtual Environments Human-Computer Interfaces and Measurement Systems.IEEE,2011:18-23.

[9]AbtahiS,HaririB,ShirmohammadiS.Driver Drowsiness Monitoring Based on Yawning Detection[C].Instrumentation and Measurement Technology Conference.IEEE,2011:1-4.

[10]Du Y,Hu Q,Chen D,etal.Kernelized Fuzzy Rough Sets Based Yawn Detection for Driver Fatigue Monitoring[J].Fundamenta Informaticae,2011,111(1):65-79.

[11]Hemadri V B,Kulkarni U P.Detection of Drowsiness Using Fusion of Yawning and Eyelid Movements[M].Advances in Computing,Communication,and Control.Springer Berlin Heidelberg,2013:583-594.

[12]謝國(guó)波,陳云華,張靈,等.基于嘴巴特征點(diǎn)曲線擬合的哈欠檢測(cè)[J].計(jì)算機(jī)工程與科學(xué),2014,36(4):731-736.

[13]張恒.基于近紅外圖像的疲勞駕駛檢測(cè)研究與系統(tǒng)實(shí)現(xiàn)[D].長(zhǎng)安大學(xué),2015.

[14]王霞,仝美嬌,王蒙軍.基于嘴部?jī)?nèi)輪廓特征的疲勞檢測(cè)[J].科學(xué)技術(shù)與工程,2016,16(26):240-244.

[15]Cossio M L T,Giesen L F,Araya G,etal.Global Status Report on Road Safety 2015[J].Injury Prevention Journal of the International Society for Child&Adolescent Injury Prevention,2015,15(4):286.

[16]Viola P,Jones M.Rapid Object Detection using a Boosted Cascade of Simple Features[C].Computer Vision and Pattern Recognition,2001.CVPR 2001.Proceedings of the 2001 IEEE Computer Society Conference on.IEEE,2003:I-511-I-518 vol.1.