基于ASM和眼嘴自動(dòng)標(biāo)點(diǎn)的差距化疲勞識(shí)別

王筱薇倩，楊會(huì)成，費(fèi) 琛，楊 惠

（安徽工程大學(xué)電氣工程學(xué)院，安徽蕪湖 241000）

近年來，隨著人們的生活壓力等因素造成在駕駛過程中事故的頻發(fā)，在行駛過程中，提醒駕駛員不要疲勞駕駛，時(shí)刻保持駕駛員警惕性成為當(dāng)前社會(huì)公共安全的一種迫切需要。但由于人臉是一種復(fù)雜的三維非剛性物體，伴隨著表情，姿態(tài)和光照條件的變化，使得人臉的識(shí)別比傳統(tǒng)剛性物體的識(shí)別更加困難。國(guó)內(nèi)外，每年都有大量相關(guān)的文章出現(xiàn)。目前，常見的人臉識(shí)別算法有特征臉方法（Eigenface）、SVD分解方法、神經(jīng)網(wǎng)絡(luò)方法、支持向量機(jī)方法和彈性圖匹配方法（EGM）等。其中基于模板匹配的彈性圖匹配方法由于其具有較高的識(shí)別率，并且在一定程度上對(duì)背景、視角、表情、光照等不敏感而備受重視。本文提出了一種標(biāo)定特征點(diǎn)和模板特征點(diǎn)比對(duì)差距的駕駛員疲勞檢測(cè)的方法。

1 疲勞駕駛特征

所謂疲勞駕駛，作為一個(gè)行動(dòng)比較確定的機(jī)械化行為，由于駕駛員身體和精神上一直處于長(zhǎng)時(shí)間的操作，處于一個(gè)恒定持久的單一狀態(tài)，會(huì)出現(xiàn)情緒低落現(xiàn)象。駕駛員的疲勞狀態(tài)可通過面部視覺圖像進(jìn)行判斷，尤其是眼睛和嘴巴的判別等這些特征是明顯的，也是可以被檢測(cè)到的，駕駛員精力充沛時(shí)，眼睛是有一定的幾何大小的，有些許疲勞時(shí)，眼睛睜開的面積可能會(huì)變小，當(dāng)疲勞程度已經(jīng)比較嚴(yán)重的時(shí)候，他的眼睛可能會(huì)有一瞬幾秒的閉合。通過對(duì)眼睛和嘴巴的仔細(xì)追蹤，實(shí)時(shí)的定點(diǎn)比對(duì)，可以及時(shí)發(fā)現(xiàn)并對(duì)駕駛員發(fā)出報(bào)警信號(hào)，從而提醒駕駛員小心駕駛，警惕自己的疲勞。但是，單純的依靠眼睛，警報(bào)的準(zhǔn)確率是不高的。在此引入嘴巴的特征。如果駕駛員頻繁的打哈欠狀態(tài)或者長(zhǎng)時(shí)間處于說話張嘴狀態(tài)，比如與他人說話或者打電話在，都是精神不集中，反應(yīng)速度降低的表現(xiàn)。

1.1 眼部疲勞特征判別

通過取一定時(shí)間內(nèi)的圖片，然后計(jì)算閉合的圖片的比例。如果占的比例大，說明時(shí)間長(zhǎng)，說明疲勞嚴(yán)重。據(jù)一些資料表明用攝像機(jī)獲取駕駛員的臉部圖像，分幀后，經(jīng)過識(shí)別確定眼睛是睜開還是閉合的，判別只需看眼瞼遮住瞳孔的面積大小。比如說:用超過74%的大小的閉合認(rèn)為是疲勞，或者用遮住超過85%的大小認(rèn)為是眼睛閉合了。但是在實(shí)際中瞳孔的閉合程度不容易測(cè)，可行的簡(jiǎn)化方法是計(jì)算眼睛的閉合百分比m。m計(jì)算公式如下:

式（1）中，n1——當(dāng)前人眼睜開高度;n2——人眼睜開最大高度;對(duì)于人眼睜開時(shí)的大小的定義是存在難度的，因?yàn)檫@個(gè)數(shù)據(jù)是因人而異的，經(jīng)過統(tǒng)計(jì)可以得到一個(gè)估值，雖然不可能對(duì)何一個(gè)人都適用，但是仍然是有一定的使用度的。選擇4 s為一個(gè)測(cè)試周期，每秒的監(jiān)視頻率為12幀，也就是一個(gè)測(cè)量周期會(huì)選取48張圖片。用上述方法當(dāng)大于0.4，有將近10張圖片被判定為閉合狀態(tài)時(shí)，則認(rèn)為該人的情緒和機(jī)能處于疲勞狀態(tài)，上述算出來結(jié)果處于0.1～0.4之間時(shí)，判定為精神不飽滿狀態(tài)，當(dāng)m處于0.1以下，判定精神飽滿。

1.2 嘴巴疲勞特征

人的嘴部的在生活中的狀態(tài)有閉合、普通張嘴和張大嘴。人在說話或者笑的時(shí)候也會(huì)張開一定程度，甚至疲勞和大笑時(shí)是一樣大的弧度。不能只根據(jù)偶爾一張圖的駕駛員嘴部的狀態(tài)來斷駕駛員的狀態(tài)。要將嘴型的比例和采集圖片張大嘴的幀數(shù)放在一起比較。比如人打哈欠可以取2 s的視頻，如果有24幀圖像都是哈欠狀態(tài)，肯定疲勞。在此采用不同于眼部的這種方法，采用嘴部長(zhǎng)寬比的方法。如果1 s是25幀的圖像，那么全部圖像更可能都是哈欠狀態(tài)。那么一般哈欠都在4 s以上，提取4 s當(dāng)中，1 s 12幀的圖像，如果有大半數(shù)以上的圖片都是張大嘴，且張開的比例達(dá)到下面所說的疲勞的比例即可判斷。

嘴部區(qū)域的形狀在圖像當(dāng)中只能絕大部分通過嘴唇的定點(diǎn)采集到。如圖1所示，選取如下各個(gè)嘴部區(qū)域特征:A點(diǎn)為人的右嘴角標(biāo)記點(diǎn)，B為人的左嘴角標(biāo)記點(diǎn)，C點(diǎn)為人的上嘴唇中心最上點(diǎn)（可能實(shí)際操作中人的嘴唇比較薄就近選擇成人的上嘴唇中心），D點(diǎn)為人的下嘴唇中心最下點(diǎn)（可能實(shí)際操作中人的嘴唇比較薄就近選擇成人的下嘴唇中心），因此有如下定義:

（1）嘴部輪廓的最大寬度M。人的右左嘴角標(biāo)記點(diǎn)之間可以達(dá)到的正常的距離，即線段AB的長(zhǎng)度。

圖1 嘴型區(qū)域圖

（2）嘴部輪廓的最大高度L:人的上嘴唇中心最上下中心點(diǎn)的各種狀態(tài)距離，即線段CD的長(zhǎng)度。

實(shí)驗(yàn)得出，閉嘴時(shí)候M∶L之比約為4∶2，普通張嘴4∶3，張大嘴時(shí)候M∶L約為4∶4。眼睛和嘴巴上標(biāo)記點(diǎn)后，讀出長(zhǎng)寬比，與模板對(duì)應(yīng)。通過新標(biāo)記點(diǎn)和疲勞幀數(shù)與模板圖像對(duì)比，得出是否疲勞。

2 基于ASM模型的特征點(diǎn)定位

主動(dòng)形狀模型（ASM）是一種物體形狀描述技術(shù)，最早Cootes等人提出的。它的基本思想是選取一組訓(xùn)練樣本，用一組特征點(diǎn)來描述樣本的形狀，然后對(duì)各樣本的形狀進(jìn)行配準(zhǔn)（使得形狀盡可能地相似），對(duì)這些配準(zhǔn)后的形狀向量利用主分量分析方法進(jìn)行統(tǒng)計(jì)建模得到物體形狀的統(tǒng)計(jì)學(xué)描述，最后利用建立的模型在新的圖像中搜索物體輪廓，從而定位出目標(biāo)物體。

ASM是一種敏感的算法，主要敏感于初始狀態(tài)。初始狀態(tài)好不好與否直接影響最終搜索結(jié)果，所以要給予最優(yōu)的初始狀態(tài)，就要提出一種新的方法——最佳閾值分割法.單獨(dú)使用ASM不能獲取很精確的結(jié)果。因此，在此使用ASM與貝葉斯最佳閾值相結(jié)合的方法，利用最佳閾值給ASM提供一個(gè)合理的初始狀態(tài)。另外，ASM中的一個(gè)核心部分是用統(tǒng)計(jì)的方法建立所考察對(duì)象的形狀模型。這樣的定義方法是可以推廣的，例如可以用點(diǎn)的2－D坐標(biāo)，也可以用3－D坐標(biāo)，還可以加上時(shí)間軸的坐標(biāo)。為了建立統(tǒng)計(jì)模型，需要有大量樣本。同樣在這些訓(xùn)練標(biāo)本上需要仔細(xì)地標(biāo)定好上述用來表征目標(biāo)形狀的點(diǎn)，這些點(diǎn)的選取精度和樣本的豐富性直接影響所建立的形狀模型的應(yīng)用性能。

2.1 最佳閾值分割

閾值分割法的特點(diǎn)是:適用于目標(biāo)與背景灰度有較強(qiáng)對(duì)比的情況，而本文要研究的問題所處環(huán)境正是強(qiáng)對(duì)比性的環(huán)境下。采用基于貝葉斯分類算法的圖像最佳閾值分割。圖像預(yù)處理結(jié)果如圖2所示。

圖2 最佳閾值分割處理

2.2 眼睛和嘴部標(biāo)準(zhǔn)化

2.3 訓(xùn)練集建模

得到調(diào)整好的訓(xùn)練樣本后，就可以對(duì)訓(xùn)練集統(tǒng)計(jì)分析與建模，所得到的樣本集可看作是一堆點(diǎn)x的集合?，F(xiàn)在的任務(wù)是找這樣一個(gè)參數(shù)模型x=M（b），其中b是模型的參數(shù)向量。.如果給一個(gè)參數(shù)b，應(yīng)能用該模型生成一個(gè)x，并且這樣的x是有意義的。如果還能進(jìn)一步得到模型的參數(shù)分布P（b），用該模型解出適當(dāng)?shù)膮?shù)b，進(jìn)而完成對(duì)原始圖像的解釋。

下面是利用PCA方法進(jìn)行形狀模型建模的流程:

（1）計(jì)算樣本的均值。

（2）計(jì)算樣本的協(xié)方差矩陣。

（3）計(jì)算協(xié)方差矩陣W的特征值，并按特征值從大到小排序，即大的在最前面，小的在最后面，pi（i=1，2，…，M）為對(duì)應(yīng)的特征向量。

（4）令P=［p1，p2，…，pj］，1≤j≤M，在主要分析中，將特征向量稱為這組數(shù)據(jù)的主要成分，P稱為這組數(shù)據(jù)的主要成分矩陣。如上建立的模型可以表示如下:

對(duì)于任何一個(gè)形狀向量x都可由參數(shù)b確定，即

向量b即是所得到的模型參數(shù)，通過變化參數(shù)b，可以變化形狀向量以得到期望的結(jié)果。

通常假定參數(shù)b的分布是獨(dú)立同分布的且都是高斯分布的，則每一個(gè)參數(shù)b則都滿足如下分布:

為了從參數(shù)b得到有效的形狀，應(yīng)對(duì)參數(shù)b作如下的限制:

亦即:

更簡(jiǎn)單的形式是參數(shù)b滿足:

式（3）表明每一個(gè)特征值實(shí)際上在假設(shè)參數(shù)是獨(dú)立同分布的高斯分布時(shí)是參數(shù)的方差。為了保證模型生成的例子同原來的訓(xùn)練樣本一致，上面的約束條件是必要的。

2.4 ASM模型的搜索算法

主動(dòng)形狀模型的搜索過程是一個(gè)啟發(fā)的迭代搜索，其過程如下:

（1）由模板的形狀系數(shù)b和式（2）重構(gòu)出歸一化的形狀，再由幾何變換參數(shù)生成當(dāng)前的特征點(diǎn)集s=GT（b）;

（2）對(duì)特征點(diǎn)集中的每一個(gè)點(diǎn)Si，根據(jù)局部特征模型沿著發(fā)現(xiàn)方向在一定范圍內(nèi)尋找最佳的匹配點(diǎn)，這些最佳匹配點(diǎn)的集合就是更新后的特征點(diǎn)集S'，搜索的步長(zhǎng)和采樣間距相同;

（3）把更新后的特征點(diǎn)集與基準(zhǔn)特征集合對(duì)齊，得到新的集合參數(shù)P’和x’，使用式（6）可以得到形狀系數(shù)b;

（4）使用先驗(yàn)?zāi)Ｐ蚿（b）約束更新后的形狀;

（5）循環(huán)至收斂。

在主動(dòng)形狀模型算法中，如果特征點(diǎn)搜索的最佳匹配點(diǎn)和當(dāng)前點(diǎn)的距離不大于采樣間距時(shí)，認(rèn)為這個(gè)點(diǎn)是收斂的。當(dāng)收斂的特征點(diǎn)數(shù)達(dá)到總數(shù)的90%。

在求局部紋理模型時(shí)2k+1個(gè)點(diǎn)的灰度表達(dá)式:

灰度梯度表達(dá)式:

灰度值標(biāo)準(zhǔn)化:

標(biāo)準(zhǔn)灰度梯度的均值:

N幅圖標(biāo)準(zhǔn)灰度的協(xié)方差:

馬氏距離求法:

3 實(shí)驗(yàn)和結(jié)果

實(shí)驗(yàn)采用YALES和自建的人臉數(shù)據(jù)庫(kù)，是研究人臉識(shí)別問題常用的標(biāo)準(zhǔn)測(cè)試數(shù)據(jù)庫(kù)。人臉數(shù)據(jù)庫(kù)包含了15人，共165幅人臉圖像，大小為400×400像素。實(shí)驗(yàn)過程中只考慮姿態(tài)幾乎不變的人臉圖像，且把圖像歸一化為100×100大小。選取100幅圖像作為訓(xùn)練圖像，且在每幅訓(xùn)練圖像上手工標(biāo)定24個(gè)特征點(diǎn)，定位過程中，選取人臉的4個(gè)眼角點(diǎn)及兩個(gè)嘴角點(diǎn)為引導(dǎo)，建立ASM的初始模型，并通過‖F(xiàn)－‖對(duì)人臉圖像尺寸歸一化，如圖3、4所示。

圖3 部分人臉定位圖

圖4 特征點(diǎn)定位部分收斂圖

4 結(jié)論

首先，在程序中預(yù)存一些有特點(diǎn)的圖片，對(duì)這些圖片進(jìn)行處理，進(jìn)行手工描點(diǎn)同時(shí)建立與圖片相對(duì)應(yīng)的數(shù)據(jù)存儲(chǔ)文件，然后使用編輯好的Matlab程序進(jìn)行處理，由于ASM模型是基于統(tǒng)計(jì)的模型，所以這項(xiàng)工作是必要的，程序生成一個(gè)大致的人臉模型，再對(duì)所要處理的圖片自動(dòng)對(duì)人臉器官進(jìn)行收斂。實(shí)驗(yàn)結(jié)果表明，算法比傳統(tǒng)的ASM算法有更高的平均定位準(zhǔn)確率和更短的平均搜索定位時(shí)間，用動(dòng)態(tài)模型的匹配方法來適應(yīng)表情變化的人臉圖像主要特征點(diǎn)的定位。由于最后只需要眼角4個(gè)點(diǎn)和嘴角4個(gè)點(diǎn)的長(zhǎng)寬，那么對(duì)于定位人臉當(dāng)中缺失部分人眼，沒有造成過多影響，仍不妨礙判別。

［1］莊連生，張浩，楊俊安，莊鎮(zhèn)泉.基于ASM 的人臉特征點(diǎn)自動(dòng)標(biāo)定［J］.電路與系統(tǒng)學(xué)報(bào)，2006，11（3）:2-4

［2］韓艷麗，楊慧宇，蘇偉.基于分形和膚色模型的自然態(tài)人臉檢測(cè)方法研究［J］.計(jì)算機(jī)工程與設(shè)計(jì)，2009，30（1）:251-255

［3］陶亮，莊鎮(zhèn)泉.復(fù)雜背景下自動(dòng)人眼定位［J］.計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2003，15（1）:95-116

［4］丁嶸，等.使用關(guān)鍵點(diǎn)信息改進(jìn)彈性匹配人臉識(shí)別算法［J］.電子學(xué)報(bào)，2002，30（9）:123-127

［5］丁嶸，等.使用部件信息改進(jìn)彈性匹配人臉識(shí)別［J］.光電子激光，2002，13（8）:55-59

［6］張志斌，陳陽(yáng)月，楊玉珍.基于Blackfin533的駕駛疲勞實(shí)時(shí)檢測(cè)預(yù)警系統(tǒng)［J］.計(jì)算機(jī)測(cè)量與控制，200816（11）:1567-1570

［7］HAMARNEH G，GUSTAVSSON T.Statistically Constrained Snake Deformations［D］.Image Analysis Group，Chalmers University of Technology，IEEE，Sweden，2000.66-78

［8］YI K.WOO M，KIM S，et al.An Experimental Investigation of a CW/CA System for Automobiles Using Hardware-in-the loop Simulation.San Diego［D］.Proceeding of American control conference.2005.724-728

［9］H S R-L，JA A-K.Face detection in color images［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2002，24（5）:696-706

［10］HYUNJONG K，JEONHO S，JOONKI P.Wavelet Transform-based Active Shape Model for Object Tracking lntelligent Signal Processing and Systems，2004.256-261

［11］TAKAHASHI A，ASANUMA N.Introductinn of HONDA .ASV-2［M］.USA:Proceed of the IEEE Intelligent Vehicles Symposium，2000