基于多特征融合的疲勞駕駛狀態(tài)識(shí)別方法研究

胡峰松，程哲坤，徐青云，彭清舟，全夏杰

（湖南大學(xué)信息科學(xué)與工程學(xué)院，湖南長沙 410082）

隨著汽車數(shù)量的迅猛增長，汽車在給人們生活帶來快捷與便利的同時(shí)，頻繁的道路交通事故也帶來了慘重的經(jīng)濟(jì)損失，人民的生命安全受到了巨大的威脅，疲勞駕駛已成為全球一個(gè)嚴(yán)重而亟待解決的交通安全問題［1］.研究表明，應(yīng)用機(jī)器學(xué)習(xí)、模式識(shí)別等技術(shù)對(duì)疲勞駕駛狀態(tài)檢測(cè)識(shí)別及預(yù)警的方法效果較好［2-3］，能有效預(yù)防道路交通事故的發(fā)生，疲勞駕駛檢測(cè)技術(shù)已逐步從研究領(lǐng)域轉(zhuǎn)移到工業(yè)應(yīng)用領(lǐng)域并不斷發(fā)展完善［4-5］.

疲勞駕駛識(shí)別研究領(lǐng)域目前還存在很多難點(diǎn)，在不同的場(chǎng)景下如戴太陽鏡、光照明暗等都會(huì)影響識(shí)別的準(zhǔn)確率［4］.疲勞駕駛狀態(tài)信息包括眼部疲勞信息、嘴部疲勞信息和頭部疲勞信息，識(shí)別方法可分為單一特征疲勞信息識(shí)別和多特征疲勞信息識(shí)別，而單一特征疲勞信息識(shí)別的準(zhǔn)確率有待提高［6］.本文主要根據(jù)多特征疲勞信息來進(jìn)行疲勞駕駛狀態(tài)識(shí)別.首先，基于SVM的睜閉眼狀態(tài)識(shí)別算法判斷眼部疲勞狀態(tài)，然后通過嘴部高寬比和點(diǎn)頭頻率判斷嘴部和頭部疲勞狀態(tài)，最后融合多特征進(jìn)行疲勞駕駛狀態(tài)識(shí)別.

1 眼部疲勞狀態(tài)判斷

1.1 人眼定位

使用由Kazemi 和Sullivan 提出的基于級(jí)聯(lián)回歸樹的人臉關(guān)鍵點(diǎn)定位算法進(jìn)行人眼定位［7］.如圖1（a）中人臉特征點(diǎn)模型所示，根據(jù)圖中關(guān)鍵點(diǎn)序號(hào)可以知道每個(gè)特征點(diǎn)的位置，如左眼的序號(hào)為36～41，右眼的序號(hào)為42～47.根據(jù)眼部特征點(diǎn)的序號(hào)，提取的左、右眼部區(qū)域如圖1（b）所示的左、右長方形方框區(qū)域.其定位計(jì)算規(guī)則如下：

圖1 基于特征點(diǎn)的人眼定位示意圖Fig.1 Eye location schemes based on feature points

式中：We為人眼特征點(diǎn)36 到39 之間的水平距離，He為人眼特征點(diǎn)37到41之間和38到40之間垂直距離的平均值，而W和H為定位的眼部區(qū)域的寬和高.

1.2 基于SVM的睜閉眼狀態(tài)識(shí)別

為了能更為精準(zhǔn)地識(shí)別人眼睜閉狀態(tài)，使用兩個(gè)特征：人眼縱橫比和人眼黑色像素累積差值作為支持向量機(jī)SVM 分類器的輸入，使用SVM 來識(shí)別圖像中人眼的狀態(tài).

1.2.1 計(jì)算人眼縱橫比

為了能準(zhǔn)確快速識(shí)別眼睛的睜閉狀態(tài)，我們計(jì)算眼睛的高度和寬度之間的縱橫比（eye aspect ra?tio，EAR）.睜眼時(shí)的縱橫比在個(gè)體之間的差異基本上很小，并且對(duì)于圖像的均勻縮放和面部的旋轉(zhuǎn)是完全不變的［8］.圖2為左眼在睜開與閉合狀態(tài)下檢測(cè)到的6個(gè)關(guān)鍵點(diǎn)，眼睛縱橫比計(jì)算式為：

圖2 人眼6個(gè)關(guān)鍵點(diǎn)示意圖Fig.2 Schemes of the six key points of human eyes

為了精確地識(shí)別眼部狀態(tài)，取雙眼EAR 的平均值作為眼睛睜閉識(shí)別的特征：

計(jì)算視頻圖像連續(xù)200 幀左、右眼的縱橫比，得到的結(jié)果如圖3 所示.當(dāng)發(fā)生眨眼時(shí)，EAR 值迅速減小接近于0，然后慢慢增加至接近于正常情況下睜眼時(shí)的EAR值.

圖3 EAR均值結(jié)果圖Fig.3 EAR average results

1.2.2 基于自適應(yīng)閾值計(jì)算人眼黑色像素累積差值

定位人眼區(qū)域，然后選取局部自適應(yīng)閾值算法對(duì)人眼圖像進(jìn)行二值化，經(jīng)過形態(tài)學(xué)開閉操作和中值濾波處理后，能較好地呈現(xiàn)眼睛輪廓及細(xì)節(jié)，表1為右眼不同情況下的二值圖像.

表1 不同情況下的人眼二值圖像Tab.1 Binary images of human eyes under different conditions

當(dāng)人眼閉合時(shí)，盡管可能會(huì)受睫毛和眼瞼等暗區(qū)域的影響，但是最大暗部在瞳孔區(qū)域不會(huì)出現(xiàn).所以與睜眼相比，當(dāng)眼睛閉合時(shí)，二值圖像中的黑色像素的數(shù)量會(huì)急劇減少.但是，由于黑色像素的數(shù)量會(huì)隨著人眼與攝像頭之間距離的改變而改變，當(dāng)距離變大時(shí)，在圖像中眼睛區(qū)域縮小，因此黑色像素的數(shù)量減少.

為了減少人眼與攝像頭距離因素的影響，將人眼圖像歸一為同一尺寸，計(jì)算連續(xù)兩幀之間的黑色像素差.一般在兩個(gè)以上的連續(xù)幀中可以觀察到閉眼的動(dòng)作，因此當(dāng)連續(xù)兩幀的差值小于0 時(shí)，開始累計(jì)差值.人眼一次眨眼過程中，黑色像素?cái)?shù)量變化如圖4（a)所示.根據(jù)圖4 可以看到：第54 幀由于差值大于0而沒有累積差值，導(dǎo)致其被錯(cuò)誤地識(shí)別為睜眼狀態(tài).

圖4 黑色像素累積差值Fig.4 Cumulative difference of black pixels

根據(jù)文獻(xiàn)［9］提出的方法，使用自適應(yīng)閾值的方法累積差值.規(guī)定“狀態(tài)0”和“狀態(tài)1”兩種狀態(tài)，當(dāng)人眼區(qū)域二值化圖像的黑色像素的差值小于0 時(shí)，從“狀態(tài)0”變?yōu)椤盃顟B(tài)1”.在“狀態(tài)1”時(shí)，若差值小于閾值T(t)，累積差值并保持狀態(tài)不變；若差值大于或等于閾值T(t)，不累積差值且狀態(tài)變?yōu)椤盃顟B(tài)0”.請(qǐng)參考圖5.

圖5 自適應(yīng)閾值黑色像素累積差值算法流程Fig.5 Black pixel adaptive threshold cumulative difference algorithm process

計(jì)算方法如下：

式中：N(t)是第t幀的黑色像素?cái)?shù)量，ΔN(t)為第t幀與第t-1 幀之間的差值，D(t-1)為“狀態(tài)1”中在第t-1 幀的累積差值，α為0 到1 之間的恒定值，最優(yōu)α值通過檢測(cè)睜閉眼的準(zhǔn)確性確定.由第t-1 幀的累積差值D(t-1)得到第t幀的自適應(yīng)閾值T(t).使用自適應(yīng)閾值可正確地將第54 幀識(shí)別為閉眼.圖6 為使用自適應(yīng)閾值計(jì)算人眼二值圖像的黑色像素累積差值的結(jié)果圖，可以看出該方法能較好地識(shí)別閉眼狀態(tài).

圖6 自適應(yīng)黑色像素累積差值Fig.6 Adaptive black pixel cumulative difference

1.2.3 睜閉眼狀態(tài)測(cè)試

從ZJU眨眼視頻數(shù)據(jù)集［10］的80個(gè)視頻中選取睜眼樣本2 000張，閉眼樣本700張；從NTHU 駕駛員疲勞檢測(cè)視頻數(shù)據(jù)集［11］中選取睜眼樣本2 000張，閉眼樣本1 300張；同時(shí)自采集睜眼樣本2 000張、閉眼樣本4 000 張，總共采集睜、閉眼圖像各6 000 張.對(duì)人眼縱橫比、黑色像素累積差值這兩類特征參數(shù)數(shù)據(jù)進(jìn)行歸一化處理.在進(jìn)行分類器訓(xùn)練前，需要選擇合適的核函數(shù)，當(dāng)特征與分類標(biāo)簽之間的關(guān)系為非線性時(shí)，選擇RBF 核函數(shù)，故本文采用RBF 核函數(shù)進(jìn)行模型訓(xùn)練.

從樣本數(shù)據(jù)中選擇8 000組數(shù)據(jù)進(jìn)行訓(xùn)練，剩余的4 000組數(shù)據(jù)對(duì)睜閉眼狀態(tài)進(jìn)行測(cè)試，其測(cè)試結(jié)果如表2所示.

表2 睜閉眼狀態(tài)檢測(cè)結(jié)果Tab.2 Test results of open state and shut-down state

從表2 可以看出，提出的方法對(duì)睜閉眼狀態(tài)識(shí)別的準(zhǔn)確率較高.表3 為使用不同算法的識(shí)別結(jié)果對(duì)比.

表3 不同算法識(shí)別結(jié)果對(duì)比Tab.3 Identified results comparison of different algorithms

1.3 眼部疲勞信息提取

當(dāng)人處于疲勞狀態(tài)時(shí)，會(huì)出現(xiàn)眨眼頻率增加、閉眼時(shí)間增長、打哈欠等現(xiàn)象，嚴(yán)重時(shí)甚至?xí)霈F(xiàn)打瞌睡的現(xiàn)象.研究發(fā)現(xiàn)，人在正常情況下每分鐘眨眼10次到25 次不等，眨眼一次眼睛閉合持續(xù)的時(shí)間約為0.2 s左右.根據(jù)這一現(xiàn)象，本文選取最能表現(xiàn)疲勞狀態(tài)的三個(gè)眼部指標(biāo)作為眼部疲勞特征參數(shù)：基于PERCLOS 準(zhǔn)則［13］的ECR（閉眼幀數(shù)所占比）、MECT（最長持續(xù)閉眼時(shí)間）和BF（眨眼頻率）.

1.4 眨眼檢測(cè)

由圖3 的EAR 值計(jì)算結(jié)果可知，一次眨眼過程中，EAR 值先減小直至接近于零，然后逐漸增大至正常睜眼狀態(tài)值.設(shè)E為EAR 閾值，K為判斷眨眼的幀數(shù)閾值.當(dāng)EAR 小于閾值E時(shí)，眼睛開始閉合；當(dāng)其值接近于正常睜眼狀態(tài)值即大于E時(shí)，眼睛完全睜開.我們統(tǒng)計(jì)該過程中EAR

為了尋找最優(yōu)閾值E和K，我們?cè)赯JU 眨眼數(shù)據(jù)集上進(jìn)行實(shí)驗(yàn).ZJU中80個(gè)視頻包含四種主題：未戴眼鏡的正面視頻、戴薄邊框眼鏡的正面視頻、戴黑框眼鏡的正面視頻及未戴眼鏡向上仰角的視頻，每個(gè)主題20 組視頻，每個(gè)視頻中眨眼次數(shù)1 到6 次不等，數(shù)據(jù)集中總共包含255 次眨眼.圖7 為不同EAR 閾值E值與連續(xù)視頻幀數(shù)閾值K值下眨眼檢測(cè)結(jié)果的精確率.根據(jù)圖7 的結(jié)果，我們?cè)谔崛⊙劬ζ趨?shù)眨眼頻率時(shí)，選擇計(jì)算EAR 小于閾值E=0.24 時(shí)的連續(xù)幀數(shù).當(dāng)EAR 大于該閾值時(shí)，若連續(xù)幀數(shù)也大于閾值K=3，則記一次眨眼.計(jì)算一個(gè)時(shí)間周期內(nèi)眨眼的次數(shù)，即為眨眼頻率.

圖7 EAR閾值、幀數(shù)K值尋優(yōu)結(jié)果Fig.7 The optimization results under different EAR threshold and frame number K values

以60 s 為一個(gè)時(shí)間周期，對(duì)周期內(nèi)人眼狀態(tài)進(jìn)行統(tǒng)計(jì)分析，得到眼部疲勞特征統(tǒng)計(jì)值.以0 表示清醒狀態(tài)，1 表示疲勞狀態(tài)，記最長閉眼時(shí)間為MECT，閉眼幀數(shù)所占比為ECR，眨眼次數(shù)為BF.經(jīng)實(shí)驗(yàn)及參考相關(guān)文獻(xiàn)，得出三個(gè)眼部疲勞特征值之間的疲勞閾值如式（6）所示.

2 嘴部疲勞狀態(tài)判斷

嘴部檢測(cè)定位的方法很多.基于級(jí)聯(lián)回歸樹（Ensemble of Regression Tress，ERT）算法［10］的人臉關(guān)鍵點(diǎn)檢測(cè)中，嘴部的位置序號(hào)為48～67.因此，我們可以根據(jù)該序號(hào)來定位嘴部并識(shí)別其狀態(tài).

本文主要通過計(jì)算嘴部高寬比（MAR）來判斷嘴部狀態(tài).為了使MAR 值更為精準(zhǔn)，如圖8 所示，標(biāo)記的P1～P10用來計(jì)算MAR 的10個(gè)特征點(diǎn)，歐氏距離的計(jì)算公式可參照式（7）.

圖8 嘴部10個(gè)關(guān)鍵點(diǎn)示意圖Fig.8 Diagram of the mouth’s ten key points

我們知道，正常駕駛情況下，嘴部處于閉合狀態(tài)；當(dāng)與他人說話時(shí)，嘴唇處于開合不斷變化狀態(tài)，且張開幅度不大；而當(dāng)處于疲勞打哈欠狀態(tài)時(shí)，嘴巴張開幅度很大且持續(xù)時(shí)間較長［14］.為了判斷嘴部狀態(tài)如講話、打哈欠等，使用基于高寬比的方法在樣本上進(jìn)行實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖9 所示.由圖9 可知：當(dāng)MAR ≤0.4 時(shí)，嘴巴是閉合的；當(dāng)0.4 0.8 時(shí)，處于打哈欠狀態(tài).根據(jù)上述分析，可以使用MAR 作為特征來識(shí)別嘴部狀態(tài).

圖9 嘴部MAR檢測(cè)結(jié)果圖Fig.9 MAR test results in the mouth

當(dāng)駕駛者處于困倦狀態(tài)時(shí)，會(huì)接連不斷地打哈欠，每次打哈欠嘴部持續(xù)張開時(shí)間約6 s，此時(shí)就需要停車休息，不宜繼續(xù)駕駛.根據(jù)該現(xiàn)象，我們可以檢測(cè)一個(gè)時(shí)間周期內(nèi)司機(jī)打哈欠的次數(shù)，并據(jù)此來評(píng)估其是否疲勞.為了正確識(shí)別打哈欠狀態(tài)，我們?cè)赮awDD 數(shù)據(jù)集［15］上進(jìn)行實(shí)驗(yàn)，不斷改變MAR 的閾值和連續(xù)幀數(shù)值，尋找最優(yōu)高寬比MAR 的閾值M，并定義MAR 值高于閾值M的連續(xù)幀數(shù)為打哈欠的閾值K.找到最優(yōu)閾值M=0.7 和K=15 后，在數(shù)據(jù)集上檢測(cè)打哈欠，準(zhǔn)確率約為95.6%.當(dāng)嘴部高寬比MAR 連續(xù)15幀大于0.7時(shí)，我們則記一次打哈欠.圖10中的t1到t4的時(shí)間差即為一次哈欠時(shí)間，當(dāng)嘴部張開程度超過閾值時(shí)，我們檢測(cè)是否打哈欠.以0 表示正常狀態(tài)，1表示疲勞狀態(tài)，嘴部疲勞狀態(tài)取值條件如式（8）所示：

圖10 嘴部狀態(tài)示意圖Fig.10 The mouth state diagram

式中：YF 表示打哈欠的次數(shù)，YT 為打一次哈欠持續(xù)的時(shí)間，閾值取N=3，t=4 s.

3 頭部疲勞狀態(tài)判斷

駕駛員駕駛過程中的點(diǎn)頭頻率的檢測(cè)是對(duì)頭部運(yùn)動(dòng)分析的關(guān)鍵，也是疲勞駕駛檢測(cè)的重要因素.當(dāng)一個(gè)時(shí)間周期內(nèi)點(diǎn)頭頻率超過某個(gè)閾值時(shí)，可以認(rèn)為駕駛員處于疲勞狀態(tài).

依據(jù)定位到的眼部特征點(diǎn)位置信息，從實(shí)時(shí)性和準(zhǔn)確性出發(fā)，本文提出了一種基于二維垂直方向的點(diǎn)頭頻率特征分析算法.取定位的雙眼的中心點(diǎn)連線的中點(diǎn)作為頭部位置檢測(cè)點(diǎn)，根據(jù)該檢測(cè)點(diǎn)在垂直方向上坐標(biāo)y隨時(shí)間的變化情況，計(jì)算一個(gè)時(shí)間周期內(nèi)的點(diǎn)頭頻率.圖11 為駕駛員打瞌睡時(shí)的y值與幀數(shù)之間的關(guān)系圖.

圖11 頭部運(yùn)動(dòng)分析圖Fig.11 Head motion analysis diagram

算法過程如下：當(dāng)視頻幀數(shù)較多時(shí)，圖像可近似擬合為曲線，計(jì)算曲線極值點(diǎn)，極值點(diǎn)可將曲線分成許多單調(diào)的曲線.經(jīng)實(shí)驗(yàn)得出，統(tǒng)計(jì)一個(gè)時(shí)間周期內(nèi)單調(diào)遞減段極小值點(diǎn)y值大于初始位置50 像素的極值點(diǎn)個(gè)數(shù)，即為點(diǎn)頭次數(shù)NF；若曲線沒有極小值點(diǎn)，則判斷曲線是否單調(diào)遞減，若為單調(diào)遞減，則點(diǎn)頭次數(shù)NF為1，否則為0.NF取值如式（9）所示：

若一個(gè)時(shí)間周期內(nèi)點(diǎn)頭次數(shù)NF 大于某個(gè)閾值，則NF 疲勞特征參數(shù)值為1，否則為0.經(jīng)實(shí)驗(yàn)和相關(guān)文獻(xiàn)可知：取N=10時(shí)，疲勞狀態(tài)檢測(cè)準(zhǔn)確率最高.

4 基于多特征加權(quán)和的疲勞狀態(tài)識(shí)別

4.1 疲勞狀態(tài)識(shí)別算法

依據(jù)單一的疲勞特征來評(píng)估疲勞狀態(tài)，其準(zhǔn)確率要比將多個(gè)疲勞特征融合進(jìn)行識(shí)別的方法低［16］.因此，根據(jù)上述眼部、嘴部及頭部的疲勞特征參數(shù)，本文提出了基于多特征加權(quán)和的疲勞等級(jí)識(shí)別算法，算法具體步驟如下.

將眼部、嘴部及頭部的五個(gè)疲勞特征指標(biāo)各自取權(quán)重值，經(jīng)實(shí)驗(yàn)，其權(quán)重取值如表4所示.

表4 各疲勞特征參數(shù)的權(quán)重取值Tab.4 The weight of each fatigue characteristic parameter values

根據(jù)疲勞參數(shù)加權(quán)后值的不同，將狀態(tài)分為三個(gè)等級(jí)：清醒、疲勞、重度疲勞.特征參數(shù)加權(quán)和計(jì)算如式（10）所示：

5個(gè)特征參數(shù)值分別乘以其對(duì)應(yīng)的權(quán)重值，求和后便得到特征參數(shù)加權(quán)疲勞值F.

綜合特征參數(shù)的權(quán)重值和疲勞等級(jí)，將特征參數(shù)加權(quán)值與疲勞等級(jí)相對(duì)應(yīng)，根據(jù)對(duì)應(yīng)關(guān)系便能判斷出駕駛員的駕駛狀態(tài).對(duì)應(yīng)關(guān)系如表5所示.

表5 疲勞值與疲勞等級(jí)對(duì)應(yīng)關(guān)系表Tab.6 The relationship between the values of fatigue and fatigue level

4.2 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證研究方法的性能，本文的實(shí)驗(yàn)在64 位操作系統(tǒng)的PC 上進(jìn)行，采用python 編程語言，并結(jié)合Opencv 2.4.13 和Dlib18.17 函數(shù)庫進(jìn)行分析.實(shí)驗(yàn)測(cè)試數(shù)據(jù)來自NTHU 駕駛員疲勞檢測(cè)視頻數(shù)據(jù)集的部分?jǐn)?shù)據(jù).該測(cè)試數(shù)據(jù)中有5 種不同場(chǎng)景：白天戴眼鏡、戴太陽鏡和不戴眼鏡，晚上戴眼鏡和不戴眼鏡.每個(gè)場(chǎng)景中選取5 組數(shù)據(jù)，每組數(shù)據(jù)包含清醒、疲勞和重度疲勞狀態(tài).

本文以60 s 為一個(gè)時(shí)間周期檢測(cè)駕駛員疲勞狀態(tài)，表6 為在不同場(chǎng)景下疲勞識(shí)別的結(jié)果，表7 為白天戴眼鏡情況下各特征參數(shù)的計(jì)算結(jié)果、疲勞值與對(duì)應(yīng)的疲勞識(shí)別結(jié)果.

表6 不同環(huán)境下疲勞識(shí)別結(jié)果Tab.6 Fatigue identification results under different environment

表7 白天戴眼鏡疲勞識(shí)別結(jié)果Tab.7 Fatigue recognition results with glasses in the daytime

由表6 可以看出，本文提出的疲勞識(shí)別方法在白天的識(shí)別準(zhǔn)確率比夜晚要好，在戴太陽鏡時(shí)識(shí)別的精度較低，但是就整體而言，識(shí)別效果較好.

5 結(jié)束語

本文提出了一種融合三類疲勞參數(shù)指標(biāo)加權(quán)和的疲勞識(shí)別方法，建立了疲勞識(shí)別系統(tǒng)，根據(jù)相應(yīng)的比重進(jìn)行加權(quán)計(jì)算疲勞值來判斷駕駛者的疲勞程度.實(shí)驗(yàn)表明：本文的疲勞識(shí)別算法準(zhǔn)確率較高，且效果較好.本文研究的算法，雖然在一定程度上能進(jìn)行疲勞識(shí)別，但在太陽光很強(qiáng)和夜晚時(shí)的識(shí)別率還不理想.今后的研究可針對(duì)不同光照環(huán)境進(jìn)行不同的光照處理，將該識(shí)別方法擴(kuò)展到適用于更多的駕駛環(huán)境.另外，因?yàn)樵撟R(shí)別方法只根據(jù)駕駛員的面部特征進(jìn)行疲勞識(shí)別，未能考慮車輛特征如車輛偏移、車速、轉(zhuǎn)達(dá)向盤轉(zhuǎn)向等特征參數(shù)的影響，如何融合這些特征參數(shù)進(jìn)一步提高識(shí)別的準(zhǔn)確率，是下一步的研究方向.