一種基于多傳感器融合的疲勞駕駛檢測方法

張長隆

?

一種基于多傳感器融合的疲勞駕駛檢測方法

張長隆1,2

（1.湖南大學 電氣與信息工程學院，湖南 長沙 410000；2.長沙智能駕駛研究院有限公司，湖南 長沙 410000）

為減少交通事故，提出一種基于多特征融合的疲勞檢測方法，以提高疲勞檢測精度。其檢測方法是：首先通過響應的傳感器采集駕駛員眼部、嘴部及車輛方向盤特征，再經(jīng)過狀態(tài)判別單元綜合處理，最終判定駕駛員是否處于疲勞駕駛狀態(tài)。通過三個特征的融合，開啟疲勞駕駛檢測門限條件，并對三種特征分別取不同的權(quán)重，運用Fisher線性判別算法進行分類，最終對駕駛員是否在疲勞駕駛做出判定。最后通過實驗驗證了基于多特征融合的疲勞檢測方法較之單一要素檢測的準確率更高，并能夠?qū)崟r監(jiān)測，具有可行性與正確性。

疲勞駕駛；方向盤特征；眼部特征；嘴部特征；特征融合

1 引言

隨著社會經(jīng)濟的發(fā)展，機動車輛與日俱增，疲勞駕駛一直是影響駕駛安全的重要因素之一。據(jù)調(diào)查，我國與疲勞相關(guān)的交通事故占事故總數(shù)的20%左右，占重特大交通事故的40%以上[1]。因此，為減少疲勞駕駛而引起的交通事故和保障人們的人身安全，研究有效的方法來實時檢測駕駛員的疲勞狀態(tài)是非常必要和具有重要意義的。

目前，國內(nèi)外對駕駛員疲勞駕駛檢測的方法主要有：主觀檢測和客觀檢測。其中，主觀檢測方法主要有：駕駛員自我記錄表、皮爾遜疲勞量表、睡眠習慣自我記錄表、斯坦福睡眠尺度表[2]。

客觀檢查方法主要包括：

1）駕駛員生理參數(shù)，比如腦電圖、心電圖、肌電圖、脈搏等特征；此方法的優(yōu)點是能夠準確的判斷出駕駛員是否處于疲勞狀態(tài)，尤其是腦電是測量睡眠的金標準，其缺點也顯而易見，這種方法需要一些電線或電極接觸駕駛員身體，不受駕駛員歡迎[3]。

2）駕駛員行為特征，包括PECRCLOS法、點頭時間檢測、視線方向檢測、點頭頻率等；3）車輛特征，包括方向盤轉(zhuǎn)動變化特征、手握方向盤力度特征、車道偏離特征、前方車距等。

主觀評價雖然容易實現(xiàn)，但是它僅僅是駕駛員的主觀判斷，駕駛員所處的環(huán)境不同、記憶力相異、身體狀況和個體差異，都會影響判斷。當今的研究熱點是將多重駕駛疲勞檢測方法有機融合，并綜合判斷。因為多源信息融合可以彌補單個檢測方案的局限性及不足，從多個方面全方位的判定駕駛員的疲勞程度[4][5]，使檢測系統(tǒng)具有更強烈的實用性和精確度。

本文結(jié)合實際道路條件，進行駕駛員疲勞駕駛測試，分析了駕駛員疲勞情況下的方向盤操作特征，從方向盤修正頻度、幅度、時間三個方面并融合眼部及嘴部的特征，建立了駕駛員疲勞狀態(tài)實時監(jiān)測系統(tǒng)，并在駕駛模擬器上進行仿真驗證。

2 基于特征融合的疲勞算法

如圖1所示，為基于特征融合的疲勞駕駛檢測系統(tǒng)示意圖，其中包括三個單元，分別是：1）數(shù)據(jù)采集單元，包括視覺-面部特征傳感器及車輛狀態(tài)傳感器；2）狀態(tài)判別單元，包括眼部、嘴部及方向盤特征的數(shù)據(jù)融合；3）報警單元，本系統(tǒng)采用聲音預警提示。

圖1 基于特征融合的疲勞駕駛檢測系統(tǒng)示意圖

2.1 基于眼部及嘴部特征的疲勞駕駛檢測

基于駕駛員眼部及嘴部特征的疲勞檢測可以大致分為兩個部分：眨眼（或眼睛微閉，此時眨眼次數(shù)增多，且眨眼速度變慢）及打哈欠（嘴巴張大且相對較長時間保持這一狀態(tài)），分別對應為眼部特征、嘴部特征。本文從跟蹤定位眼部及嘴部入手，利用圖像處理技術(shù)通過對駕駛員眨眼及打哈欠的情況進行監(jiān)測，發(fā)現(xiàn)疲勞狀態(tài)時進行報警提示。

如圖2所示，為基于眼部及嘴部特征的疲勞駕駛檢測流程示意圖。

圖2 基于眼部及嘴部特征的疲勞駕駛檢測流程示意圖

基于駕駛員眼部及嘴部特征的疲勞檢測具體流程為：

Step1：提取圖像幀，進行人臉檢測，并對人臉的眼部及嘴部進行粗定位；

Step2：眼部及嘴部精確定位，基于68點的landmark點的標號直接定位眼睛位置，計算眼睛的睜開度同時，利用OpenCV的人臉檢測算法及Harris角點檢測算法，獲取嘴部特征值K1。若k1大于閾值T1，則進行Step3，否則K2=K1/2，count=0回到step1，進行下一幀圖像的提取，重新進行駕駛員人臉檢測；

Step3：提取眼部外輪廓，通過左右眼的各六個特征點，進行長寬比計算，表征了駕駛員眼睛的睜開度，通過設(shè)定一個初始閾值來確定駕駛員的眼睛是睜開還是閉上。同時，提取嘴部內(nèi)輪廓，取嘴巴的寬度值和高度值之比，做為特征值K2，若K2大于閾值T2，則Step4，否則count=0，返回Step1，檢測下一幀；

Step4：統(tǒng)計哈欠特征count=count+1，當count超過閾值且下一幀的哈欠特征消失，保存count到Y(jié)awn，Yawn(i)= count，count=0（count清0，回到Step1，否則直接跳轉(zhuǎn)到Step1；

Step5：基于眼部及嘴部的特征融合及決策，分析完1min內(nèi)所有圖像，計算眨眼及打哈欠特征總數(shù)，并計算眨眼及打哈欠的頻率，當打哈欠的頻率大于10%時則認為是深度哈欠或者至少連續(xù)兩個淺哈欠，則發(fā)出疲勞預警。然后根據(jù)PERCLOS值作為可靠指標，分別將眼部特征和嘴部特征取不同的權(quán)重，其中，眼部特征的權(quán)重為0.8.嘴部特征的權(quán)重為0.5，首先計算單一指標的疲勞程度，然后將對應的權(quán)重與單一疲勞度相乘甲醛，綜合疲勞值為0-0.23為清醒狀態(tài)，0.23-0.69為輕度疲勞，0.69-2.3為重度疲勞。

2.2 基于方向盤特征的疲勞駕駛檢測

研究發(fā)現(xiàn)，隨著駕駛?cè)似诔潭鹊脑黾?，對方向盤的控制精度降低。當駕駛員處于正常駕駛狀態(tài)時，方向盤轉(zhuǎn)角的幅度較小，轉(zhuǎn)向頻率較大[6]。而當駕駛員處于疲勞駕駛狀態(tài)時，對方向盤操作表現(xiàn)出低頻大幅修正特征以及長時間持續(xù)不動后大幅快速修正特征[7]。可見通過檢測方向盤的轉(zhuǎn)動情況，可以判斷駕駛?cè)说钠谒?。當檢測到方向盤持續(xù)長時間的不動時，判定為疲勞駕駛，發(fā)出預警[8]。

方向盤特征采集的方法是：通過羅技模擬器模擬駕駛員相關(guān)動作，并選取車速為中速時的情況，進行駕駛過程中方向盤數(shù)據(jù)的采集。

疲勞判定條件如表1所示，為三種，分別為：1）10秒之內(nèi)方向盤的修正頻度，即在10s內(nèi)僅出現(xiàn)2-4次的修正頻度時，可以進行駕駛員疲勞提醒；2）方向盤轉(zhuǎn)角絕對值，即，在沒有轉(zhuǎn)向燈信號的情況下，認為車輛處于直行狀態(tài)，在直行的情況下，出現(xiàn)6度以上的修正角度，則可以進行駕駛員疲勞提醒；3）方向盤持續(xù)不動時間，即車輛在中速行駛的過程中，考慮到方向盤轉(zhuǎn)向裕度，如果出現(xiàn)4s中未對方向盤進行任何操作，則認為駕駛員處于疲勞狀態(tài)。

表1 基于方向盤三大特征的疲勞駕駛判定指標

2.3 基于眼部、嘴部及方向盤特征融合的疲勞駕駛檢測

以上我們描述了幾種常用的疲勞駕駛檢測方法，在得到以上數(shù)據(jù)的基礎(chǔ)上，我們首先將方向盤4S不動作為疲勞駕駛檢測系統(tǒng)開啟條件。之后將眼部、嘴部及方向盤特征信息進行加權(quán)統(tǒng)計，利用Fisher線性判別算法對駕駛員疲勞狀態(tài)進行綜合判定，利用有向無環(huán)圖模型進行數(shù)據(jù)分析，最終給出駕駛員的疲勞狀態(tài)的判定結(jié)果。如圖3所示，為基于特征融合的疲勞駕駛檢測流程圖。

圖3 基于特征融合的疲勞駕駛檢測流程圖

具體流程為：

Step1：根據(jù)方向盤轉(zhuǎn)角特征，判定方向盤在4s的時間內(nèi)是否發(fā)生轉(zhuǎn)動；

Step2：若發(fā)生轉(zhuǎn)動，則進入基于眼部及嘴部特征的疲勞駕駛檢測和基于方向盤特征的疲勞駕駛檢測；若沒有發(fā)生轉(zhuǎn)動，則進入step1；

Step3：特征融合之數(shù)據(jù)融合，即利用Fisher線性判別算法對駕駛員疲勞狀態(tài)進行綜合判定。

其中Step3的Fisher線性分類器決策的出發(fā)點是：把所有的樣本都投影到一維空間，使得投影后兩類相隔盡可能遠，而對同一類的樣本又盡可能聚集。其判別算法如式（1）所示：

式中，1為駕駛員眼部及嘴部融合特征；

2為方向盤特征；

1、2、3為清醒、輕度疲勞、重度疲勞三種狀態(tài)下的判別函數(shù)；

a、b、c（i=1,2,3）為Fisher算法系數(shù)，通過參與訓練的樣本決定。

Step4：特征融合之數(shù)據(jù)分析決策，即在經(jīng)過Step3的數(shù)據(jù)融合之后，對數(shù)據(jù)進行分析決策，得出最終的疲勞判定結(jié)果。

其中Step4的數(shù)據(jù)分析決策采用基于改進的支持向量機的學習方法，支持向量機(SVM)是一種基于結(jié)構(gòu)風險最小化準則的學習方法，是借助最優(yōu)化方法，解決機器學習問題的一種二分類工具，對小樣本、非線性以及高位識別問題更具有優(yōu)勢。而本文經(jīng)過數(shù)據(jù)融合處理后的特征為多個特征，即：基于眼部及嘴部、基于方向盤10秒內(nèi)修正頻度以及基于方向盤轉(zhuǎn)角絕對值三個特征。在此采用將多個SVM進行組合的方法，即有向無環(huán)圖模型。該方法的優(yōu)勢在于分類速度快，且沒有分類重疊和不可分類的情況。在對多個“一對一”二元子分類器進行組合的過程中，引入圖論中有向無環(huán)圖的思想，將多個二元分類器組合成多元分類器。對于一個m元的分類問題，有向無環(huán)圖共有(-1)/2個節(jié)點，對應(-1)/2個二元分類器，分布于m層結(jié)構(gòu)中。如圖4所示，為有向無環(huán)圖結(jié)構(gòu)示意圖。頂層只含有1個節(jié)點，成為根節(jié)點，第二層含有2個節(jié)點，以此類推，第i層有i個節(jié)點，最底層有m個葉節(jié)點，其中，第j蹭的第i個節(jié)點只想第j+1層的第i個和第i+1個節(jié)點。

對于給定的輸入樣本X，從根節(jié)點出發(fā)，計算每個節(jié)點的決策函數(shù)值，若為1，則從左邊進入下一個節(jié)點，若為-1，則從右邊進入下一節(jié)點，然后計算下一個節(jié)點的值，以此類推，在最后一層葉節(jié)點處的輸出就表示了X所屬的類別。

基于三通道信息的疲勞駕駛行為分析共有三個狀態(tài)，即清醒、疲勞、重度疲勞，因而需要構(gòu)建3個SVM，每次判斷時，調(diào)用2個分類器即可，各SVM的優(yōu)化參數(shù)通過訓練樣本給出。

圖4 有向無環(huán)圖結(jié)構(gòu)示意圖

3 實驗數(shù)據(jù)

由于實驗條件的限制，并考慮到疲勞駕駛這一實驗的安全性，本文算法的方向盤數(shù)據(jù)采集基于羅技模擬駕駛實驗平臺。通過串口實時獲取駕駛行為數(shù)據(jù)，包括仿真時間、方向盤轉(zhuǎn)角、方向盤轉(zhuǎn)角速度、檔位信息、離合踏板位置、剎車踏板位置、加速踏板位置等變量。如圖5所示，為在100ms的采樣頻率下，模擬駕駛平臺的輸出數(shù)據(jù)。

圖5 模擬駕駛平臺的輸出數(shù)據(jù)

同時，為了在實驗過程中能盡快出現(xiàn)疲勞駕駛狀態(tài)，對參與實驗的部分駕駛?cè)藛T進行睡眠限制，實驗前一天限制參與實驗的駕駛?cè)藛T睡眠時間為1:00am-6:00am 共5h，實驗當天上午禁止駕駛?cè)孙嬀?、茶和咖啡。駕駛模擬實驗選在駕駛?cè)俗钜壮霈F(xiàn)疲勞的時間段進行，開始時間為14:00pm，持續(xù)2h。選取了300個測試樣本，其中，清醒狀態(tài)的樣本為184個，疲勞樣本為116個。通過本文提出的融合算法進行樣本疲勞狀態(tài)識別，其中清醒狀態(tài)的正確檢測數(shù)量為172個，疲勞狀態(tài)的樣本正確檢測數(shù)量為100個，經(jīng)統(tǒng)計清醒與疲勞狀態(tài)的正確識別率為90.6%。而基于單一面部特征的清醒狀態(tài)的正確檢測數(shù)量為164個，疲勞狀態(tài)的樣本正確檢測數(shù)量為91個，檢測準確率為85%，基于單一方向盤特征的清醒狀態(tài)的正確檢測數(shù)量為157個，疲勞狀態(tài)的樣本正確檢測數(shù)量為81個，檢測準確率為79.3%。如表2所示，為基于單一特征和基于多傳感器融合的疲勞駕駛檢測方法的判定結(jié)果。

表2 基于單一特征和基于多傳感器融合的疲勞駕駛檢測方法的判定結(jié)果

4 結(jié)束語

在研究了多種疲勞駕駛檢測方法的基礎(chǔ)上，提出了基于眼部、嘴部及方向盤特征融合的疲勞駕駛檢測系統(tǒng)。該方法利用OBD傳感器獲取車輛本身的信息，比如方向盤轉(zhuǎn)動信息、轉(zhuǎn)向燈信息、車輛加速度等，同時，利用CCD攝像頭獲取駕駛員眼部及嘴部特征，融合眼部、嘴部三方面的特征對駕駛員疲勞狀態(tài)進行檢測。最后，在保證安全的情況下，利用駕駛模擬器進行了仿真實驗，在不降低檢測速度的情況下，提高了檢測精度，漏檢誤檢少，受環(huán)境影響小，成本低等特點。

[1] 2006年全國道路交通事故情況, 道路交通管理,2007(2):22-23.

[2] Friedrichs F, Yang Bin. Drowsiness Monitoring by Steering and Lane Data Based Feathers under Real Driving Conditions. 18th European Signal Processing Conference, Aalborg, 2010:23-27.

[3] 王磊,吳曉娟,俞夢孫駕駛疲勞磕睡檢測方法的研究進展陰生物醫(yī)學工程學雜志,2007,24(1):245-248.

[4] Wierwille W W, Ellsworth L A, Wreggit S S, et al. Research on Vehicle-Based Driver Status/Performance Monitoring: Development, Validation, and Refinement of Algorithms for Detection of Driver Drowsiness. Report DOT-HS-808-247, NHTSA, US Department of Transportation, 1994.

[5] Wylie C D,Shultz T,Mitler M M,et al.Commercial motor vehicle driver fatigue and alertness study: Technical summary[R].

[6] 李偉,何其昌,范秀敏.基于汽車操縱信號的駕駛?cè)似跔顟B(tài)檢測. 上海交通大學學報,2010, 44(2): 292-295.

[7] 李嘯.轉(zhuǎn)向盤轉(zhuǎn)角特性在駕駛疲勞檢測中的應用研究[D].北京林業(yè)大學, 2009.

[8] 張希波.基于方向盤操作的駕駛?cè)似跈z測方法研究[碩士學位論文].北京:清華大學,2009.

A Fatigue Driving Detection Method Based On Multi-Sensor Fusion

Zhang Changlong1,2

( 1.Hunan Univessity College of Electrical and Information Engineering, Hunan Changsha 410000; 2.Changsha Intelligent Driving Research Institute Co., Ltd, Hunan Changsha 410000 )

In order to reduce traffic accidents, a fatigue detection method based on multi-feature fusion is proposed to improve the fatigue driving detection accuracy.The detection method is: firstly, the driver's eye, mouth and steering wheel characteristics are collected by the corresponding sensors, and then comprehensive processing through state discrimination unit,and finally the driver is judged whether he is in the fatigue driving state or not by the comprehensive processing of the state discrimination unit.Through the fusion of the three features, firstly,the threshold condition of fatigue driving detection is opened, then the three features are classified by Fisher linear discriminant algorithm, finally, the driver is judged whether he is driving in fatigue or not.Experiments show that the fatigue detection method based on multi-feature fusion has higher accuracy than other single element detections, and can be real-time monitoring, which is feasible and correct.

Fatigue driving;Steering wheel features;Eye characteristics;Characteristics of the mouth;Charac -teristics of the fusion

A

1671-7988(2018)24-131-04

U467.4

A

1671-7988(2018)24-131-04

U467.4

張長隆，車聯(lián)網(wǎng)專家，國防科技大學通訊工程博士，湖南大學電氣與信息工程學院教師，長沙智能駕駛研究院有限公司網(wǎng)聯(lián)交通部總監(jiān)。

10.16638/j.cnki.1671-7988.2018.24.048