基于深度學習和面部多特征融合的駕駛員疲勞檢測研究

張 闖，朱天軍,2，李學民

(1.河北工程大學 機械與裝備工程學院，河北 邯鄲 056038；2.肇慶學院 機械與汽車工程學院，廣東 肇慶 526061；3.清華大學 蘇州汽車研究院，江蘇 蘇州 215200)

0 引言

隨著全球經(jīng)濟的迅速發(fā)展，車輛數(shù)量與日俱增，造成了大量的人員傷亡。根據(jù)世界衛(wèi)生組織(WHO,world health organization)報道，交通事故是人類死亡的十大原因之一[1]，駕駛員嗜睡或疲勞駕駛成為了交通事故的誘因之一。根據(jù)美國國家高速公路交通安全管理局(NHTSA, national highway traffic safety administration)依賴于警方和醫(yī)院的報告，確定昏昏欲睡的駕駛員撞車事故的發(fā)生率，NHTSA估計在2017年涉及昏昏欲睡的司機多達9.1萬人，導致5萬多人受傷，近800人死亡。

駕駛員疲勞駕駛檢測在交通運輸中占據(jù)著十分重要的位置，預防疲勞駕駛的安全性也受到國內(nèi)外研究學者的充分關(guān)注。對于疲勞駕駛檢測方法：基于駕駛員的生理特征信號進行檢測，例如基于腦電信號、心電信、眼電信號、呼吸信號檢測等；基于車輛行為特征檢測，檢測車輛狀態(tài)和參數(shù)，包括車道位置、方向盤轉(zhuǎn)角、行駛速度、加速度、制動等[2-5]；基于駕駛員面部特征檢測，基于眼睛縱橫比(EAR)，眼睛閉合百分比(PECLORS)、嘴巴高寬比(MAR)的值對駕駛員的狀態(tài)進行判斷。

國外的研究現(xiàn)狀如下：

1)基于駕駛員生理特征的疲勞檢測。對于昏昏欲睡駕駛員生物電信號的早期研究主要依賴于腦電信號。Yeo等[6]建立了支持向量機(SVM， support vector machines)根據(jù)駕駛員的腦電信號(EEG)進行建模，識別了95%的睡意駕駛狀態(tài)。Lin等[7-8]基于無線腦電圖的實時腦計算機接口系統(tǒng)和基于腦電圖的自組織模糊神經(jīng)系統(tǒng)來預測疲勞駕駛。Dong等人通過嵌入人腦的電極獲得腦電信號(EEG)，并對這些信號進行分析，以確定駕駛員是否處于疲勞狀態(tài)[9]。Sang-Joong Jung等[10]利用嵌入在方向盤上的心電傳感器來采集受試者的心電信號，并利用HRV(心率變異性)時頻域指數(shù)來提高信號的準確性。J.Leideng等[11]基于一種面向短周期心電信號的方法，提高了心電信號可識別性和頻率分辨率的預處理方案，能夠在僅5 s間隔的心電信號下有效識別疲勞。Hu等[12]根據(jù)眼電圖(EOG)中提取與眼瞼相關(guān)的參數(shù)作為數(shù)據(jù)輸入，并利用SVM將駕駛員的狀態(tài)分為清醒、疲勞和重度疲勞。研究者還結(jié)合EEG、ECG、EOG來提取相應的特征參數(shù)來檢測疲勞駕駛。Ahn等[13]收集了EEG、ECG、EOG等多個模態(tài)和功能性近紅外光譜儀鏡數(shù)據(jù)，對駕駛員心理的神經(jīng)生理相關(guān)性的狀態(tài)進行識別。Wang等[14]結(jié)合EOG和EEG信號分析融合熵，檢測駕駛員的疲勞狀態(tài)。

2)基于車輛行為特征的疲勞檢測。當駕駛員疲勞駕駛時，車輛的行駛狀態(tài)也會發(fā)生相應的變化，利用車道偏置量、方向盤轉(zhuǎn)向角度、車加速度等檢測疲勞。車道偏移量是指車輛行駛過程中偏離車道的位移量，主要是利用計算機視覺技術(shù)識別車道，以監(jiān)測車輛的行駛路徑。Dingus等[15]在車道偏離與PERCLOS兩者之間發(fā)現(xiàn)它們相關(guān)性，也可以作為駕駛疲勞檢測指標之一。方向盤的轉(zhuǎn)向角大小是判斷疲勞駕駛的常用指標之一，方向盤長時間保持不變或有微小的變化、以及瞬間變化激增是判斷疲勞駕駛的重要參數(shù)。Takei 等[16]通過方向盤傳遞信號判斷駕駛員的疲勞程度，利用快速傅立葉變換和小波變換對方向盤轉(zhuǎn)角信號進行預處理，提取相關(guān)特征。車輛的行駛速度以及加速度可以用車載傳感器傳遞出數(shù)據(jù)，其速度快速下降的參數(shù)可以作為駕駛員疲勞狀態(tài)的判斷依據(jù)。D.Sandberg 等[17]通過測量汽車速度、車輛橫向位移量、方向盤轉(zhuǎn)向角度、氣動角度，利用前饋神經(jīng)網(wǎng)絡對疲勞數(shù)據(jù)進行分類，作為判斷疲勞駕駛的參數(shù)。

3)基于駕駛員面部特征的疲勞檢測。隨著計算機視覺和人工智能技術(shù)的快速發(fā)展，計算機計算能力有了很大的提高?；谏疃葘W習駕駛員面部特征融合的疲勞檢測算法日益受到人們的關(guān)注。X.Zhao等[18]基于卷積神經(jīng)網(wǎng)絡(CNN)的疲勞檢測算法，該算法通過訓練第一網(wǎng)絡對人眼和非人眼進行分類，利用第二網(wǎng)絡檢測人眼特征點的位置，根據(jù)特征點的位置計算開眼度，并通過PERCLOS判斷駕駛員的疲勞狀態(tài)。F.Zhang 等[19]基于面部行為分析的檢測方法，結(jié)合Adaboost和相關(guān)濾波器(KCF，kernel correlation filter)對紅外采集設備采集到的面部圖像進行面部檢測和跟蹤，利用級聯(lián)回歸定位特征點提取眼睛和嘴巴區(qū)域?qū)矸e神經(jīng)網(wǎng)絡(CNN)對眼睛和嘴巴的狀態(tài)進行識別。為了提高駕駛員疲勞檢測的準確性和及時性，Liu, Z等[20]提出了一種基于深度學習面部表情分析的疲勞檢測算法。利用訓練好的模型檢測眼睛和嘴的狀態(tài)，對24個面部特征進行檢測，利用模糊推理系統(tǒng)對駕駛員的疲勞狀態(tài)進行推理。

國內(nèi)研究現(xiàn)狀如下：

1)基于駕駛員生理特征的疲勞檢測。張朋[21]等針對EEG信號的非平穩(wěn)性，設計的8層db4小波變換結(jié)構(gòu)，有效分解出了δ、θ、α、β腦節(jié)律波。張春翠等[22]通過非線性復雜度參數(shù)對疲勞狀態(tài)下的頂葉、額葉、顳葉與認知運動相關(guān)腦區(qū)的腦電信號進行特征描述。李增勇等[23]對駕駛員疲勞駕駛過程中心率變異性(HRV)功率頻譜的變化，結(jié)合主觀評價分析駕駛員的心臟自主神經(jīng)功能狀態(tài)。王琳等[24]通過傳感器采集到汽車行駛過程中駕駛員的股二頭肌的生理信號，經(jīng)快速獨立成分分析分離出肌電信號和心電信號，綜合這3個特征參數(shù)能明顯區(qū)分駕駛員的正常和疲勞兩種狀態(tài)。

2)基于車輛行為特征檢測。蔡素賢等[25]基于CAN(controller area network)總線采集的車輛運行狀態(tài)數(shù)據(jù)，提取了18項與駕駛行為相關(guān)的特征，并采用隨機森林算法對疲勞駕駛進行識別。屈肖蕾[26]分析了駕駛?cè)瞬煌跔顟B(tài)下的轉(zhuǎn)向操作和車輛狀態(tài)變量的波動幅度、速度、頻度的變化特性，采用統(tǒng)計學方法對疲勞判別指標的差異顯著性進行了檢驗。黃皓[27]使用駕駛模擬器搭建了模擬駕駛場景,并根據(jù)需要確定要獲取的數(shù)據(jù),包括方向盤轉(zhuǎn)向角、車輛橫擺角、車輛橫向位置等，通過SSS自主評估法，確定實驗過程中駕駛員的狀態(tài)，建立疲勞樣本的數(shù)據(jù)庫。

3)基于駕駛員面部特征檢測。廖明明等[28]對采集的駕駛員圖像進行預處理，然后采用多任務級聯(lián)神經(jīng)網(wǎng)絡進行面部檢測并提取眼部和嘴部特征；設計了眼部狀態(tài)識別網(wǎng)絡和嘴部狀態(tài)識別網(wǎng)絡分別對眼部和嘴部的狀態(tài)進行識別。蘇錦瑾等[29]通過計算人眼長寬比EAR閾值來檢測眨眼次數(shù)，計算嘴部的歐式距離MAR判斷打哈欠次數(shù)，判斷駕駛員睜閉眼、打哈欠和點頭次數(shù)是否超過單位時間閾值判斷其疲勞狀態(tài)。劉煒煌等[30]使用多任務級聯(lián)卷積網(wǎng)絡定位駕駛員的嘴部、左眼，從駕駛員嘴部、左眼圖像中提取靜態(tài)特征,結(jié)合CNN從嘴部、左眼光流圖中提取動態(tài)特征進行訓練分類，使用靜態(tài)圖像進行駕駛員疲勞檢測。周云鵬等[31]基于眼睛、嘴部的狀態(tài)、頭部的位置描述駕駛員狀態(tài)，利用模糊系統(tǒng)推理得出駕駛員最終的疲勞狀態(tài)。

通過閱讀對國內(nèi)外與駕駛員疲勞檢測的相關(guān)文獻發(fā)現(xiàn)，駕駛員疲勞檢測的方法主要有基于駕駛員生理特征、車輛行為特征、駕駛員面部特征等檢測方法。駕駛員生理特征檢測主要采用EEG、ECG、EOG、呼吸信號等作為疲勞判斷的參數(shù)，其優(yōu)點準確率較高，缺點成本較高、需要駕駛員穿戴復雜的檢測設備，影響駕駛員的駕駛狀態(tài)。車輛行為特征檢測主要采用車輛的運行軌跡、方向盤轉(zhuǎn)角、車速等參數(shù)判斷駕駛員的疲勞狀態(tài)，不能夠直觀地反映出駕駛員的駕駛狀態(tài)，受外界影響因素較大。駕駛員面部特征檢測主要根據(jù)眨眼、打哈欠、點頭的頻率等來判斷駕駛員的駕駛狀態(tài)，相對于以上兩種檢測方法，其能夠較為直觀地檢測到駕駛員的駕駛狀態(tài)，不需要復雜的檢測設備，只需要一顆高清攝像頭就能夠判斷駕駛員的駕駛狀態(tài)，但是基于駕駛員面部單獨特征檢測很難保證檢測效果的準確率。給予以上的檢測方法，本文將采用基于駕駛員面部多特征融合的方法對駕駛員的駕駛狀態(tài)進行判斷，將眼睛和嘴巴的特征進行融合，提高了檢測的準確率。

1 研究方法

在本文中，基于深度學習和面部多特征融合來檢測駕駛員的睡意，考慮駕駛員個體的差異性，設置面部檢測模塊?；贛TCNN檢測駕駛員的面部區(qū)域，對檢測得到的面部區(qū)域再通過Dlib工具包的應用程序進行區(qū)域標定，提取眼睛和嘴巴的感興趣區(qū)域(ROI， region of interest)，通過計算獲得3個新的參數(shù)，分別為：1)EAR眼睛的縱橫比,表示眼睛睜開或閉合；2)PERCLOS眼睛閉合百分比,反映駕駛員的瞳孔被眼瞼覆蓋的面積；3)MAR嘴巴高寬比，判斷駕駛員是否打哈欠。

該系統(tǒng)的檢測過程包括3個部分:1)首先通過MTCNN對駕駛員的面部進行識別，篩選出含有面部的圖像或刪除無法標定的圖像；2)再利用Dlib工具包的68個點標定駕駛員的面部、眼睛和嘴巴區(qū)域；3)最后通過計算得到的EAR、PERCLOS和MAR的值，按其不同的權(quán)值相加得到M值，累加M>0.605的幀數(shù)記為N，通過比較N的值來判斷駕駛員是否疲勞駕駛。

1.1 MTCNN面部檢測和ROI提取

1.1.1 面部檢測

基于深度學習和面部多特征融合檢測駕駛員駕駛疲勞中，面部檢測是關(guān)鍵的一步。由于駕駛員頭部的姿勢不停的變化以及黑暗環(huán)境因素的影響，在實際的駕駛中能夠快速準確的檢測出面部的全部特征有很大的難度。面部檢測時，需要提取面部特征數(shù)目較多、且檢測速度較慢，面部檢測效率較低[32]。本文采用MTCNN深度級聯(lián)多任務框架利用面部檢測和對齊之間的相關(guān)性采用從粗到細的方式快速檢測面部和地標位置[33]，能夠快速且準確的提取面部的全局特征。MTCNN的網(wǎng)絡結(jié)構(gòu)由3個級聯(lián)子網(wǎng)絡構(gòu)成，分別為P-Net(proposal network)、R-Net(refine network)和O-Net(output network)。P-Net網(wǎng)絡構(gòu)造一個全連接網(wǎng)絡，通過全卷積網(wǎng)絡(FCN， fully convolutional networks)對圖像金字塔進行初步的特征提取和標定邊框；R-Net網(wǎng)絡構(gòu)造一個卷積神經(jīng)網(wǎng)絡，相對于P-Net增加了一個全連接層，濾除大量效果比較差的候選框；O-Net網(wǎng)絡構(gòu)造一個較為復雜的卷積神經(jīng)網(wǎng)絡，相對于R-Net多了一個卷積層，篩選出最優(yōu)的候選框，并對人的面部特征點進行回歸，最終輸出5個面部特征點。

MTCNN對FDDB(face detection data set and benchmark)數(shù)據(jù)集進行了檢測，F(xiàn)DDB數(shù)據(jù)集中共有2 845張圖片，其中包含5 171張面部。MTCNN對2 845張圖片進行檢測，共檢測出4 986張面部，結(jié)果顯示MTCNN面部檢測的準確率為96.4%，MTCNN算法充分利用任務之間潛在的聯(lián)系，將面部檢測和面部關(guān)鍵點檢測同時進行，其實時檢測運行速度為0.029 s，滿足實際疲勞檢測的要求。

1.1.2 提取ROI

感興趣區(qū)域(ROI)是對MTCNN識別出來的面部進行區(qū)域提取，分別提取出來駕駛員的眼睛和嘴巴區(qū)域，只處理圖像面部提取出來的區(qū)域，對其他區(qū)域不做處理，加快了EAR、PERCLOS、MAR的計算速度，從而提高了檢測系統(tǒng)的判斷速度。ROI的作用：1)加快程序處理速度，程序處理只需要處理被提取的區(qū)域，其他區(qū)域直接跳過；2)圖像匹配中，可以定義模板。利用ROI提取眼睛和嘴巴的區(qū)域，程序只對提取的區(qū)域進行處理，加快圖像處理速度。

1.2 基于dlib68個地標及面部特征標定

Dlib[34]是一個包含機器學習算法的開源工具包，其可以創(chuàng)建很多復雜的機器學習方面的軟件來幫助解決實際問題。在Dlib工具包中，由面部68個地標對獲得的檢測面部標志進行對齊如圖1所示。人臉對齊就是在已經(jīng)檢測到的面部基礎上，自動找到人臉上的眼睛鼻子和臉輪廓等標志性特征位置。例如點37-40、43-46、49-68分別為左眼、右眼、嘴巴的基準關(guān)鍵點，獲取當前檢測圖像的對應位置的關(guān)鍵點?？傊?，dlib的68個地標標記是基于左眼、右眼、嘴巴的相似變化，在不改變面部重點五官形狀的基礎上將人臉對齊到基準人臉。

圖1 Dlib68個面部標志

1.2.1 眼睛標定

據(jù)統(tǒng)計，正常人的每分鐘眨眼15次左右，每次眨眼的時間間隔為4 s左右，嗜睡時眨眼的頻率會加快。眨眼頻率是單位時間內(nèi)眨眼次數(shù)，其計算公式為：

(1)

其中:NB為時間段T內(nèi)發(fā)生眨眼的次數(shù)，由EAR來確定，NP為T時間段內(nèi)視頻的幀數(shù)?；贒lib工具包獲取的面部標志，采用6個定位點對每只眼睛進行標定如圖2所示?？梢愿鶕?jù)眼睛的坐標位置計算出EAR的值為：

圖2 眼睛標定

(2)

其中:P2、P3、P5、P6關(guān)鍵點為縱坐標的值，P1、P4關(guān)鍵點為橫坐標的坐標值。EAR值取左眼EAR值和右眼EAR值得的平均值。該方程式分子計算垂直眼睛標志之間的距離，分母是計算水平眼睛標志之間的距離，由于水平點只有一組，而垂直點有兩組，所以分母乘以2，以保證兩組特征點的權(quán)重相同，依靠眼睛地標距離的比例來確定駕駛員是否眨眼。

卡內(nèi)基梅隆研究所經(jīng)過反復的實驗與論證，提出了度量疲勞的物理量PERCLOS，并得到了NHTSA的認可[35]。PERCLOS定義為一定時間內(nèi)眼睛的閉合度，是度量疲勞狀態(tài)的一種有效的方法,一定時間間隔內(nèi)眼睛閉合所占的時間比例超過15%時即認為是疲勞狀態(tài)。由于眼睛的大小因人而異，眼睛的面積因受所在場景和頭部運動的影響成動態(tài)變化的，眼睛的睜開程度是相對于自身的最大睜開狀態(tài)而言的，可以將時間轉(zhuǎn)換為視頻幀數(shù)進行計算[36]。

目前，PERCLOS方法有3種判斷眼睛閉合的不同準則，分別EM準則、P70準則、P80準則。其具體含義如下：

EM準則：瞳孔被眼瞼覆蓋超50%的面積，則認為眼睛是閉合的；

P70準則：瞳孔被眼瞼覆蓋超70%的面積，則認為眼睛是閉合的；

P80準則：瞳孔被眼瞼覆蓋超過80%的面積，則認為眼睛是閉合的。

PERCLOS原理曲線如圖3所示。

圖3 PERCLOS原理圖

t0～t5為一個閉眼周期，t0～t1為完全睜眼到睜眼80%的時間，t1～t2為睜眼80%到睜眼20%的時間，t3～t4為睜眼20%到睜眼80%所需要的時間，t4～t5為睜眼80%到完全睜開眼所需要的時間。

一周期的閉眼百分比為：

(3)

閉眼時長：

T(t0～t5)=t3-t2

(4)

同樣，可以推導出在一定時間內(nèi)的PERCLOS值及平均閉眼時長，設在一定時間T內(nèi)有n個周期，且k個閉眼周期內(nèi)眼睛覆蓋瞳孔的比例超過80%的時間為Tk，當k

(5)

平均閉眼時長：

(6)

1.2.2 嘴巴標定

駕駛員嘴巴狀態(tài)通常有3種情況，分別為閉合、說話和打哈欠，在疲勞狀態(tài)下，人會頻繁地打哈欠。提取面部的嘴部區(qū)域的關(guān)鍵點類似于眼部疲勞特征的提取，面部嘴部區(qū)域的關(guān)鍵點分布如圖4所示。

圖4 嘴巴標定

嘴巴的高度H和寬度W計算為：

(7)

H與M的比值MAR為：

(8)

其中:xmax、xmin分別為第54個和第48個面部關(guān)鍵點的橫坐標，ymax為第56個、第58個關(guān)鍵點縱坐標的平均值，ymin為第50個，第52個關(guān)鍵點縱坐標的平均值。

打哈欠的頻率fyawn為：

(9)

NY為T時間段內(nèi)打哈欠的次數(shù)，NT為T時間段內(nèi)視頻的幀數(shù)。

1.2.3 系統(tǒng)檢測流程

通過攝像頭采集駕駛員駕駛車輛時的實時圖像，通過MTCNN篩選出含有面部的圖像，對含有的面部的圖像提取眼睛和嘴巴的ROI區(qū)域，并計算EAR、PERCLOS和MAR的值。SVM本質(zhì)模型是特征空間中最大化間隔的線性分類器，是一種而分類器模型。通過SVM對EAR、MAR、PERCLOS值進行分類，將其分離為EAR大于0.20、MAR大于0.6、PERCLOS大于0.8的點和EAR小于等于0.20、MAR小于等于0.6、PERCLOS小于等于0.8的點，將這些大于各自其值的點進行篩選加快EAR、PERCLOS、MAR值得計算速度，提高檢測效率。

圖5 系統(tǒng)工作流程圖

2 實驗數(shù)據(jù)及結(jié)果

在本節(jié)中，對實驗環(huán)境的搭建進行介紹，依據(jù)實驗得出EAR、PERCLOS、MAR和M的曲線圖，對駕駛員清醒狀態(tài)下和疲勞狀態(tài)下的曲線圖進行對比。

2.1 實驗環(huán)境配置

基于Ubuntu18.04系統(tǒng)在Visual Studio Code中對Python語言進行實驗環(huán)境搭建及配置，計算機顯卡采用NVIDIA GeForce GTX1650、內(nèi)存16GB DDR4和安裝模塊的相應版本號如表1所示。

表1 實驗環(huán)境配置

2.2 實驗對象及樣本

本文通過實車進行采集檢測圖像樣本，對檢測系統(tǒng)進行驗證。圖像采集途徑例如公交車、短途貨車、長途貨車等司機在不同環(huán)境及不同時間段下的駕駛狀況。通過采樣數(shù)據(jù)顯示，司機在長時間駕駛車輛以及凌晨左右容易犯困，對疲勞、嚴重疲勞區(qū)段進行不同的標記，為檢測系統(tǒng)實際檢測結(jié)果作對比分析。采集樣本如圖6所示。

圖6 采集樣本

2.3 眼睛檢測

2.3.1 EAR

一次完整的閉眼過程的EAR曲線如圖7所示，橫坐標為視頻的幀數(shù)，縱坐標分別為EAR值，設置EAR的閾值為0.2，通過支持SVM分類器將EAR<0.2的值進行權(quán)值計算，權(quán)值比重為0.2。EAR值取左眼的EAR值(leftEAR)和右眼的EAR值(rightEAR)的平均值，模擬了一組駕駛員眨眼或閉眼計算EAR的曲線如圖8所示。

圖7 閉眼過程的EAR曲線圖

圖8 EAR曲線圖

從圖8中可以看出有兩次眨眼和三次閉眼過程，與模式過程中眨眼和閉眼的次數(shù)相同，分析結(jié)果如表2所示。從模擬駕駛員眨眼或閉眼的過程得到的EAR曲線圖，從中得到的結(jié)論:系統(tǒng)在檢測駕駛員眨眼或閉眼過程中，幾乎不存在漏檢或者誤檢，檢測的實時性和計算的準確度達到了較高的水平。

表2 EAR曲線分析結(jié)果

2.3.2 PERCLOS

在圖8的EAR值曲線圖的基礎上計算得到閉眼時刻的PERCLOS值曲線如圖9所示，橫坐標為視頻的幀數(shù)，縱坐標為眼睛閉合的百分比，虛線代表的值為0.8。PERCLOS的計算過程是依次取EAR值的每一幀，每連續(xù)五幀循環(huán)一次計算，步長為1得出PERCLOS值。

圖9 PERCLOS曲線圖

依據(jù)P80準則，PERCLOS大于或等于0.8時，眼瞼覆蓋眼球的面積超過了80%，判定為閉眼狀態(tài)。通過支持SVM分類器將PERCLOS大于或等于0.8的值進行權(quán)值計算，權(quán)值比重為0.7。

2.4 嘴巴檢測

嘴部狀態(tài)的檢測如圖10所示，橫坐標為視頻的幀數(shù)，縱坐標為MAR值。圖10(a)為駕駛員嘴巴閉合狀態(tài)，MAR值在0.350到0.375之間；圖10(b)為駕駛員嘴巴說話狀態(tài)，MAR值在0.375到0.60之間；圖10(c)為駕駛員嘴巴打哈欠狀態(tài)，MAR值在0.60以上。通過支持SVM分類器將MAR大于0.60的值進行權(quán)值計算，權(quán)值比重為0.1。

圖10 MAR曲線圖

2.5 權(quán)值計算

通過在閉眼時刻得到的EAR值、PERCLOS值和MAR值分別按0.2、0.7和0.1的比重進行權(quán)值計算得到參數(shù)M的曲線圖如圖11和圖12所示橫坐標為視頻的幀數(shù)，縱坐標分別為EAR、MAR、PERCLOS和M的值。圖11為未打哈欠狀態(tài)下的曲線圖，圖12為打哈欠狀態(tài)下的曲線圖。圖12中右下角圖中的虛線代表的值為0.605，作為判斷駕駛員是否疲勞駕駛的依據(jù)。

圖11 未打哈欠狀態(tài)下的曲線圖

圖12 打哈欠狀態(tài)下的曲線圖

對圖11和圖12分析，駕駛員未打哈欠的情況下M大于0.605值的幀數(shù)相對較少；駕駛員在打哈欠的情況下往往伴隨著長時間閉眼，使M大于0.605的幀數(shù)相對增加。駕駛員開始打哈欠時一般境況下是身體出現(xiàn)疲勞出現(xiàn)犯困的情況，從圖13可以看出駕駛員長時間打哈欠時M大于0.605值的幀數(shù)在25～50之間，可以給予駕駛員一次疲勞警告。

2.6 實驗結(jié)果

為了驗證本文提出的駕駛員疲勞狀態(tài)檢測方法的有效性，通過兩段視頻進行駕駛員疲勞狀態(tài)檢測正確性評估。第一段為疲勞狀態(tài)下的駕駛員疲勞檢測結(jié)果，如圖13所示，第二段為清醒狀態(tài)下的駕駛員疲勞狀態(tài)檢測結(jié)果，如圖14所示。分別得到EAR、MAR、PERCLOS和M的曲線圖，橫坐標為視頻的幀數(shù)，縱坐標分別為EAR、PERCLOS、MAR和M的值。通過M曲線可知，M大于0.605為紅色曲線部分。通過多次實驗驗證得出N大于25或小于等于50認為是疲勞狀態(tài)，N大于50為重度疲勞狀態(tài)，N為M大于0.605依次累加的幀數(shù)。

圖13 疲勞狀態(tài)下的駕駛員疲勞檢測結(jié)果

圖14 清醒狀態(tài)下的駕駛員疲勞檢測結(jié)果

圖13的M曲線中有5段疲勞狀態(tài)曲線和2段重度疲勞曲線，其余部分為清醒狀態(tài)下的曲線，分析結(jié)果如表3所示。圖14中M曲線的部分沒有出現(xiàn)N大于25的部分，則表明沒有出現(xiàn)疲勞狀態(tài)，與檢測樣本保持一致。通過圖13和圖14中M曲線得出的結(jié)果以及大量的實車測試結(jié)果顯示，采用DirCare系統(tǒng)[37]的一種新的面部區(qū)域檢測方法對同樣的實驗數(shù)據(jù)進行測試，計算得出的準確率、靈敏度的均值為92.3%和89.6%，本文采用的檢測系統(tǒng)計算得出的準確率、靈敏度為93.1%和90.2%。通過比較可知，本文采用的檢測系統(tǒng)無論是檢測的準確率還是檢測的靈敏度都有明顯的優(yōu)勢。本文采用的檢測系統(tǒng)沒有出現(xiàn)誤檢情況，滿足實際檢測要求。

表3 駕駛員狀態(tài)分析

3 結(jié)束語

基于深度學習和面部多特征融合的疲勞檢測研究，得出以下結(jié)論：

1)對MTCNN進行了面部檢測測試，該網(wǎng)絡在面部檢測的準確率達到了96.4%，面部檢測速度為0.029 s，滿足實際要求。

2)為了提高程序的計算速度以及實時性，將各個參數(shù)按不同權(quán)重進行融合計算，即保證了檢測的準確度和避免漏檢或誤檢情況，也防止了視頻卡幀或丟幀的現(xiàn)象。

3)本文提出了新的參數(shù)M和N，依據(jù)N值的大小來判斷駕駛員的疲勞狀態(tài)。該檢測系統(tǒng)的準確率達到了93.1%，靈敏度達到了90.2%，滿足了實際情況下的疲勞檢測系統(tǒng)的要求。