基于駕駛員面部特征的疲勞檢測(cè)系統(tǒng)研究

劉馨雨　李庭燎

摘 要：疲勞駕駛在我國(guó)的交通事故引發(fā)率居高不下，如何對(duì)駕駛員進(jìn)行科學(xué)有效的疲勞駕駛檢測(cè)并及時(shí)預(yù)警已經(jīng)成為了當(dāng)下熱議的話題。為減少疲勞駕駛造成的交通安全風(fēng)險(xiǎn)，本文對(duì)基于駕駛員面部特征的檢測(cè)方法進(jìn)行了研究，通過(guò)對(duì)疲勞特征參數(shù)的提取克服了單一參數(shù)疲勞駕駛判斷方法導(dǎo)致的判定精準(zhǔn)度低等缺陷，且計(jì)算需求小，普適性能強(qiáng)。

關(guān)鍵詞：疲勞駕駛 檢測(cè) PERCLOS 人眼定位

1 引言

在交通事故的傷亡事件中，由于駕駛員困倦、疲勞駕駛等原因所致的交通事故發(fā)生率迅速增加，并逐步成為引發(fā)交通事故的主要原因。在我國(guó)，每年有40%以上的道路交通事故是由大型汽車(chē)引起的，其中死亡的比例在21%以上；如果是在高速上，時(shí)速超過(guò)160公里，那么一旦發(fā)生車(chē)禍，駕駛員的死亡率就會(huì)接近100%[1]。但是，在發(fā)生疲勞駕駛前，通過(guò)對(duì)駕駛員的實(shí)時(shí)監(jiān)測(cè)，可以獲取其以前的疲勞特性，并對(duì)其進(jìn)行實(shí)時(shí)提醒，從而對(duì)其進(jìn)行疲勞預(yù)警，如此一來(lái)，就可以將交通事故的發(fā)生率降到最低。

迄今為止，相關(guān)研究學(xué)者明確了許多人眼定位的方法。在此之中，具有較高代表性的方法為：Anber Salma等采用基于面部特征的Alexnet混合駕駛員疲勞和分心檢測(cè)模型[2]；Zhang Tao通過(guò)分析非侵入性頭皮EEG信號(hào)來(lái)探討基于樣本熵特征的多核算法對(duì)疲勞和正常受試者的分類(lèi)性能，構(gòu)建基于樣本熵的多通道腦電真實(shí)駕駛疲勞檢測(cè)方法[3]；Bala等相關(guān)學(xué)者在研究中明確了基于遺傳算法等來(lái)支持分析眼睛定位[4]；Wang等學(xué)者建立基于相位滯后指數(shù)的圖形注意網(wǎng)絡(luò)以用于檢測(cè)駕駛疲勞。[5]；Mamunur Rashid等學(xué)者基于隨機(jī)子空間K-Nn的集成分類(lèi)器，利用選定的腦電通道進(jìn)行駕駛員疲勞檢測(cè)[6]?？偠灾?，現(xiàn)在已開(kāi)發(fā)的許多的眼部定位算法，其基本都具有較多的計(jì)算量，部分算法的實(shí)際應(yīng)用十分困難，部分算法對(duì)臉部圖像的轉(zhuǎn)動(dòng)、移動(dòng)等的改變十分敏感，進(jìn)而將致使算法效率的下降。

本篇文章明確的疲勞檢測(cè)方法，對(duì)傳統(tǒng)單指標(biāo)疲勞檢測(cè)方法進(jìn)行改進(jìn)，多層次運(yùn)用了人臉?lè)植继卣?。首先利用Dlib 庫(kù)對(duì)人臉?lè)植继卣鬟M(jìn)行定位，在提高檢測(cè)效率的同時(shí)減輕人臉?lè)治龉ぷ髁?，?shí)驗(yàn)顯示，此方法可以較為精準(zhǔn)地識(shí)別出人體疲勞狀態(tài)，且運(yùn)算量非常小、處理效率高、魯棒性也非常好。

2 疲勞檢測(cè)

2.1 疲勞駕駛的概念

疲勞駕駛一般是指在經(jīng)歷長(zhǎng)期精神狀態(tài)高度集中的行駛過(guò)程后，駕駛員所產(chǎn)生的生理和心理機(jī)能的雙重失調(diào)。

根據(jù)現(xiàn)有的研究現(xiàn)狀，駕駛員疲勞的檢測(cè)方法主要分為三大類(lèi)，分別是基于車(chē)輛狀況的檢測(cè)、生理信號(hào)的檢測(cè)和基于駕駛員面部特征的測(cè)量。其中，基于車(chē)輛狀態(tài)的檢測(cè)包括駕駛途中車(chē)道偏移、方向盤(pán)轉(zhuǎn)動(dòng)幅度以及車(chē)輛的動(dòng)態(tài)信息。引起疲勞駕駛的最主要因素在駕駛員而非車(chē)輛，如果根據(jù)車(chē)輛行駛狀況進(jìn)行判定是否疲勞駕駛，那么當(dāng)車(chē)輛狀況發(fā)生變化時(shí)，駕駛員可能已經(jīng)處于疲勞狀態(tài)有一段時(shí)間，所以該方法具有一定的延遲性，以至于錯(cuò)過(guò)預(yù)警的最佳時(shí)機(jī)。此外，個(gè)人的駕駛習(xí)慣和道路環(huán)境也會(huì)對(duì)檢測(cè)精度有所影響，因此，該方法并不適合實(shí)時(shí)駕駛疲勞檢測(cè)。生理信號(hào)的檢測(cè)方法通常是基于駕駛員的生理信號(hào)，如腦電圖、眼電圖、肌電圖等。疲勞狀態(tài)可以通過(guò)頻域分析和基于腦電或腦電的線性分類(lèi)來(lái)評(píng)估。然而，這種檢測(cè)方法需要應(yīng)用許多傳感設(shè)備甚至是可穿戴類(lèi)的傳感設(shè)備對(duì)駕駛員的生理特征開(kāi)展檢測(cè)記錄，這對(duì)駕駛條件的要求過(guò)高，同時(shí)還可能會(huì)引起駕駛員的不適，由于這些約束條件，這類(lèi)方法也很難實(shí)際運(yùn)用到駕駛環(huán)境中。

與以上兩種方法相比，基于駕駛員面部特征分析的檢測(cè)方法具有不可代替的實(shí)時(shí)性、無(wú)接觸和易實(shí)現(xiàn)等優(yōu)勢(shì)，當(dāng)一位駕駛員處于疲勞狀態(tài)時(shí)，他的面部狀態(tài)往往和正常駕駛時(shí)有所區(qū)別，如眨眼頻率加快、眼睛開(kāi)合的幅度變小、打哈欠等，視覺(jué)方法可以較為準(zhǔn)確地識(shí)別這些行為，并且不會(huì)因?yàn)樵O(shè)備安裝對(duì)駕駛員造成影響。

2.2 疲勞駕駛的特征

從表現(xiàn)方式上劃分疲勞駕駛特征，可以分為生理特征和心理特征兩大類(lèi)。根據(jù)駕駛員疲勞程度的不同，所表現(xiàn)出來(lái)的疲勞駕駛特征也有相應(yīng)差異。在生理反映上會(huì)有以下的癥狀，如當(dāng)駕駛員產(chǎn)生疲勞后，其生理機(jī)能就會(huì)下降，從而出現(xiàn)頭重、心跳變快、呼吸加重，想喝水、食欲不振、出現(xiàn)氣喘、胸口悶嘆氣、脈搏加速、打哈欠、頻繁眨眼、手腳出現(xiàn)不適，表情變化、眼睛的視野逐漸縮小，視力下降，模糊、眼睛也會(huì)出現(xiàn)干紅、耳內(nèi)轟鳴、煩躁恍惚、定向障礙等等的情況。

在心理上也會(huì)出現(xiàn)以下的癥狀：如表現(xiàn)在例如注意力不集中，分散，大腦遺漏一些重要信息，錯(cuò)誤信息的獲取情況就會(huì)增多，思維出現(xiàn)反應(yīng)遲鈍，精神萎靡，能力下降，思維頭腦混亂，判斷失誤，肢體出現(xiàn)動(dòng)作僵硬，節(jié)奏變得紊亂，忘記甚至出現(xiàn)操作不規(guī)范，自我控能力下1.3疲勞駕駛的形成機(jī)理。

長(zhǎng)期以來(lái)，交通運(yùn)輸行業(yè)被人們視為一種高強(qiáng)度的高風(fēng)險(xiǎn)行業(yè)。因?yàn)樵谲?chē)輛行駛的過(guò)程中，駕駛員需要時(shí)刻在維持對(duì)車(chē)輛周?chē)h(huán)境的高度關(guān)注的同時(shí)進(jìn)行駕駛操作，在這樣的高壓力狀態(tài)下，駕駛員的大腦神經(jīng)和感覺(jué)器官必須時(shí)刻處于判斷車(chē)輛內(nèi)外信息的高度興奮狀態(tài)，導(dǎo)致精神上更加容易產(chǎn)生疲勞。與此同時(shí)駕駛員在行駛過(guò)程中長(zhǎng)期維持相對(duì)固定的姿勢(shì)，血液循環(huán)受到阻礙，長(zhǎng)此以往，駕駛?cè)说闹w就會(huì)變得僵硬，進(jìn)而產(chǎn)生身體機(jī)能上的勞累和疲乏。盡管我國(guó)已經(jīng)出臺(tái)了大量相關(guān)法規(guī)，但疲勞駕駛本身的隱蔽性和駕駛員個(gè)體對(duì)疲勞程度把握的不確定性導(dǎo)致疲勞駕駛釀成的慘劇時(shí)有發(fā)生，尤其是在近年來(lái)新冠疫情的爆發(fā)，駕駛員的行駛狀態(tài)普遍向著低駕駛頻率、長(zhǎng)駕駛距離、長(zhǎng)駕駛時(shí)間發(fā)展，導(dǎo)致疲勞駕駛的發(fā)生率增加顯著。

3 疲勞檢測(cè)方法

3.1 檢測(cè)方法選擇

梳理當(dāng)下國(guó)內(nèi)外針對(duì)疲勞駕駛檢測(cè)領(lǐng)域的研究情況，可以發(fā)現(xiàn)針對(duì)駕駛員疲勞的檢測(cè)方法主要可以劃分為兩大方向，即主觀檢測(cè)法和客觀檢測(cè)法。其中主觀檢測(cè)法是通過(guò)對(duì)駕駛員進(jìn)行問(wèn)訊、分析、估測(cè)、評(píng)價(jià)等以獲取駕駛員疲勞狀態(tài)，這種方法主要應(yīng)用于道路交通執(zhí)勤等方面?？陀^檢測(cè)法則著眼于通過(guò)對(duì)行駛過(guò)程中相關(guān)數(shù)據(jù)進(jìn)行收集和評(píng)估，從而判斷駕駛員當(dāng)下?tīng)顟B(tài)是否可以被判定為疲勞。得益于客觀檢測(cè)法不會(huì)受到駕駛員和問(wèn)訊者的主觀意識(shí)干擾，且精確性和實(shí)時(shí)程度都具有顯著的優(yōu)越性，目前它已經(jīng)成為了疲勞駕駛檢測(cè)的主要研究方向。

3.2 客觀檢測(cè)方法

客觀檢測(cè)法可以向下細(xì)分為三種主流檢測(cè)方向，即基于機(jī)動(dòng)車(chē)行為特征的檢測(cè)方法、基于駕駛員生理特征的檢測(cè)方法以及基于駕駛員面部特征的檢測(cè)方法。其中，基于機(jī)動(dòng)車(chē)行為特征的檢測(cè)包括駕駛途中車(chē)道偏移程度、車(chē)身?yè)u擺情況以及車(chē)輛加速度變化情況等。其優(yōu)點(diǎn)是可以容易地獲取車(chē)輛特征參數(shù)以進(jìn)行檢測(cè)，但缺點(diǎn)是在車(chē)輛狀況異常時(shí)，司機(jī)一般已經(jīng)處于重度疲勞狀態(tài)，不能及時(shí)預(yù)警。因此，該方法在實(shí)時(shí)駕駛疲勞檢測(cè)中并不適用。生理信號(hào)檢測(cè)法通常是基于駕駛員的生理信號(hào)，例如腦電信號(hào)等。雖然精度和及時(shí)性較高，但這種檢測(cè)方法需要配備大量傳感或者穿戴性的相關(guān)生理指標(biāo)檢測(cè)設(shè)備。目前置辦相關(guān)設(shè)備成本較高，而且諸多設(shè)備可能對(duì)駕駛員帶來(lái)不便，難以大規(guī)模應(yīng)用到實(shí)際。

相比以上兩種方法，基于駕駛員面部特征的檢測(cè)方法以攝像頭等無(wú)接觸下仍可起效的圖像傳感器獲取駕駛員面部狀態(tài)，運(yùn)用機(jī)器視覺(jué)對(duì)駕駛員特征進(jìn)行提取和分析。這種方法對(duì)成本要求低，且具有不可代替的實(shí)時(shí)性、無(wú)接觸性等優(yōu)勢(shì)，適合以大規(guī)模應(yīng)用為研究方向的疲勞駕駛檢測(cè)系統(tǒng)進(jìn)行采用。

3.3 基于駕駛員面部特征的檢測(cè)方法

基于面部特征的檢測(cè)方法具體指的是利用攝像機(jī)等圖像傳感器采集的人臉視頻，利用計(jì)算機(jī)視覺(jué)中的人臉識(shí)別、面部特征點(diǎn)定位等技術(shù)，對(duì)司機(jī)面部的注視方向、眼睛張開(kāi)程度（EAR）、眨眼頻率、單位時(shí)間內(nèi)眼睛閉合程度（PERCLOS，在眼部特征中，PERCLOS值被認(rèn)為是最有效的特征參數(shù)之一）、嘴巴開(kāi)合度（MAR）等相關(guān)情況進(jìn)行識(shí)別，應(yīng)用算法將所采集特征開(kāi)展駕駛員疲勞駕駛檢測(cè)。

通常，司機(jī)在睡意襲來(lái)前會(huì)有一個(gè)顯著的早期疲倦。經(jīng)研究表明，形成疲勞的主要順序是從上至下發(fā)展。先從面部開(kāi)始感到疲勞，然后向下發(fā)展到頸部和肩部，最后到腰部等。因此先從人臉入手進(jìn)行疲勞駕駛檢測(cè)，有助于在疲勞發(fā)生的第一時(shí)間發(fā)現(xiàn)狀況并做出疲勞駕駛預(yù)警。人在疲憊的時(shí)候，會(huì)很難睜開(kāi)雙眼，閉上的時(shí)間比平時(shí)要長(zhǎng)，這是每個(gè)人在犯困的時(shí)候都會(huì)表現(xiàn)出來(lái)的。因此，對(duì)于眼睛疲勞特征的提取與分析，具有較高的普遍性和可靠性。與之比較，人在疲倦狀態(tài)下的打哈欠、困倦時(shí)的行為特點(diǎn)具有顯著的個(gè)性差異，且在不同的疲勞水平下，其結(jié)果差異也很大，從而影響了疲勞探測(cè)的精確度，因此，作為輔助判定條件降低漏檢率可以提高準(zhǔn)確度。所以本篇文章明確了一種疲勞檢測(cè)方法，該方法結(jié)合三種檢測(cè)方法，通過(guò)檢測(cè)人臉，截取疲勞特征重要部分，對(duì)眼嘴狀態(tài)從簡(jiǎn)單的開(kāi)合分類(lèi)改為正常特征和疲勞特征進(jìn)行分類(lèi)，最后結(jié)合閉眼百分比、持續(xù)閉眼時(shí)間和持續(xù)哈欠時(shí)間判定疲勞狀態(tài)，在提高檢測(cè)效率的同時(shí)兼顧檢測(cè)準(zhǔn)確性。

4 基于多特征融合的疲勞檢測(cè)

4.1 dat庫(kù)

Dlib庫(kù)是一種以C++為基礎(chǔ)的開(kāi)放源碼工具庫(kù)，里面有大量的機(jī)器學(xué)習(xí)算法和模型，自2002年以來(lái)，Davis King一直是Dlib的主要作者。Dlib為每個(gè)類(lèi)和函數(shù)提供了完整的文檔說(shuō)明。同時(shí)還提供了debug模式，打開(kāi)debug模式后，開(kāi)發(fā)者能夠調(diào)試代碼，查看變量和對(duì)象的值，快速定位錯(cuò)誤點(diǎn)。不依賴第三方庫(kù)，無(wú)需安裝和配置，并且在windows，Mac OS ， Linux系統(tǒng)中也能夠進(jìn)行輕松駕馭。截止2022年5月12日，github上已有個(gè)11.1Kstart， 用戶量14K，貢獻(xiàn)者161人，可見(jiàn)受歡迎程度還是挺不錯(cuò)的，人臉識(shí)別只是它其中的一個(gè)子集，與tensorflow、PyTorch相比，Dlib在圖像處理、分類(lèi)、對(duì)比等領(lǐng)域有著廣泛的應(yīng)用價(jià)值。Dlib庫(kù)中的dat模型庫(kù)可以檢測(cè)出被測(cè)對(duì)象的面部特征點(diǎn)，Dlib庫(kù)采用68點(diǎn)位置標(biāo)志人臉重要部位，比如18-22點(diǎn)標(biāo)志右眉毛，51-68標(biāo)志嘴巴。

Dlib實(shí)現(xiàn)思路從人臉檢測(cè)，人臉對(duì)齊，人臉表示和人臉匹配5個(gè)部分來(lái)進(jìn)行實(shí)現(xiàn)。并將其按照一定的次序排列，從而獲得人臉特征點(diǎn)坐標(biāo)、人臉框和人臉角度等重要信息。其中以人臉對(duì)齊（Face Alignment）和人臉表示（Face Representation）最為關(guān)鍵。其一人臉對(duì)齊，在通過(guò)外部設(shè)備獲取人臉信息后，在待識(shí)別區(qū)域中初步提取人臉特征點(diǎn)，檢測(cè)是否存在人臉信息，若結(jié)果為是則以基本特征點(diǎn)為依據(jù)對(duì)目標(biāo)進(jìn)行歸一化處理，使人臉區(qū)域的尺度和角度與庫(kù)中模型相匹配，方便后續(xù)操作中的精確特征提取。人臉對(duì)齊的最終目的是在已知的人臉判別方框中提取人臉特征點(diǎn)，從而達(dá)到定位人臉的精準(zhǔn)形狀。人臉對(duì)齊方法主要可以劃分為兩大類(lèi)：基于優(yōu)化的方法和基于回歸的方法?；趦?yōu)化的方法主要來(lái)自深度網(wǎng)絡(luò)模型，比如卷積神經(jīng)網(wǎng)絡(luò)（CNN）、深度自編碼（DAE）和受限玻爾茲曼機(jī)（RBM）等來(lái)建模人臉形狀和表觀的變化，進(jìn)而獲得人臉表觀到形狀的非線性映射?；趦?yōu)化的方法可以看做是學(xué)習(xí)一個(gè)回歸函數(shù)，以圖像輸入，輸出特征點(diǎn)的位置（人臉形狀），構(gòu)造一個(gè)級(jí)聯(lián)回歸模型。其二人臉表示是指從人臉對(duì)齊中歸一化的人臉區(qū)域中進(jìn)行特征提取從而得到特征向量。在Dlib庫(kù)中，可以將重要的68個(gè)特征點(diǎn)（landmark）進(jìn)行特征向量化，再通過(guò)opencv對(duì)視頻流進(jìn)行灰度化處理，并輸出這些特征點(diǎn)的坐標(biāo)，可以得到68個(gè)特征點(diǎn)位置的坐標(biāo)，根據(jù)這些數(shù)據(jù)，可以有效地檢測(cè)出人臉的表情狀態(tài)，從而節(jié)省計(jì)算費(fèi)用，從而獲得更多的人體生理狀態(tài)和精神狀態(tài)等信息，及時(shí)對(duì)司機(jī)做出疲勞預(yù)警。

4.2 多特征的駕駛員疲勞綜合檢測(cè)方法

在當(dāng)前的一些國(guó)際研究中，有很多的駕駛員疲勞綜合檢測(cè)方法，例如日本Canon KK基于腦電波這一高度精確的生理參數(shù)，設(shè)計(jì)了基于ZigBee的車(chē)載疲勞檢測(cè)方案。其發(fā)明的防瞌睡裝置在不降低疲勞駕駛識(shí)別率的前提下實(shí)現(xiàn)了駕駛員疲勞狀態(tài)的外置快捷檢測(cè)。但此類(lèi)采用單一檢測(cè)指標(biāo)的檢測(cè)方案，其檢測(cè)結(jié)果的可靠性往往基于腦電波等檢測(cè)成本較高的生理參數(shù)，否則容易因環(huán)境干擾而明顯降低[7]。而通過(guò)檢測(cè)駕駛員瞳孔直徑、頭部姿態(tài)、凝視方向等多個(gè)駕駛員面部特征信息并進(jìn)行融合分析，不僅相較單一特征檢測(cè)方法控制了成本，還通過(guò)多特征綜合檢測(cè)進(jìn)一步增強(qiáng)了檢測(cè)結(jié)果的可靠性。

為了進(jìn)一步在控制成本的基礎(chǔ)上保證檢測(cè)準(zhǔn)確性，本文考慮構(gòu)建基于多特征的駕駛員疲勞綜合檢測(cè)方法，采用人臉圖像的圖像序列進(jìn)行疲勞檢測(cè)。在此基礎(chǔ)上，利用大量的關(guān)鍵點(diǎn)進(jìn)行人臉識(shí)別，從而有效地克服了因每個(gè)任務(wù)收斂速度的差異所帶來(lái)的優(yōu)化問(wèn)題，同時(shí)通過(guò)對(duì)人臉圖像的實(shí)時(shí)分析，分別計(jì)算出眼部、嘴部和頭部的疲勞指數(shù)。通過(guò)對(duì)上述三種特征進(jìn)行加權(quán)，估計(jì)出融合特征值。最后，根據(jù)駕駛員的疲勞綜合評(píng)價(jià)模型，對(duì)融合特征量的幀數(shù)進(jìn)行評(píng)價(jià)，從而得出駕駛員的疲勞水平。該方法能有效地提高駕駛員的疲勞識(shí)別率，并能有效地實(shí)現(xiàn)多種判定指標(biāo)的融合，能夠顯著遏制傳統(tǒng)疲勞檢測(cè)方法中因佩戴眼鏡、口罩等干擾而導(dǎo)致的檢測(cè)準(zhǔn)確度大幅下降。

5 疲勞檢測(cè)原理

5.1 眼部檢測(cè)原理

眼睛長(zhǎng)時(shí)間閉合和在特定的時(shí)間內(nèi)眨眼次數(shù)增多是人體眼部疲勞的重要表現(xiàn)。在基于眼部特性的識(shí)別中，最先對(duì)眼部疲勞進(jìn)行了研究的學(xué)者是Walt Wirewille。他率先采用仿真比較實(shí)驗(yàn)來(lái)探討了在光線下人的眼睛和疲勞之間的關(guān)系，結(jié)論顯示眼睛的閉合時(shí)間和疲勞的程度存在顯著的正相關(guān)關(guān)系[8]?；谶@個(gè)理論，卡內(nèi)基梅隆研究所通過(guò)多次實(shí)驗(yàn)，發(fā)現(xiàn)了一個(gè)可以用于對(duì)人體疲勞進(jìn)行眼部度量的物理量PERCLOS，其被定義為一段時(shí)期內(nèi)眼睛閉合時(shí)長(zhǎng)所占的百分比。故可針對(duì)PERCLOS 原理，按照眼睛閉合程度設(shè)計(jì)劃分3種標(biāo)準(zhǔn)，依次為：P70是根據(jù) PERCLOS的基本原則而設(shè)計(jì)的，P70是在瞳孔的面積被眼瞼覆蓋70%以上的情況下，即為判定閉上眼睛，計(jì)算眼睛閉合在一定時(shí)間內(nèi)所占比值。P80是指當(dāng)瞳孔被眼瞼覆蓋80%以上的時(shí)候，即判定為眼睛閉合，計(jì)算眼睛閉合在一定時(shí)間內(nèi)的比值。EM是指在一定的時(shí)間里，當(dāng)瞳孔的面積被眼瞼覆蓋50%以上的時(shí)候，計(jì)算眼睛閉合在一定時(shí)間內(nèi)的比值。研究表明，P80是衡量人體疲勞程度的重要標(biāo)準(zhǔn)，遠(yuǎn)優(yōu)于其他標(biāo)準(zhǔn)，是研究人員常用的評(píng)價(jià)標(biāo)準(zhǔn)。在本文的操作過(guò)程中，首先根據(jù)dat模型庫(kù)六個(gè)眼睛的關(guān)鍵點(diǎn)對(duì)司機(jī)的眼睛進(jìn)行定位；其次，雙眼閉合的時(shí)候，上、下眼皮的特征點(diǎn)間距減小，等于眼睛的長(zhǎng)寬比發(fā)生變化[9]，可向SVM分類(lèi)器中輸入 HOG特征，從而對(duì)眼睛狀態(tài)進(jìn)行識(shí)別，以便計(jì)算PERCLOS值；最后，將PERCLOS與所設(shè)定閾值進(jìn)行比較，若大于所設(shè)定閾值，則判斷司機(jī)產(chǎn)生睡意。這種方法可以實(shí)現(xiàn)對(duì)人的眼睛狀況的快速檢測(cè)，并能實(shí)現(xiàn)對(duì)駕駛員的實(shí)時(shí)預(yù)警。P80標(biāo)準(zhǔn)的 PERCLOS數(shù)值由以下公式進(jìn)行計(jì)算：

其中其中P為P80標(biāo)準(zhǔn)的PERCLOS數(shù)值；TC代表眼睛閉合時(shí)長(zhǎng)；TA代表單位檢測(cè)時(shí)長(zhǎng)。實(shí)際操作中由于多種因素影響難以得到具體時(shí)長(zhǎng)，也可將時(shí)間比轉(zhuǎn)為對(duì)應(yīng)幀數(shù)比進(jìn)行操作。

5.2 嘴部檢測(cè)原理

人體嘴部疲勞檢測(cè)操作原理與人眼檢測(cè)近似。人在打哈欠的時(shí)候，嘴部變化幅度相較正常說(shuō)話及飲食具有顯著增大。所以，嘴巴的張開(kāi)程度是最直觀的指標(biāo)。計(jì)算公式如下：

其中O為嘴部張合度；L代表嘴部上下高度值；W代表嘴部左右角寬度。

疲勞主要是以打哈欠為嘴部表現(xiàn)，通過(guò)分析了解到，人打一次哈欠，嘴部張大閉合活動(dòng)的全過(guò)程時(shí)間大約6.5s?？梢栽O(shè)置30s 內(nèi)檢測(cè)到嘴部張合度大于閾值0.6且超過(guò)閾值時(shí)長(zhǎng)比（也可在條件欠缺時(shí)采用幀數(shù)比）超過(guò)20%判定為疲勞并發(fā)出預(yù)警。

5.3 頭部檢測(cè)原理

傳統(tǒng)的頭部姿態(tài)算法主要是由臉部識(shí)別出關(guān)鍵點(diǎn)，然后采用平均頭部模型進(jìn)行二維到三維的匹配，這就相當(dāng)復(fù)雜了。為此，本文采用了頭部姿態(tài)估計(jì)（HPE）的方法。該方法首先通過(guò)參考 dat模型庫(kù)進(jìn)行2D 人臉關(guān)鍵點(diǎn)檢測(cè)，然后通過(guò)3D形變模型（3DMM）模擬出相應(yīng)的3D臉模型，通過(guò)3D人臉模型的匹配，求解3D點(diǎn)與2D點(diǎn)之間的轉(zhuǎn)換關(guān)系，接著利用 OpenCV中的求解 PnP 問(wèn)題的函數(shù) solvePnP（），得出了低頭歐拉角、頭部?jī)A斜歐拉角 、轉(zhuǎn)頭歐拉角等參數(shù)，以此來(lái)判定頭部的狀態(tài)。

在頭部姿態(tài)的檢測(cè)中，當(dāng)駕駛員出現(xiàn)疲勞時(shí)，頭部的情況也會(huì)發(fā)生相應(yīng)的改變，駕駛員的疲勞狀態(tài)主要表現(xiàn)在頭部則會(huì)發(fā)生側(cè)傾，比如不停的點(diǎn)頭，或者是很久沒(méi)有變化姿勢(shì)等[10]。從而可以將點(diǎn)頭頻率、頭部姿態(tài)角、視線偏差等視為疲勞的特征。根據(jù)以上情況，可以根據(jù)駕駛員頭部為起始坐標(biāo)建立三維空間直角坐標(biāo)系，檢測(cè)駕駛員頭部偏側(cè)情況。通過(guò)測(cè)量駕駛員單位檢測(cè)時(shí)間頭部起始坐標(biāo)和最大偏移坐標(biāo)，以頭部起始坐標(biāo)為無(wú)偏角度，計(jì)算最大偏移坐標(biāo)與起始坐標(biāo)的偏離程度以求出偏側(cè)角度，根據(jù)頭部偏移細(xì)分情況參照低頭歐拉角、頭部?jī)A斜歐拉角、轉(zhuǎn)頭歐拉角等參數(shù)。當(dāng)角度超過(guò)設(shè)定值時(shí)，可檢測(cè)得知駕駛員處于疲勞駕駛狀態(tài)。本文將低頭歐拉角|Pitch|≥20°或者頭部?jī)A斜歐拉角|Roll|≥20°設(shè)立為頭部的疲勞特征。判定當(dāng)駕駛員的頭部疲勞持續(xù)時(shí)間達(dá)到30%的時(shí)候，駕駛員處于疲勞狀態(tài)。

6 結(jié)語(yǔ)

針對(duì)疲勞特征參數(shù)單一、識(shí)別精度低的缺點(diǎn)，本文提出了一種以眼部疲勞特征為主，嘴部和頭部疲勞特征為輔的多面部特征融合的疲勞檢測(cè)方法，通過(guò)加入疲勞特征參數(shù)的提取，克服了單一疲勞因素判斷疲勞所帶來(lái)的低精度問(wèn)題，并通過(guò)簡(jiǎn)單的算法減少了在一些設(shè)備上的運(yùn)行壓力，能夠更好地避免司機(jī)的疲勞駕駛事故，特別適用于外出工作的消費(fèi)者、運(yùn)輸服務(wù)行業(yè)、大型汽車(chē)制造商等，具有很好的推廣應(yīng)用價(jià)值。

基金項(xiàng)目：2021年江蘇省大學(xué)生實(shí)踐創(chuàng)新訓(xùn)練項(xiàng)目“大學(xué)生創(chuàng)新創(chuàng)業(yè)訓(xùn)練計(jì)劃項(xiàng)目進(jìn)度及經(jīng)費(fèi)預(yù)算表”（2021AX08006C）。

參考文獻(xiàn)：

[1]辛嵩，宋明達(dá)，王澤明，趙剛.針對(duì)特定駕駛員的疲勞駕駛檢測(cè)方法[J/OL].安全與環(huán)境學(xué)報(bào)：1-8[2022-12-25].DOI：10.13637/j.issn.1009-6094.2021.1527.

[2]Anber Salma，Alsaggaf Wafaa，Shalash Wafaa. A Hybrid Driver Fatigue and Distraction Detection Model Using AlexNet Based on Facial Features[J]. Electronics，2022，11（2）.

[3]Zhang Tao，Chen Jichi，He Enqiu，Wang Hong. Sample-Entropy-Based Method for Real Driving Fatigue Detection with Multichannel Electroencephalogram[J]. Applied Sciences，2021，11（21）.

[4]Bala，J.W.，Jong，K.A.，Huang，J.，Vafaie，H.，& Wechsler，H. （1996）. Visual routine for eye detection using hybrid genetic architectures. Proceedings of 13th International Conference on Pattern Recognition，3，606-610 vol.3.

[5]Wang Zhongmin，Zhao Yupeng，He Yan，Zhang Jie. Phase lag index-based graph attention networks for detecting driving fatigue.[J]. The Review of scientific instruments，2021，92（9）.

[6]Mamunur Rashid，Mahfuzah Mustafa，Norizam Sulaiman，Nor Rul Hasma Abdullah，Rosdiyana Samad. Random Subspace K-NN Based Ensemble Classifier for Driver Fatigue Detection Utilizing Selected EEG Channels[J]. TS，2021，38（5）.

[7]張博，李鴻，李會(huì)超.基于多類(lèi)別特征融合的疲勞檢測(cè)系統(tǒng)研究[J].現(xiàn)代電子技術(shù)，2019，42（01）：152-156.DOI：10.16652/j.issn.1004-373x.2019.01.034.

[8] WIERWILLE W，KNIPLING R.Vehicle- based drowsydriver detection：current status and future prospects[C]//Proceedings of the IVHS America Conference，1994：245-256.

[9]劉超，蔡文華，陸玲.圖像閾值法分割綜述[J].電腦知識(shí)與技術(shù)，2015，11（01）：140-142+145.DOI：10.14004/j.cnki.ckt.2015.0048.

[10]孟子諍，劉金明，劉厚軍.機(jī)車(chē)司機(jī)疲勞檢測(cè)系統(tǒng)研究與應(yīng)用[J].中國(guó)鐵路，2013（05）：105-108.DOI：10.19549/j.issn.1001-683x.2013.05.032.