基于駕駛員面部檢測的自適應(yīng)碰撞預(yù)警系統(tǒng)

余卓平 袁子佳 冷搏 熊璐

摘要：碰撞預(yù)警系統(tǒng)（FCW）是高級輔助駕駛系統(tǒng)（ADAS）的重要組成部分，它可以識別潛在的碰撞危險并提醒駕駛員。傳統(tǒng)的FCW對駕駛員假設(shè)了固定的反應(yīng)時間，導(dǎo)致警報無法根據(jù)不同的駕駛員狀態(tài)調(diào)整從而產(chǎn)生誤報。在此基礎(chǔ)上，本文提出了一種基于駕駛員面部監(jiān)測的自適應(yīng)碰撞預(yù)警系統(tǒng)，該系統(tǒng)利用相機(jī)采集駕駛員面部信息，通過深度殘差網(wǎng)絡(luò)、PERCLOS（百分比眼開度跟蹤）和位姿估計等方法檢測駕駛員的年齡、情緒、疲勞和注意力，然后利用模糊控制對所獲信息進(jìn)行評價，得到相應(yīng)的反應(yīng)時間，最后將此系統(tǒng)放在CarMaker/Simulink進(jìn)行建模仿真測試。結(jié)果顯示此系統(tǒng)通過測試標(biāo)準(zhǔn)并可以自適應(yīng)不同的駕駛員狀態(tài)。

關(guān)鍵詞：碰撞預(yù)警系統(tǒng)（FCW）;高級輔助駕駛系統(tǒng)（ADAS）;駕駛員面部檢測;PERCLOS;位姿估計;模糊控制;CarMaker

0? 引言

聯(lián)合國世界衛(wèi)生組織《2018年道路安全全球現(xiàn)狀報告》指出，全球每年大約有135萬人死于道路交通碰撞，2000萬至3000萬人受到非致命傷害。道路碰撞所帶來的損失占大部分國家國內(nèi)生產(chǎn)總值的3%，所以十分有必要解決道路碰撞問題。[1]

文獻(xiàn)顯示，大約90%的交通事故歸因于駕駛員自身[2]，約34%的致命事故的主要原因是缺乏有效的預(yù)警。[3]所以，能夠高級駕駛輔助系統(tǒng)（ADAS，Advanced? Driver Assistant System）是汽車主動安全系統(tǒng)的重要技術(shù)，可以有效提升行駛安全性。它利用車載的各種傳感器，實時收集車內(nèi)外環(huán)境數(shù)據(jù)，進(jìn)行靜、動態(tài)物體的辨識、偵測與追蹤等技術(shù)處理，從而讓駕駛員在最短的時間察覺到潛在危險。高級輔助駕駛系統(tǒng)范圍很廣，通常包括自適應(yīng)巡航、車道保持系統(tǒng)，自動泊車系統(tǒng)、駕駛員疲勞探測等。其中，前向碰撞預(yù)警系統(tǒng)（FCW，F(xiàn)orward Collision Warning System）可以在車輛與障礙物距離小于安全距離時，向駕駛員發(fā)出警報從而有效避免碰撞的技術(shù)。

ADAS與FCW已經(jīng)相對成熟，廣泛運用于各大汽車制造商，但仍然有些問題需要改進(jìn)。首先，目前主流的ADAS與FCW都聚焦于監(jiān)測車外環(huán)境，而忽略了駕駛員自身狀態(tài)。但是，安全性首先是一項人因工程。身心狀態(tài)良好的司機(jī)可以提前避開潛在的危險，然而如果司機(jī)在疲憊、醉酒或分心等惡劣狀態(tài)下，即使是在一個簡單的交通場景中，也可能會發(fā)生事故。所以，對駕駛員進(jìn)行實時監(jiān)測并在其狀態(tài)異常時，發(fā)出相應(yīng)的警報是十分有必要的。其次，傳統(tǒng)的FCW對駕駛員假設(shè)了固定的反應(yīng)時間，導(dǎo)致警報無法根據(jù)不同的駕駛員狀態(tài)調(diào)整，從而產(chǎn)生誤報，讓駕駛員對其失去信任。過早的警報會頻繁打擾駕駛員，而過晚的警報會讓駕駛員沒法及時反應(yīng)從而產(chǎn)生危險。解決此方法的有效途徑仍是實時監(jiān)測駕駛員狀態(tài)，對其不同狀態(tài)下的反應(yīng)時間進(jìn)行預(yù)測，從而調(diào)整安全距離，以實現(xiàn)報警閾值的自適應(yīng)調(diào)整。故將駕駛員狀態(tài)監(jiān)測技術(shù)融入ADAS與FCW，可以更有效地保障安全性。

駕駛員狀態(tài)可以通過各種模態(tài)進(jìn)行分析，如面部圖像、駕駛行為、生物電如心電等。[4]不同方法的比對如表1所示。

通過比對，本系統(tǒng)選擇面部監(jiān)測方法，因為它可以檢測最多的信息，同時設(shè)備簡易，且擁有較高的精度與速度。

1? 自適應(yīng)碰撞預(yù)警系統(tǒng)設(shè)計

為把駕駛員面部檢測技術(shù)與自適應(yīng)碰撞系統(tǒng)相結(jié)合，將相機(jī)置于駕駛員正前方實時監(jiān)測并識別駕駛員狀態(tài)。模糊控制系統(tǒng)通過分駕駛員狀態(tài)信息，對其反應(yīng)時間作出預(yù)測，然后利用安全距離算法計算出不同反應(yīng)時間下對應(yīng)的安全距離。當(dāng)汽車與障礙物距離小于安全距離時，系統(tǒng)向駕駛員發(fā)出警報。整個系統(tǒng)的方案如圖1。

2? 駕駛員狀態(tài)檢測系統(tǒng)設(shè)計

面部信息識別是用攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進(jìn)而對檢測到的人臉進(jìn)行臉部識別的相關(guān)技術(shù)。

影響駕駛員狀態(tài)的因素有很多。Helen WR[5]通過K-means聚類方法，將美國國家公路交通安全管理局（NHTSA）的交通事故死亡分析報告數(shù)據(jù)庫所提供的原因分為若干組。年齡、酒精、藥物等因素可以歸為長期因素。疲勞、分心、情緒或任何個人失誤可以歸為短期因素。由于酒駕和藥駕在許多國家被禁止，所以此系統(tǒng)只考慮年齡、疲勞、情緒與注意力四種主要因素。

反應(yīng)時間作為駕駛員駕駛狀態(tài)的主要指標(biāo)，它與駕駛員狀態(tài)主要因素的關(guān)系一直受到許多研究者的關(guān)注。然而由于生理與心理因素的復(fù)雜性和測量的困難，這些關(guān)系很難用數(shù)學(xué)模型來描述。但反應(yīng)時間與各因素的定性關(guān)系已經(jīng)有了大量研究結(jié)果。從總體上看，制動反應(yīng)時間在20-80歲之間逐漸增加，從0.4s左右增加到1.8s左右。[6]郭夢竹發(fā)現(xiàn)，從警戒狀態(tài)到疲勞狀態(tài)的反應(yīng)時間平均增加16.72%。[7]Utumporn發(fā)現(xiàn)，不同分心程度下，反應(yīng)時間的范圍在0.5秒到1.8秒之間。[8]胡天一發(fā)現(xiàn)情緒會通過風(fēng)險感知和風(fēng)險態(tài)度影響駕駛員的駕駛行為。[9]

2.1 年齡識別

通過面部信息進(jìn)行年齡識別本質(zhì)上是圖像分類問題。卷積神經(jīng)網(wǎng)絡(luò)可以有效提取人臉的特征點，準(zhǔn)確進(jìn)行圖像分類。何凱明[10]設(shè)計了一種深度殘差網(wǎng)絡(luò)（ResNet，Residual Network），通過殘差快結(jié)構(gòu)可以有改善傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的梯度爆炸/消失問題，從而以更深的網(wǎng)絡(luò)深度更高效地提取出圖像特征點，在ImageNet、CIFAR-10。等大型圖像數(shù)據(jù)庫上獲得了優(yōu)異的結(jié)果。UTKFace數(shù)據(jù)集是一個大范圍的面部數(shù)據(jù)集，年齡跨度從0到116歲。在搭建101層ResNet模型，調(diào)整訓(xùn)練參數(shù)后，模型在年齡驗證數(shù)據(jù)集的準(zhǔn)確率達(dá)到90%。

2.2 情緒識別

情緒識別仍然是圖像分類問題，故仍采用深度殘差網(wǎng)絡(luò)。數(shù)據(jù)庫采用FER2013和CK+人臉數(shù)據(jù)庫。FER2013是一個面部數(shù)據(jù)庫，包含7類情緒，包括憤怒、厭惡、恐懼、高興、悲傷、驚訝和中性。它包括28709個訓(xùn)練實例和3589個驗證實例。CK+是擴(kuò)展的Cohn-Kanade數(shù)據(jù)集，包含327個帶有情緒標(biāo)簽的圖像序列。為了增加訓(xùn)練集，這兩個數(shù)據(jù)集被合并擴(kuò)充為一個更大的混合數(shù)據(jù)集。模型在情緒驗證數(shù)據(jù)集的精度達(dá)到82%。

2.3 疲勞識別

疲勞識別問題與年齡和情緒識別不同。因為沒有足夠的疲勞人臉圖像數(shù)據(jù)庫，所以無法使用神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。PERCLOS是把一定的時間內(nèi)眼睛閉合時所占的時間比來作為疲勞量度的方法。美國聯(lián)邦公路管理（FWHA）與NHTSA認(rèn)為PERCLOS是最可靠的已知實時報警措施之一，適用于車內(nèi)疲勞檢測系統(tǒng)，其計算方法可以表示如下[11]：

為得到PERCLOS疲勞量度，本系統(tǒng)通過回歸決策樹識別出眼睛特征點，然后計算出計算眼睛的縱向歐氏距離和橫向歐氏距離之比，當(dāng)比值小于一定閾值時，則認(rèn)為其眼睛處于閉合狀態(tài)。最后，通過計算單位時間的閉眼時間百分比得到PERCLOS量度。

2.4 注意力識別

注意力或者走神狀態(tài)檢測與疲勞檢測有著同樣的問題，即缺乏足夠有效的數(shù)據(jù)庫，且缺少廣泛認(rèn)同的方法。Sung Joo Lee[12]等人通過測量駕駛員面部朝向的左右和俯仰角度，確定了一個正常行駛過程中的實時注視區(qū)域。區(qū)域邊界由左后視鏡左側(cè)，右后視鏡右側(cè)，上遮光板，儀表盤，中控臺等組成。利用Sung測量的角度空間，當(dāng)駕駛員面部朝向超過邊界時，可被判斷為注意力不集中。

則可以求解出旋轉(zhuǎn)矩陣R與平移矩陣T，其中旋轉(zhuǎn)矩陣便包含了駕駛員面部朝向的左右角度與俯仰角度。

利用上述駕駛員狀態(tài)檢測方法，實時檢測結(jié)果如圖2。

從結(jié)果中，可以看到被識別者的年齡、疲勞度、情緒和注意力狀態(tài)皆被準(zhǔn)確檢測。同時，當(dāng)某些狀態(tài)異常，如疲勞、憤怒或嚴(yán)重分心時候，系統(tǒng)會發(fā)出相應(yīng)警報。

3? 模糊控制系統(tǒng)設(shè)計

由于生理和心里因素的復(fù)雜性，對于不同狀態(tài)下的反應(yīng)時間測量較為困難，例如很難測量駕駛員在不同情緒和注意力下的反應(yīng)時間。因為缺乏反應(yīng)時間與年齡、疲勞、情緒和注意力之間的定量關(guān)系，所以無法使用機(jī)器學(xué)習(xí)或數(shù)據(jù)分析方法。但是根據(jù)經(jīng)驗與邏輯，可以得到反應(yīng)時間與駕駛員狀態(tài)的定性關(guān)系，如老年駕駛員的反應(yīng)時間一般比年輕的駕駛員長，駕駛員在走神時比專心時的反應(yīng)時間長。

模糊控制系統(tǒng)是一種基于知識的人工智能系統(tǒng)，可以描述無法用精確數(shù)學(xué)模型計算的不確定或難以描述的變量，適合用于駕駛員反應(yīng)時間預(yù)測。[13]模糊控制是以模糊集合論、模糊語言變量及模糊邏輯推理為基礎(chǔ)的一種計算機(jī)數(shù)字控制。它由一定的先驗知識來構(gòu)造模糊控制規(guī)則，通過一系列不精確的控制來達(dá)到精確的控制目的。模糊控制在自動化控制、制造技術(shù)、人因工程中都得到了廣泛的應(yīng)用。在汽車安全性領(lǐng)域，它可被用來估測駕駛員反應(yīng)時間與安全距離[14][15][16]，駕駛員注意力狀態(tài)[17]等。

模糊控制系統(tǒng)設(shè)計借助于Matlab的模糊控制工具箱。將年齡、情緒、疲勞和注意力四個變量分別分組，分別設(shè)計各變量在不同分組中的隸屬度函數(shù)，再依據(jù)文獻(xiàn)中的研究結(jié)果，制定各個變量狀態(tài)與反應(yīng)時間之間的模糊規(guī)則，則可以推理出不同狀態(tài)下對應(yīng)的反應(yīng)時間。

以反應(yīng)時間-疲勞度-注意力分散度三維圖為例，隨著橫軸疲勞度和注意力分散度的增加，縱軸的反應(yīng)時間也在不斷增加?？傮w結(jié)果顯示，反應(yīng)時間與各變量之間的關(guān)系都粗略符合文獻(xiàn)中所研究出的定性關(guān)系。

4? 仿真與測試

為了測試系統(tǒng)的性能，利用CarMaker與Simulink對系統(tǒng)進(jìn)行聯(lián)合仿真。CarMaker是IPG公司的仿真軟件，為虛擬駕駛提供了完整的解決方案。測試步驟參照NHTSA的FCW測試標(biāo)準(zhǔn)流程[14]。

以場景一為例，前車或者障礙物處于靜止?fàn)顟B(tài)，本車以72km/h的速度行駛。假設(shè)駕駛員處于年輕、愉悅、專心且無疲勞狀態(tài)，則他的反應(yīng)時間被預(yù)測為0.46s，由安全距離算法計算出的距離為60.67m，結(jié)果如圖4所示。

而當(dāng)駕駛員因為看手機(jī)而走神且處于普通情緒狀態(tài)時，他的反應(yīng)時間被預(yù)測為0.79s，安全距離為67.26m。（圖5）

假設(shè)一位老年駕駛員，且處于憤怒、分心和疲勞狀態(tài)時，他的反應(yīng)時間被預(yù)測為1.64m，安全距離為84m。（圖6）

經(jīng)過測試，本系統(tǒng)通過了所有場景測試標(biāo)準(zhǔn)，且可以有效適應(yīng)不同的駕駛員狀態(tài)。

5? 總結(jié)

該系統(tǒng)利用攝像頭對駕駛員面部進(jìn)行監(jiān)控，通過深度殘差網(wǎng)絡(luò)、PERCLOS和位姿估計等方法檢測駕駛員的年齡、情緒、疲勞和注意力狀態(tài)。當(dāng)駕駛員疲勞、分心或情緒不佳時，系統(tǒng)會發(fā)出相應(yīng)的警告。模糊控制系統(tǒng)通過駕駛員狀態(tài)預(yù)測出其反應(yīng)時間，然后結(jié)合安全距離算法計算安全距離。當(dāng)車輛與障礙物距離小于安全距離時，系統(tǒng)會產(chǎn)生警告提醒駕駛員剎車。最后，根據(jù)NHTSA提供的FCW標(biāo)準(zhǔn)測試，在CarMaker虛擬環(huán)境中對其性能進(jìn)行測試和評估。結(jié)果表明，該系統(tǒng)滿足標(biāo)準(zhǔn)要求，能夠適應(yīng)不同的駕駛員狀態(tài)。

參考文獻(xiàn)：

[1]世界衛(wèi)生組織.2018年全球道路安全狀況報告[R].2018.

[2]Bekiaris， E.， Petica， S.， Brookhuis， K.A. （1997）. Driver needs and public acceptance regarding telematic in-vehicle emergency control aids. In： Proceedings of the 4th Word Congress on Intelligent Transport Systems. Brussel： Ertico （on CD）.

[3]Vallet， M. （1991）. Les dispositifs de maintien de la vigilance des conducteurs de voiture. In： Le maintien de la vigilance danskes transports. M. Vallet （Ed.）. Caen： Paradigm.

[4]Florian Eyben. Emotion on the Road—Necessity， Acceptance， and Feasibility of Affective Computing in the Car In： Advances in Human-Computer Interaction，2018， S.1-17.

[5]Helen WR： Mining Road Accident Data Based on Diverted Attention of Drivers. In： Proceedings of the Second International Conference on Intelligent Computing and Control Systems，2018， S.245-249.

[6]Matija Svetina： The reactiontimesofdriversaged 20 to 80 during a dividedattentiondriving. In： Traffic Injury Prevention，2016，S.810-814.

[7]MengzhuGuo; Shiwu Li; Linhong Wang; Meng Chai; FachengChe; Yunong Wei： Research on the Relationship between ReactionAbility and Mental State for Online Assessment of Driving Fatigue. In： International Journal of Environment Research and Public Heath，2016， S.1-15.

[8]UtumpornKaewken： Driving Distraction Effects on Reaction Time in Simulated Driving. University of Illinois at Chicago.2012.

[9]Tianyi Hu; XiaofeiXie; Jie Li： Negative or positive？ The effect of emotion and mood on risky driving. In： Transportation Research Part F： Traffic Psychology and Behaviour，2013，S.29-40.

[10]Kaiming He; Xiangyu Zhang; Shaoqing Ren; Jian Sun： Deep Residual Learning for Image Recognition. In： The IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2016. S.770-778.

[11]FHWA（Federal Highway Administration）： PERCLOS： A Valid Psychophysiological Measure of Alertness As Assessed by Psychomotor Vigilance.1998.

[12]Sung Joo Lee; Jaeik Jo， Ho Gi Jung; Kang Ryoung Park; Jaihie Kim： Real-Time Gaze Estimator Based on Driver’s HeadOrientation for Forward Collision Warning System.In： IEEE Transactions On Intelligent Transportation Systems.2011.

[13]李悟早，郭術(shù)義，任思杰.模糊控制理論綜述[J].河南科技，2019（S）：12-15.

[14]U.Chattaraj; K.Dhusiya; M.Raviteja： Fuzzy Inference Based Modelling of Perception Reaction Time of Drivers. In： International Journal of Computer and Information Engineering，2007. S.8-12.

[15]夏道華.基于駕駛員特性的汽車防撞安全距離模型研究[J]. 遼寧工業(yè)大學(xué)，2016.

[16]Ge Ruhai; Zhang Weiwei; Wang Zhong： Research on the Driver Reaction Time of Safety Distance Model on Highway Based on Fuzzy Mathematics. In： 2010 International Conference on Optoelectronics and Image Processing.2010. S.293-216.

[17]César Arroyo; Luis M. Bergasa; Eduardo Romera： Adaptive Fuzzy Classifier to detect Driving Events from the Inertial Sensors of a Smartphone. In： 2016 IEEE 19th International Conference on Intelligent Transportation Systems （ITSC）， 2016.

[18]NHTSA （National Highway Traffic Safety Administration）： Forward Collision Warning System Confirmation Test.2013.