基于多模態(tài)信息聯(lián)合判斷的駕駛員危險行為監(jiān)測系統(tǒng)

李春賀，陶 帥

(中國礦業(yè)大學(北京)管理學院，北京 100083)

隨著中國經(jīng)濟的飛速發(fā)展，機動車保有量呈現(xiàn)出爆發(fā)式增長的態(tài)勢[1]。目前機動車已經(jīng)成為交通出行中一項必不可少的工具，機動車的廣泛使用，極大地提升了公眾出行的效率，但是隨之而來交通安全問題也日益增多。報告顯示[2]，自從2015年初至2019年底，中國共出現(xiàn)超過600萬起各類交通事故，導致直接經(jīng)濟損失高達259億元人民幣；據(jù)統(tǒng)計，約有80%的交通事故與駕駛員危險駕駛行為直接相關[3]。例如駕駛員在駕駛過程中出現(xiàn)接打手機等行為，會嚴重地干擾駕駛員的注意力，從而無法專注地觀察前方和周圍的路面狀況，一旦出現(xiàn)突發(fā)情況，駕駛員往往無法及時做出正確的反應，從而導致交通事故的產(chǎn)生，引起生命財產(chǎn)損失。因此，對駕駛員的駕駛行為進行實時監(jiān)測，及時發(fā)現(xiàn)可能出現(xiàn)的危險行為并做出相應的預警和提示，可以避免部分事故的產(chǎn)生[4]。所以，對駕駛員危險行為監(jiān)測系統(tǒng)的研究具有重要的價值和意義。

目前已有部分工作分別從生理信號、視覺等不同角度來解決這一問題；如文獻[4]提出了一種基于雙目視覺的方法來檢測駕駛員是否出現(xiàn)分神等危險狀態(tài)，這種方法雖然檢測速度較快，但是準確率較低，并且容易受到光照變化的影響；文獻[5]提出基于面部和手部特征聯(lián)合分析的駕駛員疲勞狀態(tài)檢測算法，該算法通過支持向量機(support vector machine，SVM)構建分類模型，具有較高的識別精度，但是模型的泛化性較差，無法大規(guī)模使用；文獻[6]借助深度神經(jīng)網(wǎng)絡強大的特征提取能力，設計了一個基于人臉特征的駕駛員疲勞檢測模型，測試結果顯示該方法精度高、泛化性強，但是計算量較大，對運行設備的算力有較高的要求。文獻[7]設計了一種級聯(lián)型深度神經(jīng)網(wǎng)絡模型，采用超分辨率測試序列(visual geometry group，VGG)模型來對駕駛員常見的9種分神動作進行檢測，但是該方法忽略了駕駛員在駕駛過程中的情緒、視線、危險動作等信息，因此無法覆蓋所有可能出現(xiàn)的情況。文獻[8]借助現(xiàn)有的Dlib和OpenCV模型設計了一種駕駛員危險行為檢測算法，這種算法設計簡單，但是魯棒性較差，并且Dlib中的模型無法訓練，因此難以在實際中使用。針對現(xiàn)有工作所存在的問題，現(xiàn)從危險動作檢測、情緒識別、視線估計等多個方面進行深入的研究和分析，設計一套可以聯(lián)合使用多模態(tài)信息的駕駛員危險行為監(jiān)測系統(tǒng)。

1 監(jiān)測系統(tǒng)

1.1 問題探究

從原理上進行分析，現(xiàn)有的駕駛員危險行為監(jiān)測系統(tǒng)主要可以分為3種[4]：基于駕駛員生理參數(shù)的監(jiān)控方法、基于駕駛員駕駛狀態(tài)的監(jiān)控方法和基于計算機視覺的監(jiān)控方法。其中基于駕駛員生理參數(shù)的監(jiān)控方法的判斷精度較高，但是該方法需要駕駛員佩戴多種傳感器，并且會對駕駛員的操作產(chǎn)生一定的阻礙，因此該方法大多應用于學術研究方面，在實際的使用場景中很難大規(guī)模推廣使用；基于駕駛行為的監(jiān)控方法通過使用多種傳感器收集駕駛員的行為方法，并通過算法進行分析，目前這種方法應用較多，但是這種方法靈敏度和精度較差，只有駕駛員出現(xiàn)明顯危險駕駛行為時才進行預警[9]；基于計算機視覺的監(jiān)控方法通過攝像頭采集駕駛員的駕駛狀態(tài)，使用相應的算法直接從視覺的角度對駕駛狀態(tài)進行評估和判斷，該方法具有硬件設備簡單、處理速度快、識別精度高、易于升級等優(yōu)點，正在被廣泛地關注和研究，但仍然存在多項急需解決的問題。

(1)訓練數(shù)據(jù)缺失?；谟嬎銠C視覺的駕駛員危險駕駛監(jiān)控系統(tǒng)的核心是其中的識別模型，該模型需要具有較強的泛化性和穩(wěn)定性。但是在駕駛員監(jiān)控任務中，所需要處理的場景多種多樣，訓練數(shù)據(jù)無法完全覆蓋到所有的情況，導致模型在某些極端的情況下出現(xiàn)較多的漏檢和誤檢。

(2)傳感器模式單一。現(xiàn)有的方法大多采用可見光攝像頭作為圖像采集傳感器，但是可見光傳感器非常容易受到環(huán)境光照強度的影響，在光照較差的情況下，有可能導致監(jiān)控系統(tǒng)無法正常工作，造成一定的安全隱患。

(3)判別依據(jù)較少。現(xiàn)有的監(jiān)控系統(tǒng)大多是通過分析駕駛員眨眼頻率來判斷是否出現(xiàn)疲勞駕駛行為；在實際場景中，危險駕駛行為不僅僅只有疲勞駕駛一種，還包括使用手機、分神、極端情緒等多種。

(4)模型的運行效率?；谝曈X特征的方法需要對圖像數(shù)據(jù)進行處理，因此算法的時間復雜度和空間復雜度較高，對部署設備的硬件要求較高，導致實際使用成本增多。

為了解決上述的問題，提出了一種基于多模態(tài)信息聯(lián)合判斷的駕駛員危險駕駛行為監(jiān)測系統(tǒng)。在系統(tǒng)中，設計了一種輕量化的深度學習模型，該模型使用多任務輸出的方式進行構建，使用一個模型同時完成“疲勞檢測”“視線估計”“情緒識別”等多個任務，不但壓縮了模型的體積，并且提高了運行速度。此外，為了解決目前公開數(shù)據(jù)集訓練樣本場景單一和分布不均衡等問題，在項目中采集和標注了大量的數(shù)據(jù)，用于模型的訓練。

1.2 危險駕駛行為分類

為了能夠更加精確地對駕駛員的駕駛行為進行監(jiān)控，對危險駕駛行為從“人臉屬性”和“動作屬性”兩個方面進行了更加細致的分類。其中人臉屬性主要包括分神、疲勞和極端情緒；動作屬性主要包括未系安全帶、使用手機、喝水和吸煙；具體如表1所示。

從表1中可以看出，人臉屬性中的3種具體行為無法直接進行判斷，因此需要使用間接的方式來進行處理；如對于分神這個危險行為，算法可以通過視線估計的方法來判斷駕駛員是否正處于分神的狀態(tài)。與人臉屬性中的危險行為不同，動作屬性中的4種危險行為可以使用目標檢測算法來直接進行檢測和判斷。

表1 駕駛員危險動作定義

2 研究方法

為了解決現(xiàn)有的駕駛員危險行為監(jiān)控系統(tǒng)中所存在的傳感器模式單一、判別依據(jù)較少以及模型實時性較差等問題，設計了一種基于多模態(tài)信息聯(lián)合判斷的駕駛員危險行為監(jiān)測系統(tǒng)，該系統(tǒng)中的核心識別算法完全基于深度神經(jīng)網(wǎng)絡技術實現(xiàn)，具有較好的泛化性和較高的識別精度[10]。

2.1 基于人臉屬性的危險動作識別

基于人臉屬性的駕駛員危險動作識別算法相對復雜，因為其中的分神、疲勞駕駛以及極端情緒都無法通過人臉圖片直接獲取，需要任務的特點來間接判斷。

2.1.1 人臉關鍵點定位算法

人臉關鍵點定位算法是基于人臉屬性危險動作檢測的核心，其中分神和疲勞駕駛兩個任務都需要在人臉關鍵點定位的結果之上進行分析和處理。人臉關鍵點定位是指從一張人臉圖片中定位出一系列具有特殊語意信息的點，如鼻尖、嘴角、眉梢等[11]。常用的人臉關鍵點定位技術主要分為兩類，一種是基于坐標回歸的方法，另外一種是基于熱圖回歸的方法?；谧鴺嘶貧w的人臉關鍵點定位方法速度快但精度略差；基于熱圖回歸的方法精度高但是速度慢，并且模型的參數(shù)量和計算量遠大于基于坐標回歸的方法，不適合應用于實際的產(chǎn)品中。因此，在所提出的系統(tǒng)中，選擇基于坐標回歸的人臉關鍵點定位方法。

為了提升基于坐標回歸方法的精度，提出了一種全新的損失函數(shù)(loss function)，這種損失函數(shù)與常用的l1loss、l2loss不同，該損失函數(shù)在模型訓練的過程中，使深度神經(jīng)網(wǎng)絡增加對誤差較小點的關注，減少對誤差較大點的關注，使模型可以更加快速地收斂，具體公式為

(1)

式(1)中：x為輸入數(shù)據(jù)；ω為損失函數(shù)中的非線性區(qū)域部分；為非線性區(qū)域的曲率半徑；C為一個常數(shù)項，計算公式為

(2)

為了尋找最優(yōu)的參數(shù)組合，進行了大量的對比分析實驗，發(fā)現(xiàn)當ω=10,=2時，可以獲得最優(yōu)的實驗結果，因此在實際訓練中選擇上述的參數(shù)組合。

人臉關鍵點定位的結果如圖1所示。從圖1可以看出，本系統(tǒng)所使用的人臉關鍵點定位算法可以精確地從人臉圖片中檢測出68個關鍵點的位置坐標。

圖1 人臉關鍵點模型定位結果

2.1.2 駕駛員分神檢測

駕駛員在駕駛過程中出現(xiàn)分神行為具有頻發(fā)性和短暫性，非常容易引起嚴重的交通事故。目前尚無法直接從單張圖中來直接判斷駕駛員是否處于分神狀態(tài)的技術，因此為了完成這一任務，需要從其他角度進行間接的處理。常用的處理方式為基于頭部姿態(tài)估計的方法和基于視線估計的方法。

基于頭部姿態(tài)估計的方法是指通過判定頭部朝向的歐拉角(pitch、yaw、roll)來間接地估計駕駛員時候處于分神狀態(tài)；這種方法通過特定的人臉關鍵點之間的幾何分布求解出姿態(tài)參數(shù)，因此算法的精度嚴重依賴于人臉關鍵點的定位結果，一旦人臉關鍵點定位出現(xiàn)偏差，將會對頭部姿態(tài)估計的結果產(chǎn)生嚴重的干擾，從而影響駕駛員分神檢測的準確性。

基于視線估計的方法可以有效地解決上述的問題，該方法直接使用眼部區(qū)域的圖片作為輸入，擬合出視線的歐拉角。眼部區(qū)域只需要使用人臉關鍵點的定位結果進行粗略的裁剪，從而極大地降低了駕駛員分神檢測對人臉關鍵點結果的依賴程度，提升了算法的穩(wěn)定性和泛化性。眼部區(qū)域如圖2所示。

圖2 裁剪后眼部區(qū)域圖片

將經(jīng)過裁剪和對齊的眼部區(qū)域圖片送入卷積神經(jīng)網(wǎng)絡模型中，使用深度學習的方法可以通過回歸的方法直接計算出視線的朝向，從而判斷出駕駛員是否處于分神狀態(tài)。

2.1.3 駕駛員疲勞狀態(tài)識別

駕駛員疲勞駕駛是引發(fā)各類交通事故的主要原因，因此對駕駛員的駕駛狀態(tài)進行實時監(jiān)控，并在出現(xiàn)疲勞駕駛的時候及時給出報告和預警，對減少交通事故具有重要的意義。

疲勞駕駛行為無法直接進行度量，通常情況下采用眨眼頻率和Perclose算法來進行間接判斷。因此，該模塊的核心問題轉變成了如何精確地判斷駕駛員睜閉眼的狀態(tài)；傳統(tǒng)的方法大多采用眼部關鍵點之間的相對距離來判斷睜閉眼的狀態(tài)，但是這種方法的精度會嚴重的依賴于關鍵點的定位精度，因此準確性較差。為了解決這一問題，設計了一種基于卷積神經(jīng)網(wǎng)絡的睜閉眼判斷模型，為了提高算法的運行效率，模型中使用深度可分離卷積代替原有的標準2D卷積操作。通過模塊輸出駕駛員在單位中閉眼的次數(shù)，然后計算Perclose[4]，即

(3)

式(3)中：n為單位時間內(nèi)檢測到閉眼的總次數(shù)；N為總共檢測的幀數(shù)。

2.1.4 駕駛員情緒識別

駕駛機動車時需要駕駛員以平和的心態(tài)來應對各種可能出現(xiàn)的突發(fā)事件。當駕駛員處于焦慮、煩躁、沮喪等極端負面情緒的時候，容易產(chǎn)生沖動的行為，因此這種情況并不適宜駕駛機動車。

現(xiàn)有的駕駛員監(jiān)控系統(tǒng)并沒有考慮駕駛員在駕駛過程中的情緒變化，因此存在一定的安全隱患。為了解決這一問題，使用深度學習的方法設計了一種情緒識別算法，該算法使用人臉圖像作為輸入，借助神經(jīng)網(wǎng)絡模型對人臉中的表情特征進行建模，從而精確地識別出駕駛員的情緒[12]。

2.1.5 人臉屬性整體解決方案

基于人臉屬性的危險動作檢測方案中，需要完成關鍵點定位、視線追蹤、疲勞駕駛判斷以及情緒識別等多個任務。如果為每一種任務單獨設計一個模型，將會極大地增加系統(tǒng)的運算量，導致處理速度下降。因此，借鑒深度學習中多任務學習模式，設計了一種輕量化的深度學習模型，該模型可以使用一個特征提取網(wǎng)絡完成多個任務。根據(jù)人臉屬性中的4個不同的任務，將人臉關鍵點定位任務和情緒識別兩個任務相結合使用一個深度學習網(wǎng)絡直接輸出識別結果。視線追蹤與疲勞駕駛判斷需要根據(jù)眼部區(qū)域的圖片進行判斷，因此這兩個任務需要在人臉關鍵點的結果的基礎之上進一步的進行處理。基于人臉屬性的危險動作檢測方案的總體流程如圖3所示。

圖3 基于人臉屬性的系統(tǒng)框架

駕駛員危險行為監(jiān)測系統(tǒng)需要在嵌入式硬件設備上運行，并對駕駛員的駕駛過程進行不間斷的監(jiān)控。大部分嵌入式設備的由于CPU架構等原因，算力和存儲空間相對較小，因此在系統(tǒng)中使用深度可分離卷積來代替標準的2D卷積，并對模型的Block結構進行重新設計，將原本用于降采樣操作的Max Pooling結構使Stride=2的3×3的卷積層代替，加速模型前向傳播速度。為了解決ReLU在模型訓練時導致的神經(jīng)元退化現(xiàn)象，使用Leaky ReLU作為輕量化模型的激活函數(shù)。網(wǎng)絡的具體結構如表2所示。

表2 輕量化模型具體結構

關鍵點定位模塊和情緒識別模塊是兩個平行的結構，特征提取網(wǎng)絡直接相連。

2.2 基于動作屬性的危險動作識別

與基于人臉屬性的危險動作識別不同，基于動作屬性的危險動作檢測可以使用一種統(tǒng)一目標檢測框架來處理。常用的目標檢測算法主要分為單階段目標檢測算法和雙階段目標檢測算法，雙階段目標檢測算法如Faster-RCNN、RetinaDet等，這種方法檢測精度高，但是實時性較差、體積相對較大，很難直接在實際項目中使用。單階段目標檢測算法直接使用模型輸出檢測框的相對位置和分類信息，在保證檢測精度相對較好的情況下，極大地提升了處理速度。根據(jù)項目的實際需求，在本系統(tǒng)中選擇單階段目標檢測算法YOLOv3作為基礎框架進行改進和優(yōu)化[13]。

YOLOv3[14]是一種常用的端到端的單階段目標檢測模型，算法使用DarkNet-19作為特征提取網(wǎng)絡，借助特征金字塔來融合高層的語意信息和低層的細節(jié)信息，實現(xiàn)快速目標檢測。但是原始的YOLOv3仍然存在一些缺點，如：對小目標的檢測精度較差，DarkNet-19特征提取網(wǎng)絡的體積較大，不適于在移動端進行部署[15]。

為了解決上述問題，將Non-Local注意力機制引入到目標檢測框架中，該模塊可以對全局信息和局部信息進行差異化信息融合，提高了模型的特征提取能力，優(yōu)化了模型對小目標的檢測精度。此外，將原有的DarkNet-19換成ShuffleNetV2，既降低了模型的參數(shù)量和計算量，同時維持了模型的特征提取能力。

2.3 系統(tǒng)總體框架

所提出的基于多模態(tài)信息聯(lián)合判斷的駕駛員危險行為監(jiān)測系統(tǒng)包括基于人臉屬相的駕駛員危險動作識別算法和基于動作屬性的駕駛員危險動作識別算法。系統(tǒng)的總體框架圖如圖4所示。

圖4 系統(tǒng)總體架構

3 實驗分析

在本系統(tǒng)中需要設計和訓練多個深度學習模型，故對訓練過程和對比實驗進行具體的分析。

3.1 數(shù)據(jù)庫構建

為了解決適用于駕駛員危險行為檢測的數(shù)據(jù)量小、場景覆蓋不足等多種問題，在本項目中，構建了一個包含10萬張圖片的駕駛員危險行為數(shù)據(jù)集。數(shù)據(jù)集采集環(huán)境為真是車內(nèi)環(huán)境，包含多種車型如轎車、卡車、商務車以及運動型多用途汽車(sport utility vehicle,SUV)等。采集人群包含多個年齡段，覆蓋多個時間以及多種行為。采集設備為可見光和雙目紅外攝像頭，分辨率為640×480。為了解決單一攝像頭在拍攝過程中存在視覺盲區(qū)這一問題，數(shù)據(jù)會同時從左側A柱上方、中控臺上方以及后視鏡3個位置同時進行采集。數(shù)據(jù)標志內(nèi)容包括68個人臉關鍵定位置坐標、情緒、視線朝向、安全帶位置、以及多種不安全行為類別。

3.2 實現(xiàn)細節(jié)

模型的訓練時使用Adam進行優(yōu)化，初始學習率為0.001，批次處理(batch size)是256，一共訓練100個epoch，每隔30個epoch學習率減小為原來的1/10。模型使用4張Nvidia GTX 1080Ti顯卡進行訓練，BatchNorm層使用Syncchronized BN技術進行優(yōu)化。算法使用平均精度均值(mean average precision，mAP)、精確率、召回率以及錯誤率作為評價指標。

3.3 實驗結果分析

由于目前沒有任何一種駕駛員危險動作監(jiān)控系統(tǒng)可以對所提出的各項指標同時進行檢測；因此，將分別設計對比實驗與現(xiàn)有的方法進行對比。

3.3.1 人臉關鍵點定位實驗對比

人臉關鍵點定位是系統(tǒng)的核心，該部分的定位結果的精度將會對后續(xù)的分神檢測、疲勞狀態(tài)判斷產(chǎn)生較大的影響。將所提出的關鍵點定位算法與常用的MTCNN[16]、RAR[17]和TCDNN[18]3種方法進行比較，使用歸一化均方誤差(normalized mean square error，NMSE)作為評價指標，具體結果如表3所示。

表3 人臉關鍵點檢測精度結果對比

從表3可以看出，所提出的關鍵點定位算法精度最高，并且運行速度快，模型體積小，適用于實際項目中。

3.3.2 情緒識別實驗對比

表4是情緒識別模型與常用的情緒識別算法性能的對比結果，其中使用準確率進行評價，所對比的方法有VGG-Face和AlexNet。所需識別的表情包括平和、高興、悲傷、憤怒和焦慮。

表4 情緒識別實驗對比結果

從實驗結果可以看出，所設計的情緒識別算法在5種情緒識別準確率上都要優(yōu)于現(xiàn)有的算法，并且情緒識別模型與人臉關鍵點定位模型公用一個特征提取網(wǎng)絡，有助于降低系統(tǒng)的整體運算量，提升運行效率。

3.3.3 睜閉眼狀態(tài)判斷與視線估計實驗

駕駛員在行駛過程中是否出現(xiàn)疲勞和分神兩種危險駕駛行為，很難直接使用算法進行識別，因此需要使用其他的指標輔助判斷。在本文系統(tǒng)中使用睜閉眼的頻率來表征駕駛員是否出現(xiàn)疲勞駕駛；使用視線朝向來判斷是否出現(xiàn)分神行為。睜閉眼判斷和視線估計使用一個多任務模型同時進行輸出。表5是睜閉眼實驗對比結果，其中使用精確率和召回率作為判斷指標。表6是視線估計算法的實驗對比結果，使用相對誤差作為度量指標。

表5 睜閉眼判斷實驗對比結果

表6 視線估計實驗對比結果

從對比結果中可以看出，所使用的睜閉眼識別算法和視線估計算法的精度明顯優(yōu)于現(xiàn)有的常用的方法。

3.3.4 動作檢測實驗對比

為了證明系統(tǒng)中所使用所提出的目標動作檢測算法的可靠性和穩(wěn)定性，與常用的目標檢測算法(SSD、YOLOv3等)進行了對比。因為實驗中所需監(jiān)測的類別較多，所以選擇平均精度均值mAP作為評價指標。具體實驗結果如表7所示。

表7 動作檢測結果

從實驗結果中可以看出，所提出的基于Attention的目標檢測算法在性能上明顯優(yōu)于常用的目標檢測模型的結果，并且在小目標的檢測精度上更好。

3.4 實驗結果可視化

為了更加直觀地分析系統(tǒng)的性能，圖5展示了部分測試結果。

圖5 可視化結果

從可視化結果中可以看出，系統(tǒng)能夠準確地識別出監(jiān)控畫面中是否出現(xiàn)了危險駕駛行為。

4 系統(tǒng)集成

為了將所提出的駕駛員危險行為監(jiān)測系統(tǒng)應用到實際中，將上述的多個模塊進行集成，開發(fā)了一套可以用于實際情況的系統(tǒng)，系統(tǒng)界面如圖6所示。

圖6 產(chǎn)品運行畫面

所提設計的系統(tǒng)目前已經(jīng)在國內(nèi)某大型汽車制造商的多款產(chǎn)品中進行實驗性調(diào)試，在嵌入式設備中的實際測試速度為81 fps，可以滿足對駕駛員的實時這一需求。在實際行駛場景下，經(jīng)過多次測試和分析，所設計的系統(tǒng)對駕駛員危險動作檢測準確率為96.2%，誤檢率為1.6%，漏檢率為2.2%，符合實際項目需求。

5 結論

提出了一種基于多模態(tài)信息融合的駕駛員危險行為監(jiān)測系統(tǒng)，該系統(tǒng)使用了深度學習、人工智能等先進技術，對駕駛員的駕駛行為進行實時監(jiān)測。所提出的系統(tǒng)通過頭部姿態(tài)、視線估計、情緒識別以及動作檢測等從多個角度全面分析，彌補了現(xiàn)有駕駛員監(jiān)測系統(tǒng)存在的缺陷。此外，將所提出的系統(tǒng)進行了產(chǎn)品化，目前已經(jīng)完成了實際測試，系統(tǒng)的識別精度、運行效率均已達到要求，即將商業(yè)化量產(chǎn)。