DMS結(jié)合智能手表的駕駛安全智能控制系統(tǒng)方案設(shè)計(jì)

喬曉華，華楚霞，王芬

（惠州經(jīng)濟(jì)職業(yè)技術(shù)學(xué)院，廣東惠州，516001）

0 引言

在社會(huì)經(jīng)濟(jì)快速發(fā)展、中國(guó)道路交通建設(shè)飛速發(fā)展的背景下，人們對(duì)汽車的需求量不斷增加，2020年年末全國(guó)民用汽車保有量28087萬(wàn)輛，比上年末增加1937萬(wàn)輛，并且仍呈逐年上升的趨勢(shì)，隨之產(chǎn)生的道路交通事故也呈逐年上升的趨勢(shì)。據(jù)中國(guó)產(chǎn)業(yè)信息網(wǎng)統(tǒng)計(jì)，2019年中國(guó)車禍發(fā)生次數(shù)為200114次，其中由于駕駛員身體狀況異常導(dǎo)致的交通事故在重大交通事故誘因中一直占有較大比例。駕駛員身體狀況異常主要包括：疲勞駕駛和突發(fā)疾病兩大類，并且隨著工作節(jié)奏加快，壓力增大，駕駛員出現(xiàn)突發(fā)疾病導(dǎo)致的交通事故越來(lái)越多。

駕駛員監(jiān)測(cè)系統(tǒng)DMS[1]是一種可實(shí)現(xiàn)駕駛員行駛過(guò)程中，全天候監(jiān)測(cè)駕駛員的疲勞狀態(tài)、危險(xiǎn)駕駛行為的信息技術(shù)系統(tǒng)。相比于其它疲勞駕駛監(jiān)測(cè)系統(tǒng)（如：車道偏離報(bào)警系統(tǒng)和轉(zhuǎn)向盤監(jiān)測(cè)系統(tǒng)、PERCLOS系統(tǒng)、腦電波監(jiān)測(cè)系統(tǒng)等）均存在一定的弊端或?qū)崿F(xiàn)難度來(lái)說(shuō)，DMS是多種疲勞駕駛判斷方式的集成，主動(dòng)式DMS通過(guò)視覺+近紅外技術(shù)，監(jiān)測(cè)駕駛員面部、眼部、頭部特征，能夠更有效地監(jiān)測(cè)駕駛員的疲勞和注意力分散程度，通過(guò)語(yǔ)音燈光提示，起到警示駕駛員的作用。從2018年開始，隨著L2/L3系統(tǒng)的量產(chǎn)，主動(dòng)式DMS系統(tǒng)開始放量。但由于DMS對(duì)于PPG信號(hào)、ECG信號(hào)[2-3]的測(cè)量技術(shù)不夠成熟，導(dǎo)致由于突發(fā)疾病引起的交通事故預(yù)警不夠及時(shí)和準(zhǔn)確。

鑒于智能穿戴設(shè)備的普及率高以及可以更方便準(zhǔn)確地監(jiān)測(cè)人體關(guān)鍵健康指標(biāo)（比如：心率、血壓、體溫、心電信號(hào)(ECG信號(hào))等），尤其從2020年9月開始國(guó)內(nèi)多家廠商發(fā)布智能手表中ECG功能的增加。因此智能穿戴設(shè)備和主動(dòng)DMS的結(jié)合，將很好的彌補(bǔ)DMS的不足，不僅能夠?qū)ζ隈{駛，而且對(duì)一些突發(fā)疾病的情況，準(zhǔn)確做出對(duì)駕駛員身體狀況的監(jiān)測(cè)。

根據(jù)駕駛員身體狀況實(shí)現(xiàn)車輛智能控制的系統(tǒng)是目前國(guó)內(nèi)外科研的熱點(diǎn)領(lǐng)域。本文提出了一種DMS結(jié)合智能手表的駕駛安全智能控制系統(tǒng)方案，該方案為實(shí)現(xiàn)車輛智能控制中駕駛員身體狀況全面判定提供了一種方法。

1 駕駛安全智能控制系統(tǒng)框圖

駕駛安全智能控制系統(tǒng)由車輛控制模塊、DMS模塊、聲光報(bào)警處理模塊、智能手表、云端服務(wù)器組成。車輛控制模塊中要集成有無(wú)線接收模塊、藍(lán)牙模塊、串口模塊、射頻發(fā)送/接收模塊以及數(shù)據(jù)判斷處理模塊；DMS模塊要包含攝像頭和紅外測(cè)試裝置，采集駕駛員面部、眼部、頭部特征參數(shù)；聲光報(bào)警模塊包含蜂鳴器和顯示屏，對(duì)駕駛員起到警示作用。智能手表通過(guò)藍(lán)牙或WIFI向車輛控制模塊傳輸監(jiān)測(cè)得到的健康指標(biāo)數(shù)據(jù)。車輛控制模塊與云端服務(wù)器通過(guò)5G進(jìn)行通信。如圖1所示。

圖1 駕駛安全智能控制系統(tǒng)框圖

2 駕駛安全智能控制系統(tǒng)原理

依據(jù)圖1所示系統(tǒng)框圖，駕駛安全智能控制系統(tǒng)原理如下：

(1)智能手表監(jiān)測(cè)駕駛員的心率、血壓、體溫以及心電信號(hào)（ECG信號(hào)）等。監(jiān)測(cè)心臟活動(dòng)可以預(yù)防心臟疾病的早期發(fā)病，經(jīng)由測(cè)量心電圖（ECG）來(lái)完成。ECG是一種經(jīng)胸腔以時(shí)間為單位記錄心臟的電生理活動(dòng)，利用與人體皮膚表面相連的電極，偵測(cè)心臟的電位傳動(dòng)，通過(guò)心電圖記錄整個(gè)心臟的電位變化。心電圖的結(jié)果通常以波型顯示，基本包括有P波、QRS波組、T波。P波代表的是心房收縮，QRS波組代表的是心室收縮，T波代表的是心室舒張。有關(guān)心率變化的測(cè)量或評(píng)估，是以R波與R波的間隔時(shí)間來(lái)代表。由于駕駛安全中駕駛員突發(fā)疾病的主要來(lái)源是心臟問(wèn)題，而反應(yīng)心臟問(wèn)題一個(gè)最有價(jià)值的指標(biāo)就是心率變異性(HRV)[4]，HRV通過(guò)測(cè)量連續(xù)正常R-R間期變化的變異性來(lái)反映心率變化、規(guī)律，它是一種量化標(biāo)測(cè)，臨床上最常用的就是通過(guò)SDNN指標(biāo)來(lái)體現(xiàn)。臨床醫(yī)學(xué)上SDNN是通過(guò)采用連續(xù)24小時(shí)監(jiān)測(cè)得到的ECG信號(hào)計(jì)算得到的RR間期標(biāo)準(zhǔn)差。由于實(shí)際駕駛過(guò)程中駕駛員發(fā)病時(shí)間短，因此采用連續(xù)5分鐘的ECG信號(hào)數(shù)據(jù)計(jì)算得到的SDNN 指數(shù)來(lái)標(biāo)測(cè)心率變異性（HRV），SDNN指數(shù)和SDNN計(jì)算公式是一樣的，但24小時(shí)心率變化的范圍比較大，相應(yīng)的心跳間隔的離散程度比較高，而5分鐘比較短時(shí)間內(nèi)心率的波動(dòng)也會(huì)比較小。因此，24小時(shí)長(zhǎng)程SDNN和5分鐘短程SDNN指數(shù)的參數(shù)判斷范圍不同，一般情況下，采集時(shí)間越短，參數(shù)值越小。均值MEAN：反映R-R間期的平均值，其計(jì)算公式為：

總體標(biāo)準(zhǔn)差SDNN：評(píng)估5min短程HRV的總體變化，其計(jì)算公式為：

智能手表通過(guò)藍(lán)牙或WIFI方式將SDNN指數(shù)傳輸至車輛控制模塊。

(2)車載主動(dòng)DMS，可以通過(guò)采用基于深度神經(jīng)網(wǎng)絡(luò)DNN[5]，或者采用卷積神經(jīng)網(wǎng)絡(luò)CNN[6]、或者采用卷積神經(jīng)網(wǎng)絡(luò)CNN和循環(huán)神經(jīng)網(wǎng)絡(luò)LSTM相結(jié)合的深度學(xué)習(xí)模型[7]，監(jiān)測(cè)得到駕駛員疲勞和注意力分散程度的參數(shù)（如：閉眼、眼瞼距離、眨眼速度、凝視方向、打哈欠、頭部運(yùn)動(dòng)、面部表情等相關(guān)參數(shù)）[8-10]。深度神經(jīng)網(wǎng)絡(luò)需要將駕駛員臉部、雙目和嘴巴三個(gè)區(qū)域分別進(jìn)行分層處理后再進(jìn)行融合，深度學(xué)習(xí)模型需要使用預(yù)訓(xùn)練的分類器對(duì)提取的面部時(shí)空特征進(jìn)行判斷，這兩類都需要依賴于大量的數(shù)據(jù)，采集和處理數(shù)據(jù)會(huì)耗費(fèi)較長(zhǎng)時(shí)間。考慮實(shí)際中智能汽車硬件資源有限，選擇基于卷積神經(jīng)網(wǎng)絡(luò)的DMS經(jīng)濟(jì)可行性更高。同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用于圖像特征的提取，且具有權(quán)值共享、稀疏連接、可生成多特征圖，同時(shí)對(duì)于形變、幾何變換、光照有一定程度的魯棒性等優(yōu)點(diǎn)，更適合于駕駛安全的實(shí)際應(yīng)用場(chǎng)景。

基于卷積神經(jīng)網(wǎng)絡(luò)的DMS，監(jiān)測(cè)視頻數(shù)據(jù)由駕駛室前端攝像頭采集得到并輸入監(jiān)測(cè)系統(tǒng)。監(jiān)測(cè)系統(tǒng)對(duì)視頻幀進(jìn)行稀疏采樣抽取關(guān)鍵幀，同時(shí)為了減少卷積神經(jīng)網(wǎng)絡(luò)單幀誤識(shí)別對(duì)整體識(shí)別模型的影響，將連續(xù)視頻幀輸入識(shí)別模型，通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)每一幀進(jìn)行預(yù)測(cè)，最后將多幀識(shí)別結(jié)果輸入統(tǒng)計(jì)模型進(jìn)行結(jié)果統(tǒng)計(jì)，最終識(shí)別模型將出現(xiàn)次數(shù)最多的識(shí)別結(jié)果作為識(shí)別出來(lái)的駕駛員狀態(tài)。卷積過(guò)程如下式：式中:表示第j層第i個(gè)特征映射中(x,y)位置處的卷積結(jié)果；tanh() 為激活函數(shù)；bij為此特征映射的偏差；

卷積神經(jīng)網(wǎng)絡(luò)可采用較少參數(shù)的AlexNet模型，同時(shí)通過(guò)增加卷積層數(shù)提高模型的識(shí)別效果。卷積模型為14層結(jié)構(gòu)，其中6個(gè)卷積層（1C~C6）與對(duì)應(yīng)的5個(gè)池化層（1P~5P）、兩個(gè)全連接層（1F~2F），最后由Softmax層進(jìn)行分類輸出。采用遷移學(xué)習(xí)方法[6]完成對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型的預(yù)訓(xùn)練，然后再自行采集的駕駛員檢測(cè)數(shù)據(jù)集上進(jìn)行適應(yīng)性訓(xùn)練，有效解決了標(biāo)注數(shù)據(jù)復(fù)雜和訓(xùn)練時(shí)間較長(zhǎng)的缺陷。通過(guò)該卷積神經(jīng)網(wǎng)絡(luò)模型的仿真實(shí)驗(yàn)來(lái)驗(yàn)證駕駛員狀態(tài)識(shí)別的有效性，該系統(tǒng)準(zhǔn)確率達(dá)到97.8%，且在實(shí)驗(yàn)設(shè)備中運(yùn)行速度達(dá)到70幀/min，滿足較高的準(zhǔn)確性要求與實(shí)時(shí)性要求。

將基于卷積神經(jīng)網(wǎng)絡(luò)的DMS模塊計(jì)算得到的駕駛員狀態(tài)參數(shù)經(jīng)過(guò)統(tǒng)計(jì)后得出的結(jié)果通過(guò)車載總線傳輸至車輛控制模塊。

(3)車輛控制模塊經(jīng)藍(lán)牙或WIFI接收智能手表發(fā)送的SDNN指數(shù)，同時(shí)經(jīng)車載總線接收DMS模塊發(fā)送的駕駛員狀態(tài)參數(shù)，通過(guò)對(duì)兩部分參數(shù)進(jìn)行綜合判斷處理，作出對(duì)駕駛員身體狀況的判定，并根據(jù)不同的判定結(jié)果實(shí)現(xiàn)對(duì)駕駛員和車輛的智能控制。車輛控制模塊的響應(yīng)處理分三種情況：

①當(dāng)SDNN指數(shù)在（81±24）ms正常范圍內(nèi)，且DMS監(jiān)測(cè)得到駕駛員狀態(tài)參數(shù)達(dá)到疲勞和注意力分散參數(shù)標(biāo)準(zhǔn)，車輛控制模塊發(fā)送指令到聲光報(bào)警處理模塊，聲光報(bào)警處理模塊驅(qū)動(dòng)蜂鳴器鳴叫，顯示屏顯示報(bào)警圖標(biāo)，提醒駕駛員疲勞，注意行車安全；

②當(dāng)SDNN指數(shù)在37~57ms范圍內(nèi)，且DMS監(jiān)測(cè)得到駕駛員狀態(tài)參數(shù)正常，車輛控制模塊發(fā)送指令到聲光報(bào)警處理模塊，聲光報(bào)警處理模塊驅(qū)動(dòng)蜂鳴器鳴叫，顯示屏顯示報(bào)警圖標(biāo)，同時(shí)車輛控制模塊控制車輛開啟雙閃警告、車輛鳴笛等，提醒駕駛員身體異常，提示減速停車；

③當(dāng)SDNN指數(shù)在37~57ms范圍內(nèi)，且DMS監(jiān)測(cè)得到駕駛員狀態(tài)參數(shù)達(dá)到疲勞和注意力分散參數(shù)標(biāo)準(zhǔn)，或當(dāng)SDNN指數(shù)低于37ms時(shí)，判定駕駛員身體異常，無(wú)法正常操控車輛，車輛控制模塊控制車輛切換為自動(dòng)駕駛模式，減速并停車，同時(shí)控制車輛開啟雙閃警告、鳴笛、自動(dòng)呼叫救援及緊急信息（GPS定位、救援請(qǐng)求信息）上傳至云端服務(wù)器。

(4)云端服務(wù)器使用移動(dòng)車聯(lián)網(wǎng)服務(wù)平臺(tái)系統(tǒng)，通過(guò)檢測(cè)模塊、通訊模塊和定位模塊三大硬件模塊，以及軟件的云計(jì)算平臺(tái)來(lái)實(shí)現(xiàn)。云端服務(wù)器通過(guò)5G網(wǎng)絡(luò)接收車輛控制模塊上傳的參數(shù)信息，實(shí)時(shí)的跟蹤監(jiān)控診斷故障車輛，并通過(guò)服務(wù)端的云計(jì)算平臺(tái)調(diào)用車輛數(shù)據(jù)倉(cāng)庫(kù)信息，及時(shí)識(shí)別出故障車輛所在位置的周邊車輛狀況。云端服務(wù)器的響應(yīng)處理包括：

①接收車輛控制模塊發(fā)送的GPS定位信息，請(qǐng)求呼叫救援信息；

②通過(guò)5G網(wǎng)絡(luò)通告周邊車輛當(dāng)前事故車輛的相關(guān)信息。

3 結(jié)論

本文從系統(tǒng)框圖和工作原理介紹了基于DMS和智能手表的駕駛安全智能控制系統(tǒng)方案，通過(guò)該設(shè)計(jì)方案能夠?qū)崿F(xiàn)及時(shí)判定駕駛員的身體狀況（如疲勞駕駛和突發(fā)疾病），實(shí)現(xiàn)對(duì)駕駛員和車輛的智能控制，從而避免或減少由此造成的交通事故及人員傷亡。該方案中存在的不足是所采用的SDNN指數(shù)判斷參數(shù)范圍是用連續(xù)5分鐘的數(shù)據(jù)計(jì)算得出的，實(shí)際應(yīng)用時(shí)該數(shù)據(jù)采集時(shí)間對(duì)于駕駛員身體異常的判定時(shí)間偏長(zhǎng)，如果要縮短數(shù)據(jù)采集時(shí)間，那么參數(shù)范圍的變化也相應(yīng)縮小，準(zhǔn)確性也相應(yīng)會(huì)降低。后續(xù)將繼續(xù)探索更短時(shí)間更準(zhǔn)確的參數(shù)指標(biāo)。