淺析人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)實(shí)現(xiàn)

季華

摘 要 本文闡述了一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的實(shí)現(xiàn)方法。該系統(tǒng)可以對(duì)駕駛員的疲勞狀態(tài)（打呵欠、頻繁閉眼等）、不良駕駛行為（長(zhǎng)時(shí)間不目視前方、接打手持電話、抽煙、雙手同時(shí)脫離方向盤、跟車過(guò)近等）進(jìn)行實(shí)時(shí)監(jiān)測(cè)與報(bào)警。其特點(diǎn)在于：駕駛員面部視覺(jué)感知、駕駛員身體姿態(tài)視覺(jué)感知與車輛運(yùn)行狀態(tài)信息、道路信息融合，并利用人機(jī)協(xié)作認(rèn)知的演進(jìn)模型實(shí)現(xiàn)智能增強(qiáng)的駕駛員狀態(tài)預(yù)測(cè)，彌補(bǔ)了僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的不足。

關(guān)鍵詞 駕駛員狀態(tài)監(jiān)控;不良駕駛行為;視覺(jué)感知;人機(jī)協(xié)作;深度學(xué)習(xí);神經(jīng)網(wǎng)絡(luò);智能增強(qiáng)

隨著改革開(kāi)放我國(guó)的經(jīng)濟(jì)持續(xù)快速增長(zhǎng)，汽車的保有量迅速上升。交通事故發(fā)生率也越來(lái)越高。事故造成了大量的人民生命和財(cái)產(chǎn)損失，已成為一個(gè)重要的社會(huì)問(wèn)題。2016年，我國(guó)共發(fā)生了約21.3萬(wàn)起交通事故，導(dǎo)致約6.31萬(wàn)人死亡、約22.64萬(wàn)人受傷，直接財(cái)產(chǎn)損失超過(guò)12.07億元[1]。據(jù)世界衛(wèi)生組織統(tǒng)計(jì)在眾多交通事故中由于駕駛員的疲勞駕駛造成的事故占20%左右。為了減少由于駕駛員疲勞駕駛帶來(lái)的事故隱患，2018年8月，交通運(yùn)輸部辦公廳發(fā)布了《關(guān)于推廣應(yīng)用智能視頻監(jiān)控報(bào)警技術(shù)》的文件，鼓勵(lì)道路運(yùn)輸車輛安裝智能視頻監(jiān)控報(bào)警裝置，實(shí)現(xiàn)對(duì)駕駛員不安全駕駛行為的自動(dòng)識(shí)別和實(shí)時(shí)報(bào)警。其中就包含了對(duì)駕駛員的疲勞狀態(tài)及不良駕駛行為的監(jiān)控要求。本文要闡述的是一種人機(jī)協(xié)作智能增強(qiáng)的駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn)。

1人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的組成與實(shí)現(xiàn)

人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)是一個(gè)將人的作用或人的認(rèn)知模型引入的人工智能系統(tǒng)，具備混合智能增強(qiáng)范式。由信息感知、融合預(yù)測(cè)、協(xié)作增強(qiáng)、反饋預(yù)警等子系統(tǒng)組成。

1.1 信息感知子系統(tǒng)

信息感知子系統(tǒng)由三個(gè)視覺(jué)感知攝像頭、一個(gè)車輛CAN總線采集模塊組成：①一個(gè)位于駕駛員前方儀表臺(tái)上的朝向駕駛員的940納米紅外攝像頭（適用于各種光照條件，可大幅降低強(qiáng)光及弱光環(huán)境對(duì)攝像畫面成像質(zhì)量的影響）。用于采集駕駛員面部特征及上半身部分視覺(jué)圖像信息，通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型推理圖像中存在打呵欠、閉眼、接打手持電話、抽煙、不系安全帶、長(zhǎng)時(shí)間不目視前方等駕駛員疲勞以及不良駕駛行為畫面的置信度;②一個(gè)位于駕駛員上方朝向駕駛員的廣角短焦攝像頭，用于采集駕駛員姿態(tài)與動(dòng)作和方向盤轉(zhuǎn)動(dòng)信息，通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺(jué)算法推理畫面中存在駕駛員異常坐姿、較長(zhǎng)時(shí)間不轉(zhuǎn)動(dòng)方向盤、異常速度轉(zhuǎn)動(dòng)方向盤、駕駛員雙手脫離方向盤等疲勞和不良駕駛行為現(xiàn)象的置信度;③一個(gè)貼于擋風(fēng)玻璃內(nèi)側(cè)中央，朝向道路方向天際線的攝像頭，用于采集前方車輛、行人、車道線等目標(biāo)信息，通過(guò)深度神經(jīng)網(wǎng)絡(luò)模型結(jié)合傳統(tǒng)計(jì)算機(jī)視覺(jué)算法檢測(cè)前方車輛、行人、車道線等目標(biāo)，并計(jì)算本車與前方的車輛、行人的距離以及本車與兩側(cè)車道線的距離;④一個(gè)車輛CAN總線信息采集模塊，通過(guò)車輛自身的CAN總線采集車輛的車速、轉(zhuǎn)速、油門開(kāi)度、剎車狀態(tài)、橫擺角速度等信息，用于輔助判斷駕駛員是否處于正常駕駛狀態(tài)。

1.2 融合預(yù)測(cè)子系統(tǒng)

融合預(yù)測(cè)子系統(tǒng)，將來(lái)自信息感知子系統(tǒng)的多種感知信息進(jìn)行融合，而后對(duì)駕駛員是否存在疲勞駕駛行為或者不良駕駛行為進(jìn)行預(yù)測(cè)。如預(yù)測(cè)結(jié)果置信度低于指定的閾值，則將通過(guò)信息感知子系統(tǒng)采集到的當(dāng)前時(shí)間點(diǎn)前的指定時(shí)間段內(nèi)的視頻及車輛總線數(shù)據(jù)和預(yù)測(cè)結(jié)果一并提交到協(xié)作增強(qiáng)子系統(tǒng)，并由協(xié)作增強(qiáng)子系統(tǒng)作進(jìn)一步處理。

融合預(yù)測(cè)的主要步驟為：①以100毫秒為單位時(shí)間對(duì)各感知信息進(jìn)行配準(zhǔn)后組成特征向量;②以1000毫秒為周期，100毫秒為間隔進(jìn)行滑窗操作將采集到的5組特征向量組成特征矩陣;③將特征矩陣連續(xù)的送入基于LSTM（Long short-term memory）結(jié)合CNN構(gòu)建的神經(jīng)網(wǎng)絡(luò)得到切片預(yù)測(cè)結(jié)果向量;④將1000毫秒內(nèi)的10個(gè)切片預(yù)測(cè)結(jié)果向量組成預(yù)測(cè)結(jié)果矩陣，利用可演進(jìn)評(píng)分模型對(duì)結(jié)果矩陣進(jìn)行評(píng)分得到最終預(yù)測(cè)結(jié)果向量及其置信度;⑤如置信度小于指定閾值則將預(yù)測(cè)結(jié)果及相關(guān)感知信息提交至協(xié)作增強(qiáng)子系統(tǒng)進(jìn)一步處理，如置信度大于指定閾值則將預(yù)測(cè)結(jié)果提交至反饋預(yù)警子系統(tǒng)做進(jìn)一步處理。

1.3 協(xié)作增強(qiáng)子系統(tǒng)

協(xié)作增強(qiáng)子系統(tǒng)將人的作用引入到對(duì)駕駛員疲勞及駕駛員不良駕駛行為的認(rèn)知模型，形成人機(jī)協(xié)作智能增強(qiáng)的形態(tài)。將融合預(yù)測(cè)子系統(tǒng)預(yù)測(cè)結(jié)果中置信度低于閾值的場(chǎng)景通過(guò)視覺(jué)方式還原現(xiàn)場(chǎng)，由人工來(lái)判斷駕駛員是否存在疲勞或者不良駕駛行為的情況。并將人工判斷的依據(jù)及判斷過(guò)程按照預(yù)先設(shè)計(jì)的演進(jìn)模型進(jìn)行記錄并轉(zhuǎn)換成用于感知和預(yù)測(cè)模型訓(xùn)練的素材自動(dòng)送入訓(xùn)練素材庫(kù)。當(dāng)新入庫(kù)素材達(dá)到指定閾值時(shí)，啟動(dòng)新的感知和預(yù)測(cè)模型訓(xùn)練，促使模型在人的協(xié)助下不斷的演進(jìn)，提高感知和預(yù)測(cè)模型對(duì)駕駛員疲勞和是否存在不良駕駛行為判斷的準(zhǔn)確率。

1.4 反饋預(yù)警子系統(tǒng)

反饋預(yù)警子系統(tǒng)由聲光報(bào)警模塊、報(bào)警事件記錄模塊組成。接收來(lái)自融合預(yù)測(cè)子系統(tǒng)的報(bào)警信息通過(guò)聲光提醒的方式按照不同的報(bào)警級(jí)別進(jìn)行不同的聲光提醒，同時(shí)將報(bào)警事件在本地記錄并通過(guò)無(wú)線網(wǎng)絡(luò)傳輸?shù)皆贫朔?wù)平臺(tái)。

2人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的優(yōu)點(diǎn)

（1）將人的作用引入到系統(tǒng)中對(duì)駕駛員疲勞和不良駕駛行為進(jìn)行判斷，形成了人機(jī)協(xié)作認(rèn)知的混合智能增強(qiáng)范式。當(dāng)智能終端的輸出置信度較低時(shí)，由人介入主動(dòng)給出合理的判斷與依據(jù)，構(gòu)成系統(tǒng)智能水平提升的反饋回路;

（2）在傳統(tǒng)的僅僅利用駕駛員面部特征進(jìn)行駕駛員狀態(tài)判別方法的基礎(chǔ)上添加了對(duì)行車過(guò)程中是否系了安全帶、行車過(guò)程中是否雙手脫離方向盤的檢測(cè)，并利用視覺(jué)檢測(cè)方向盤轉(zhuǎn)動(dòng)幅度的方法判斷駕駛員是否存在長(zhǎng)時(shí)間不對(duì)方向盤進(jìn)行轉(zhuǎn)動(dòng)（含微調(diào)）的行為，以及駕駛員是否存在對(duì)行車道路上出現(xiàn)的狀況（如：跟車過(guò)近、偏離車道）反應(yīng)遲緩或者異于往常的問(wèn)題。

3結(jié)束語(yǔ)

隨著駕駛員狀態(tài)監(jiān)控系統(tǒng)的普及與不斷演進(jìn)，以及監(jiān)管手段的不斷完善，駕駛員的疲勞駕駛行為及不良駕駛行為將逐步減少，因駕駛員疲勞駕駛及不良駕駛行為所引發(fā)的交通事故數(shù)量也將逐步降低。由于人機(jī)協(xié)作智能增強(qiáng)駕駛員狀態(tài)監(jiān)控系統(tǒng)的上文所述優(yōu)點(diǎn)，其將對(duì)減少駕駛員疲勞駕駛及不良駕駛行為引發(fā)的事故，起到更好的抑制作用，更利于營(yíng)造和諧、安全的交通運(yùn)輸環(huán)境，構(gòu)建和諧社會(huì)。

參考文獻(xiàn)

[1] 公安部交通管理局.中華人民共和國(guó)道路交通事故統(tǒng)計(jì)年報(bào)[M].北京：人民交通出版社，2017：78.