基于目標(biāo)檢測(cè)的駕駛?cè)朔稚耨{駛行為檢測(cè)方法研究

何廷全，俞山川，張生鵬，蘭棟超，李 剛

(1. 廣西新發(fā)展交通集團(tuán)有限公司，廣西 南寧 530029； 2.招商局重慶交通科研設(shè)計(jì)院有限公司,重慶 400067； 3. 長(zhǎng)安大學(xué) 電子與控制工程學(xué)院，陜西 西安 710064； 4. 長(zhǎng)安大學(xué) 能源與電氣工程學(xué)院，陜西 西安 710064)

0 引言

根據(jù)2020年世界衛(wèi)生組織的報(bào)告，全世界每年大約有135萬(wàn)人死于交通事故。全世界各地，大多數(shù)國(guó)家道路交通事故造成的經(jīng)濟(jì)損失約等于國(guó)內(nèi)生產(chǎn)總值的3%。其中，造成重大交通事故的主要原因之一就是駕駛?cè)说姆稚耨{駛行為[1]。駕駛?cè)朔稚耨{駛行為包括開車時(shí)打電話、玩手機(jī)、喝水以及和他人交談等行為，駕駛?cè)藭?huì)在開車時(shí)無(wú)意中發(fā)生這些行為。這些行為對(duì)交通安全帶來(lái)極大的危害，例如，分神駕駛可能導(dǎo)致車輛異常變道，這可能導(dǎo)致嚴(yán)重的交通事故[2]。同時(shí)，近年來(lái)車載電子設(shè)備的普及，如車載導(dǎo)航系統(tǒng)、智能手機(jī)的使用，增加了駕駛?cè)朔稚耨{駛的頻率。因此，對(duì)駕駛?cè)朔稚耨{駛行為進(jìn)行深入研究是非常有必要的。通過(guò)圖像分析方法，對(duì)駕駛?cè)朔稚耨{駛行為進(jìn)行監(jiān)測(cè)并同時(shí)發(fā)出預(yù)警信息，能夠及時(shí)的提醒駕駛?cè)藢Ｐ鸟{駛，減少由分神駕駛造成的交通事故。

在過(guò)去的研究中，研究者為了檢測(cè)駕駛?cè)说姆稚耨{駛行為，提出了一些基于駕駛?cè)松韰?shù)和駕駛狀態(tài)的方法[3-4]。通過(guò)觀測(cè)駕駛?cè)松韰?shù)的方法雖然具有很好的準(zhǔn)確性，但是依賴大量的檢測(cè)儀器，這些儀器不僅會(huì)干擾駕駛?cè)?，同時(shí)儀器成本較高、安裝復(fù)雜。因此，基于駕駛?cè)松韰?shù)的檢測(cè)方法只適用于一些特殊駕駛環(huán)境，不能夠普及到大眾。除此之外，曾杰等[5]開發(fā)了一套基于仿生機(jī)器人的駕駛?cè)宋ｋU(xiǎn)駕駛檢測(cè)系統(tǒng)的測(cè)試技術(shù)，利用機(jī)器人模擬人的疲勞、打電話等動(dòng)作，來(lái)測(cè)試檢測(cè)系統(tǒng)的性能，對(duì)新開發(fā)的測(cè)試系統(tǒng)評(píng)估提供了便利的方法。

近年來(lái)，隨著機(jī)器視覺和機(jī)器學(xué)習(xí)的快速發(fā)展，基于圖像處理的方法也被應(yīng)用于檢測(cè)駕駛?cè)朔稚耨{駛行為?；趫D像的檢測(cè)方法主要是通過(guò)車載攝像頭采集駕駛?cè)藞D像對(duì)駕駛?cè)说纳眢w動(dòng)作、眼睛、面部表情等部位提取關(guān)鍵信息來(lái)判斷駕駛?cè)说鸟{駛狀態(tài)。文獻(xiàn)[6]提出了一種基于視頻的檢測(cè)方法，通過(guò)分析駕駛?cè)说拿娌颗c眼睛特征，判斷視線方向和面部姿勢(shì)來(lái)判斷駕駛?cè)耸欠翊嬖诜稚耨{駛行為。文獻(xiàn)[7]基于駕駛模擬環(huán)境，分析駕駛?cè)说难鄄刻卣鱽?lái)檢測(cè)駕駛?cè)搜劬δ晻r(shí)長(zhǎng)和眨眼睛次數(shù)，建立了基于隨機(jī)森林的分神駕駛識(shí)別模型，可以達(dá)到較好的準(zhǔn)確率。深度學(xué)習(xí)同樣被用來(lái)識(shí)別分神駕駛行為，文獻(xiàn)[8]利用預(yù)訓(xùn)練深度模型，結(jié)合支持向量機(jī)分類器來(lái)檢測(cè)駕駛?cè)朔稚耨{駛行為。文獻(xiàn)[9]利用視覺幾何組(Visual Geometry Group，VGG16)，VGG19以及Inception模型對(duì)駕駛?cè)朔稚耨{駛行為進(jìn)行檢測(cè)和分類。在VGG模型的基礎(chǔ)上，文獻(xiàn)[10]加入了正則化技術(shù)，提高了分神駕駛檢測(cè)和分類的精度。文獻(xiàn)[2, 11]中通過(guò)微軟研發(fā)的Kinect相機(jī)采集到駕駛?cè)说鸟{駛行為圖像，提出了基于卷積神經(jīng)網(wǎng)絡(luò)CNN模型的分神駕駛行為檢測(cè)系統(tǒng)。同時(shí)，結(jié)合高斯混合模型GMM分割算法對(duì)原始圖像進(jìn)行分割，該方法基于CNN的分神駕駛行為分類器的平均分類精確度可以達(dá)到91%。

然而由于深度學(xué)習(xí)技術(shù)的不斷發(fā)展，對(duì)于駕駛?cè)朔稚耨{駛行為的檢測(cè)與分類精度有了更高的要求。同時(shí)上述基于深度學(xué)習(xí)的分神駕駛行為檢測(cè)和分類模型參數(shù)計(jì)算量大，冗余參數(shù)較多。

1 基于改進(jìn)YOLOv5的駕駛?cè)朔稚耨{駛行為識(shí)別算法

分神駕駛行為檢測(cè)的目的是通過(guò)一系列算法對(duì)駕駛?cè)说姆稚耨{駛行為進(jìn)行識(shí)別和分類。根據(jù)識(shí)別結(jié)果對(duì)駕駛?cè)诵袨檫M(jìn)行判定，當(dāng)判斷為危險(xiǎn)駕駛行為后則發(fā)出報(bào)警，從而實(shí)現(xiàn)對(duì)駕駛?cè)说膶?shí)時(shí)提醒，保證安全駕駛。

本研究提出一種基于目標(biāo)檢測(cè)模型的駕駛?cè)顺Ｒ姺稚耨{駛行為檢測(cè)方法。構(gòu)建一種改進(jìn)YOLOv5模型的駕駛?cè)朔稚耨{駛行為檢測(cè)網(wǎng)絡(luò)，通過(guò)捕捉駕駛?cè)嗽隈{駛過(guò)程中的圖像信息進(jìn)行分神駕駛行為檢測(cè)。駕駛?cè)朔稚耨{駛行為檢測(cè)算法的訓(xùn)練及測(cè)試流程如圖1所示。

圖1 試驗(yàn)流程

1.1 數(shù)據(jù)集

對(duì)于目標(biāo)檢測(cè)模型的訓(xùn)練，圖像數(shù)據(jù)集的選取和制作非常重要。本研究的數(shù)據(jù)集來(lái)自于Kaggle組織的一場(chǎng)駕駛?cè)宋ｋU(xiǎn)駕駛行為圖像分類競(jìng)賽。以往的分神駕駛數(shù)據(jù)集只包含幾類常見的分神駕駛行為，而Kaggle的數(shù)據(jù)集包含了9種不同的駕駛行為，具有更好的廣泛性。如圖2所示，顯示了9種常見的駕駛行為動(dòng)作圖像。

圖2 九種常見的駕駛行為

選用原始數(shù)據(jù)集中5 000張駕駛?cè)笋{駛行為圖像，其中包含正常駕駛660張、右手玩手機(jī)556張、右手打電話558張、操作多媒體543張、左手玩手機(jī)545張、左手打電話550張、喝水545張、與他人交談525張、化妝等其他動(dòng)作518張。

由于分神駕駛行為檢測(cè)僅關(guān)注駕駛?cè)说男袨閯?dòng)作，因此選取原始數(shù)據(jù)完成后，采用LabelImg軟件對(duì)駕駛?cè)说鸟{駛行為進(jìn)行標(biāo)注。在駕駛室內(nèi)，駕駛?cè)说鸟{駛行為主要表現(xiàn)在上半身，能夠反映駕駛行為的主要特征是手部行為，面部方向?；谠紨?shù)據(jù)，對(duì)駕駛?cè)松习肷硪约胺较虮P進(jìn)行標(biāo)注，并且給予相應(yīng)的行為標(biāo)簽。將所有的圖片順序打亂，把數(shù)據(jù)集分為訓(xùn)練集、驗(yàn)證集、測(cè)試集，比例為3∶1∶1。訓(xùn)練集包含3 000張圖像，驗(yàn)證集和測(cè)試集各包含1 000 張圖像。根據(jù)原始數(shù)據(jù)集的9種不同的駕駛行為，使用不同的標(biāo)簽給不同的駕駛?cè)藙?dòng)作進(jìn)行標(biāo)注。標(biāo)注完成后生成對(duì)應(yīng)的xml文件，包含了圖像中目標(biāo)框坐標(biāo)以及類別信息。本研究將利用上述數(shù)據(jù)集對(duì)目標(biāo)檢測(cè)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最終得到分神駕駛行為檢測(cè)模型。

1.2 目標(biāo)檢測(cè)模型及分神駕駛行為檢測(cè)問(wèn)題

在現(xiàn)階段的研究中，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)模型可以分為兩階段檢測(cè)算法和單階段檢測(cè)算法。兩階段檢測(cè)算法的思路是，在第1階段生成可能包含所有目標(biāo)物體的候選區(qū)域，第2階段在第1階段生成的候選區(qū)域中提取特征進(jìn)入到分類和回歸網(wǎng)絡(luò)，最終得到檢測(cè)結(jié)果。而單階段檢測(cè)模型直接根據(jù)圖像中的特征對(duì)目標(biāo)進(jìn)行檢測(cè)和分類，最終得出預(yù)測(cè)結(jié)果。相比較單階段檢測(cè)算法，兩階段的檢測(cè)算法可以獲得更加良好的邊界框回歸，但是在獲取更高精度的結(jié)果的同時(shí)，兩階段檢測(cè)算法比單階段檢測(cè)算法的效率更低。文獻(xiàn)[12]中對(duì)現(xiàn)階段基于深度卷積網(wǎng)絡(luò)的各類目標(biāo)檢測(cè)算法進(jìn)行了綜述，表1總結(jié)了部分兩階段與單階段算法的性能表現(xiàn)。其中包了算法的類別、檢測(cè)速率、檢測(cè)時(shí)的GPU型號(hào)以及在計(jì)算機(jī)視覺挑戰(zhàn)賽(Visual Object Classes，VOC2012)和微軟構(gòu)建的(Common Objects in Context，COCO)兩種數(shù)據(jù)集上的檢測(cè)指標(biāo)結(jié)果，“-”代表無(wú)相關(guān)數(shù)據(jù)。通過(guò)觀察相關(guān)數(shù)據(jù)發(fā)現(xiàn)，單階段目標(biāo)檢測(cè)算法在檢測(cè)速度上明顯優(yōu)于兩階段算法。同時(shí)單階段算法經(jīng)過(guò)不斷改進(jìn)后，算法的檢測(cè)精度不斷提高，甚至超過(guò)了兩階段算法。

表1 部分目標(biāo)檢測(cè)算法性能對(duì)比

本研究的分神駕駛行為只需要對(duì)駕駛室中的駕駛?cè)藙?dòng)作進(jìn)行準(zhǔn)確的預(yù)測(cè)分類，每一張圖像或者視頻幀中一般只存在一個(gè)目標(biāo)類別。同時(shí)，在駕駛?cè)笋{駛過(guò)程中需要對(duì)駕駛?cè)诉M(jìn)行實(shí)時(shí)監(jiān)測(cè)和提醒，單階段檢測(cè)模型在可以保證精度的前提下保證更高的效率，而且對(duì)硬件設(shè)備要求更低，因此選用相對(duì)效率更高的單階段檢測(cè)模型來(lái)對(duì)駕駛?cè)朔稚耨{駛行為進(jìn)行監(jiān)測(cè)。

1.2.1 YOLOv5目標(biāo)檢測(cè)網(wǎng)絡(luò)

YOLO(You Only Look Once)系列目標(biāo)檢測(cè)算法，是單階段檢測(cè)算法中代表性的網(wǎng)絡(luò)。YOLOv5是YOLOv3及YOLOv4基礎(chǔ)上改進(jìn)得到的最新產(chǎn)物，而且YOLOv5在COCO以及PASCAL VOC數(shù)據(jù)集上表現(xiàn)出較好的效果。相較于YOLOv4，YOLOv5在檢測(cè)精度降低很小的基礎(chǔ)上，提升了模型的訓(xùn)練效率以及推理速度。

YOLOv5的整體架構(gòu)由輸入(Input)，骨干(Backbone)，頸部(Neck)，預(yù)測(cè)(Prediction) 4個(gè)部分組成，模型架構(gòu)圖如圖3所示。輸入端主要包括3個(gè)部分，依次是自適應(yīng)圖片縮放、馬賽克Mosaic數(shù)據(jù)增強(qiáng)、自適應(yīng)錨框計(jì)算。由于該網(wǎng)絡(luò)的輸入圖像要求大小為608×608，為了適應(yīng)不同尺寸的輸入圖像，需要自適應(yīng)圖片縮放這一模塊來(lái)對(duì)原始圖片進(jìn)行預(yù)處理。自適應(yīng)圖片縮放將原始尺寸的圖片進(jìn)行比例縮小或者放大，添加最少的黑邊，從而減少圖像縮放過(guò)程對(duì)原始特征的影響。Mosaic數(shù)據(jù)增強(qiáng)方法，是將4張圖片采用隨機(jī)排布、隨機(jī)裁剪、隨機(jī)縮放的方式進(jìn)行拼接，豐富圖像背景數(shù)據(jù)，增加網(wǎng)絡(luò)訓(xùn)練的魯棒性。同時(shí)，在批量歸一化(Batch Normalization)時(shí)一次計(jì)算4張圖像數(shù)據(jù)，提高模型訓(xùn)練效率。而自適應(yīng)錨框計(jì)算，是將預(yù)測(cè)框和真實(shí)框進(jìn)行差值，反向更新預(yù)測(cè)框，通過(guò)多次迭代獲取更為精確的錨框。

圖3 YOLOv5整體架構(gòu)

Backbone部分包含了集中(Focus)模塊和CSP(Cross Stage Partial)結(jié)構(gòu)[13]。Focus模塊主要采用slice操作對(duì)輸入圖像進(jìn)行裁剪，擴(kuò)充輸入通道，經(jīng)過(guò)卷積操作得到特征圖。Focus操作可以提升感受野，保證獲取更加完整的特征信息，同時(shí)可以提高計(jì)算速度。另一方面借用CSP網(wǎng)絡(luò)的思想，提升網(wǎng)絡(luò)的特征提取能力。Neck仍然采用FPN[14]加PAN[15]的結(jié)構(gòu)，在YOLOv4的基礎(chǔ)上改進(jìn)卷積操作，使用CSP2結(jié)構(gòu)，充分融合位置信息和語(yǔ)義特征，提升網(wǎng)絡(luò)特征融合能力。圖中CBL為Yolov網(wǎng)絡(luò)結(jié)構(gòu)中的最小組件，由Conv+Bn+Leaky_relu激活函數(shù)三者組成，CSP由卷積層和殘差模塊連接，Concat層的作用是將兩個(gè)及以上的特征圖按照在channel或num維度上進(jìn)行拼接。輸出層輸出不同尺寸的特征圖，用來(lái)關(guān)注不同大小的目標(biāo)以及特征信息，通過(guò)使用GIoU_Loss(Generalized Intersection of Union Loss)作為損失函數(shù)進(jìn)行優(yōu)化訓(xùn)練，最終得出預(yù)測(cè)結(jié)果。

1.2.2 分神駕駛行為檢測(cè)問(wèn)題分析

通常在解決圖像檢測(cè)實(shí)際問(wèn)題時(shí)，需要根據(jù)具體的場(chǎng)景選擇和優(yōu)化方法。YOLOv5在目標(biāo)檢測(cè)領(lǐng)域已經(jīng)有了非常良好的效果，但是針對(duì)本研究的分神駕駛行為檢測(cè)和分類問(wèn)題，仍然存在部分缺陷。

(1)YOLOv5試驗(yàn)使用的數(shù)據(jù)集為COCO等常用目標(biāo)檢測(cè)數(shù)據(jù)集，原始模型采用K-Means聚類方法獲取，COCO數(shù)據(jù)集中包含幾十種類別，且錨框大小皆不相同。而本研究的對(duì)象為駕駛室里的駕駛?cè)?，?biāo)注的目標(biāo)部分僅僅為駕駛?cè)艘约胺较虮P圖像信息，單張圖像一般只包含一個(gè)類別，原始的先驗(yàn)錨框參數(shù)不適用于本研究。僅靠人獲取先驗(yàn)錨框信息，如果錨框的大小設(shè)置不合理，在訓(xùn)練和檢測(cè)過(guò)程就會(huì)產(chǎn)生一定的偏差。

(2)分神駕駛行為檢測(cè)和分類是要依據(jù)駕駛?cè)说纳习肷碚w動(dòng)作進(jìn)行綜合判斷，因此需要分析駕駛?cè)苏麄€(gè)上半身以及方向盤的圖像才能獲取更加客觀的信息。但是，在網(wǎng)絡(luò)獲取特征時(shí)，需要在整個(gè)標(biāo)注圖中再獲取駕駛?cè)说木植縿?dòng)作信息，這些動(dòng)作往往會(huì)比較小。雖然在檢測(cè)過(guò)程中需要關(guān)注駕駛?cè)苏w信息，但是表現(xiàn)出來(lái)的危險(xiǎn)駕駛動(dòng)作僅僅體現(xiàn)在圖像局部區(qū)域，因此需要在檢測(cè)過(guò)程中提取局部信息的特征，如果在特征提取時(shí)忽略小目標(biāo)的特征，容易發(fā)生誤判。

(3)算法的Backbone中含有較多的BottleneckCSP網(wǎng)絡(luò)結(jié)構(gòu)，卷積過(guò)程中包含大量的參數(shù)，模型計(jì)算量較大。同時(shí)，在提取特征信息的過(guò)程中，大量的卷積操作可能忽略圖像的淺層特征，會(huì)造成局部信息的丟失，從而影響了最后的類別判定。

1.3 針對(duì)分神駕駛行為檢測(cè)改進(jìn)算法

根據(jù)上述YOLOv5在分神駕駛行為檢測(cè)問(wèn)題中存在的問(wèn)題，對(duì)檢測(cè)算法進(jìn)行了以下的優(yōu)化來(lái)提升對(duì)分神駕駛行為檢測(cè)的精度：(1)針對(duì)錨框設(shè)定問(wèn)題進(jìn)行優(yōu)化，原先的錨框由人為設(shè)定，設(shè)定的錨框大小不靈活，會(huì)出現(xiàn)丟失特征信息的情況。因此在模型的錨框設(shè)置階段借用DAFS(Dynamic Anchor Feature Selection)[16]的思想設(shè)置動(dòng)態(tài)錨框。(2)對(duì)于Backbone中的BottleneckCSP網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行修改，減少卷積操作，從而保證更少的淺層特征丟失。同時(shí)，在主干網(wǎng)絡(luò)部分添加注意力機(jī)制，提高模型獲取局部感興趣區(qū)域信息的能力。

1.3.1 錨框設(shè)定問(wèn)題的優(yōu)化

本研究在YOLOv5模型的基礎(chǔ)上對(duì)錨框選擇進(jìn)行優(yōu)化。在DAFS中提到，原先的錨框改良模塊(anchor refinement module，ARM)利用背景和前景評(píng)分，利用二值化評(píng)分預(yù)測(cè)容易出現(xiàn)漏掉正確信息的情況，導(dǎo)致特征點(diǎn)錨框和感受野不匹配。因此，提出了在檢測(cè)器頭部之前添加了特征選擇操作，動(dòng)態(tài)調(diào)整特征點(diǎn)，為每個(gè)回歸器和分類器選擇了合適的特征點(diǎn)，減少不匹配問(wèn)題的出現(xiàn)。其次，將傳輸連接塊(transfer connection block，TCB)替換為雙向特征融合塊(bidirectional feature fusion，BFF)，其主要目的是利用自上而下和自下而上的方式組合不同層的信息。根據(jù)這一思想，對(duì)YOLOv5的錨框選擇方式進(jìn)行優(yōu)化，如圖4所示。首先利用初始方法，產(chǎn)生初始錨框，然后在模型的輸入端添加ARM模塊，從而達(dá)到過(guò)濾錨框負(fù)樣本的效果，再根據(jù)真實(shí)值對(duì)錨框進(jìn)行調(diào)節(jié)獲取先驗(yàn)信息。其次，通過(guò)雙向特征融合塊將ARM與主干網(wǎng)絡(luò)進(jìn)行連接，通過(guò)動(dòng)態(tài)更新錨框生成模型訓(xùn)練的先驗(yàn)錨框。

圖4 錨框優(yōu)化

1.3.2 針對(duì)主干網(wǎng)絡(luò)優(yōu)化

(1)BottlenckCSP網(wǎng)絡(luò)結(jié)構(gòu)優(yōu)化

在YOLOv5的Backbone模塊中采用多個(gè)平靜層卷積殘差BottlenckCSP網(wǎng)絡(luò)結(jié)構(gòu)，在卷積操作中會(huì)減少部分局部特征，從而失去有一部分關(guān)鍵的特征信息。在Backbone網(wǎng)絡(luò)的特征提取層進(jìn)行了修改，修改后的BottlenckCSP網(wǎng)絡(luò)模塊如圖5所示。

圖5 BottlenckCSP網(wǎng)絡(luò)改進(jìn)

將BottlenckCSP網(wǎng)絡(luò)結(jié)構(gòu)數(shù)量(×3,×9,×9,×3)改為(×2,×6,×6,×2)，從而保護(hù)局部特征信息不被丟失。同時(shí)針對(duì)多個(gè)卷積核導(dǎo)致的參數(shù)量大的問(wèn)題也進(jìn)行了相應(yīng)的優(yōu)化，將BottlenckCSP網(wǎng)絡(luò)的輸入特征映射與輸出特征直接連接，刪除掉模塊的分支卷積，減少了參數(shù)的數(shù)量，這樣做的目的是減少計(jì)算量的同時(shí)提取更多的淺層特征。

(2)注意力機(jī)制的融合

注意力機(jī)制模塊可以讓網(wǎng)絡(luò)模型更加注重具有關(guān)鍵特征信息的區(qū)域，排除掉一些無(wú)關(guān)信息，從而提升網(wǎng)絡(luò)的局部特征提取能力，進(jìn)一步優(yōu)化檢測(cè)效果。為了提升分神駕駛檢測(cè)網(wǎng)絡(luò)的檢測(cè)效果，本研究考慮將注意力機(jī)制應(yīng)用到原始網(wǎng)絡(luò)。

本研究采用SEBlock(Squeeze-and-Excitation Networks)[17]的注意力機(jī)制模塊，將該模塊融合到Y(jié)OLOv5框架。SEBlock結(jié)構(gòu)圖如圖6所示。

圖6 SEBlock結(jié)構(gòu)

圖6中，X為網(wǎng)絡(luò)的輸入，F(xiàn)tr為一系列卷積操作，U∈RH×W×C為卷積操作的輸出，U=[u1,u2,…,uC]。SEBlock主要有3部分組成，Sequeez，Excitation，Scale。Sequeez操作將U輸出壓縮成Z∈R1×1×C，為了充分提取上下文信息，使用GAP(global average pooling)作用于每個(gè)通道實(shí)現(xiàn)通道選擇。Excitation利用非線性的Sigmoid激活函數(shù)保證非線性的情況進(jìn)行通道選擇。Scale是將學(xué)習(xí)到的通道權(quán)重應(yīng)用到原有的特征上。GAP有利于識(shí)別全局信息，而GMP(global max pooling)可以通過(guò)識(shí)別全局最大點(diǎn)來(lái)檢測(cè)目標(biāo)的特征信息，針對(duì)局部小目標(biāo)特征提取有更好的效果。在本研究的通道注意力機(jī)制模塊將二者同時(shí)使用。

本研究在原有的網(wǎng)絡(luò)添加通道注意力機(jī)制和空間注意力機(jī)制，添加方法如圖7所示。在CBL模塊添加通道注意力機(jī)制，CSP模塊卷積操作之后添加混合注意力機(jī)制，從而使模型更好地獲取重要的特征。

圖7 注意力機(jī)制的融合

提出了一種基于改進(jìn)YOLOv5的分神駕駛行為檢測(cè)和分類模型YOLOv5_DD (YOLOv5_Distracted Driving)，針對(duì)具體的分神駕駛行為檢測(cè)和分類問(wèn)題對(duì)YOLOv5進(jìn)行了優(yōu)化。主要在錨框設(shè)定方式以及主干網(wǎng)絡(luò)進(jìn)行了改進(jìn)，使得模型更適合應(yīng)用于分神駕駛行為檢測(cè)。在損失函數(shù)方面，仍然使用YOLOv5原有的損失函數(shù)對(duì)模型進(jìn)行訓(xùn)練優(yōu)化。

2 試驗(yàn)結(jié)果與分析

2.1 試驗(yàn)環(huán)境與模型訓(xùn)練

試驗(yàn)采用的計(jì)算機(jī)配置，CPU為Inter(R)Core(TM)i7-7800，GPU為NVIDIA1080Ti。基于Tensorflow的深度學(xué)習(xí)環(huán)境進(jìn)行模型的訓(xùn)練和測(cè)試。軟件環(huán)境Tensorflow版本為2.2，Python版本為3.8。

模型訓(xùn)練時(shí)，按照1.1節(jié)中提到的數(shù)據(jù)集比例將數(shù)據(jù)隨機(jī)分為訓(xùn)練集、驗(yàn)證集、測(cè)試集。采用監(jiān)督學(xué)習(xí)的訓(xùn)練方式對(duì)模型進(jìn)行訓(xùn)練，經(jīng)過(guò)多次訓(xùn)練和測(cè)試，選取了模型訓(xùn)練最終參數(shù)。學(xué)習(xí)率設(shè)置為1e-4，迭代次數(shù)設(shè)置為300，使用Adam優(yōu)化器進(jìn)行優(yōu)化，圖8為模型訓(xùn)練損失變化曲線。

圖8 訓(xùn)練損失變化曲線

由圖8可以看出，訓(xùn)練過(guò)程損失在0到50迭代次數(shù)時(shí)迅速下降，最終趨于平穩(wěn)。經(jīng)過(guò)多次訓(xùn)練，發(fā)現(xiàn)損失曲線會(huì)在200迭代次數(shù)以后趨于平穩(wěn)，因此選用300迭代次數(shù)進(jìn)行訓(xùn)練，使得模型達(dá)到較好的訓(xùn)練效果。

2.2 評(píng)價(jià)指標(biāo)的選擇

為了驗(yàn)證模型的檢測(cè)效果，選取了幾種目標(biāo)檢測(cè)和分類領(lǐng)域的典型指標(biāo)進(jìn)行評(píng)估。對(duì)于分神駕駛行為檢測(cè)和分類，注重檢測(cè)精度和召回率，以及分類準(zhǔn)確率。因此選擇混淆矩陣，精確率(precision)，召回率(recall)以及F1_Score對(duì)模型進(jìn)行評(píng)估。式中，TP為預(yù)測(cè)正確，樣本為正的數(shù)量，F(xiàn)P為預(yù)測(cè)錯(cuò)誤，樣本被預(yù)測(cè)為正，但樣本實(shí)際為負(fù)數(shù)的數(shù)量，F(xiàn)N為預(yù)測(cè)錯(cuò)誤，樣本被預(yù)測(cè)為負(fù)，但樣本實(shí)際為正的數(shù)量，F(xiàn)1為F1分?jǐn)?shù)，評(píng)價(jià)指標(biāo)的計(jì)算公式如下：

(1)

(2)

(3)

2.3 結(jié)果分析與對(duì)比

模型訓(xùn)練完成以后，在測(cè)試集對(duì)模型進(jìn)行測(cè)試和評(píng)價(jià)。為了更好的評(píng)估模型的性能，使用各項(xiàng)評(píng)價(jià)指標(biāo)對(duì)模型進(jìn)行定量評(píng)估。如圖9所示，是模型在測(cè)試集上進(jìn)行測(cè)試得到的結(jié)果，通過(guò)混淆矩陣的形式進(jìn)行展示。

圖9 測(cè)試集分類結(jié)果混淆矩陣

通過(guò)觀察檢測(cè)結(jié)果混淆矩陣，誤檢和漏檢的類型是其他駕駛行為，由于其他駕駛行為數(shù)據(jù)中包含多種動(dòng)作，可能會(huì)出現(xiàn)與其他8種行為相似的動(dòng)作。觀察整體檢測(cè)結(jié)果，模型表現(xiàn)出較好的效果，下面通過(guò)具體的數(shù)值指標(biāo)進(jìn)行分析。在以上檢測(cè)結(jié)果的基礎(chǔ)上計(jì)算各個(gè)種類的性能指標(biāo)。經(jīng)過(guò)計(jì)算，每個(gè)行為的檢測(cè)精確率、召回率、F1分?jǐn)?shù)以及對(duì)應(yīng)的平均值如表2所示。

表2 九種駕駛行為檢測(cè)評(píng)價(jià)指標(biāo)

由表2中數(shù)據(jù)所知，正常駕駛和其他行為的檢測(cè)精確率分別為91.97%，89.72%，這是因?yàn)槟承﹦?dòng)作特征可能不夠明顯造成的。同時(shí)，其他駕駛行為包含的動(dòng)作種類較多，沒有固定的特征，因此造成檢測(cè)精度較低。模型在測(cè)試集檢測(cè)的平均精確率為95.30%，平均召回率為95.13%，平均F1分?jǐn)?shù)為95.19%，整體表現(xiàn)出比較好的檢測(cè)效果。

為了驗(yàn)證分神駕駛檢測(cè)模型的優(yōu)勢(shì)，本研究對(duì)一些流行的目標(biāo)檢測(cè)算法用相同的數(shù)據(jù)進(jìn)行訓(xùn)練和測(cè)試。對(duì)比試驗(yàn)使用的方法有Faster-RCNN[18]，SSD[19]，YOLOv3，原始YOLOv5模型。各個(gè)模型檢測(cè)結(jié)果平均指標(biāo)如表3所示。

如表3所示，將5種方法在本研究的數(shù)據(jù)集上進(jìn)行了試驗(yàn)，其中FPS是目標(biāo)網(wǎng)絡(luò)每秒可以處理多少幀。結(jié)果表明，本研究提出的分神駕駛模型檢測(cè)精度明顯優(yōu)于Faster-RCNN，SSD，YOLOv3，對(duì)YOLOv5進(jìn)行優(yōu)化后，檢測(cè)精度相對(duì)于YOLOv5也表現(xiàn)的更好。在檢測(cè)速度方面，本研究方法比原始YOLOv5速度稍慢，造成這一結(jié)果的原因是網(wǎng)絡(luò)在增加注意力機(jī)制后增加了推理時(shí)間，但是相比其他3種方法檢測(cè)速度仍然表現(xiàn)更好，滿足實(shí)時(shí)檢測(cè)的要求。模型大小方面，本研究方法相對(duì)于其他方法更小。綜合考慮各個(gè)方面，本研究方法在分神駕駛行為檢測(cè)上具有優(yōu)越性。

表3 各個(gè)檢測(cè)模型測(cè)試平均指標(biāo)對(duì)比

3 結(jié)論與展望

本研究針對(duì)駕駛?cè)顺Ｒ姺稚耨{駛行為監(jiān)測(cè)提出一種檢測(cè)方法。在YOLOv5模型的基礎(chǔ)上，針對(duì)分神駕駛行為檢測(cè)問(wèn)題進(jìn)行了優(yōu)化，主要在錨框選擇部分和主干網(wǎng)絡(luò)部分進(jìn)行改進(jìn)得到本研究的分神駕駛行為檢測(cè)模型。對(duì)Kaggle危險(xiǎn)駕駛行為數(shù)據(jù)進(jìn)行再標(biāo)注作為本研究的訓(xùn)練數(shù)據(jù)集，對(duì)模型進(jìn)行優(yōu)化訓(xùn)練。最終，通過(guò)試驗(yàn)測(cè)試和對(duì)比，表明本研究的分神駕駛行為檢測(cè)模型具有更好的性能，同時(shí)可以到達(dá)實(shí)時(shí)檢測(cè)的目的。

雖然本研究方法的檢測(cè)性能表現(xiàn)出較好的性能，但仍然存在一部分問(wèn)題。駕駛?cè)嗽隈{駛過(guò)程中可能會(huì)有更多的危險(xiǎn)駕駛動(dòng)作，本研究選用的數(shù)據(jù)只包含部分常見的類型。同時(shí)，本研究方法僅在實(shí)驗(yàn)室電腦進(jìn)行了試驗(yàn)和測(cè)試。在接下來(lái)的研究中，將考慮對(duì)數(shù)據(jù)集進(jìn)行擴(kuò)充，同時(shí)將算法嵌入硬件設(shè)備，在實(shí)際駕駛過(guò)程中進(jìn)行試驗(yàn)測(cè)試。