基于通道注意力YOLOV5s的駕駛行為識別研究

羅國榮，戚金鳳

(廣州科技職業(yè)技術大學 自動化工程學院，廣州 510550)

0 引言

隨著我國經(jīng)濟的快速發(fā)展，以及汽車電動化、智能化的技術革新，人們對汽車的購買需求顯著增加，我國的汽車保有量也隨之增加，但伴隨的交通事故卻沒有明顯減少，究其原因，發(fā)現(xiàn)駕駛人員不良駕駛行為引起的交通事故占95%以上[1]。因此，為了有效減少交通事故的發(fā)生，研究駕駛行為，輔助規(guī)范駕駛行為，對減少由不良駕駛行為引起的交通事故，具有重要的意義。

文獻[2]為挖掘汽車變道這一重要因素，研究汽車的速度和加速度，提取7個相關的駕駛行為特征參數(shù)，利用K-means聚類算法，對駕駛行為進行分類評價，取得較好的效果。文獻[3]通過汽車OBD診斷儀采集汽車車速、發(fā)動機轉速等行車數(shù)據(jù)，綜合利用聚類法、主成分和因子法進行駕駛行為分析，得出了危險型、一般型和謹慎型三種駕駛行為。文獻[4]首先利用車聯(lián)網(wǎng)技術采集30輛車的行駛數(shù)據(jù)，對這些數(shù)據(jù)進行清洗、分段、篩選，利用熵權—主成分分析法建立行車安全評價模型，分析其行駛安全狀況，最終得出行駛強度指標。文獻[5]陶紅興搭建系統(tǒng)硬件和軟件完成車載OBD信息以及ADAS數(shù)據(jù)的信息采集，分析車輛的狀態(tài)和行駛軌跡特征，融合機器學習算法實現(xiàn)了三種駕駛行為辨識系統(tǒng)。文獻[6]黃俊提出了一種信息融合方法，該方法采集了駕駛員臉部特征信息和車輛行駛信息，通過計算車道中心線與圖像中心點間距離的變化率來判斷車輛行駛狀態(tài)，并與駕駛員臉部特征信息進行信息融合，實驗結果表明，該方法可以較為準確地檢測出駕駛員當前的行為狀態(tài)。文獻[7]為了分析不同人格對駕駛員駕駛行為的影響，從駕駛員的“生理和心理”維度采集相關數(shù)據(jù)，并利用K均值聚類算法對這些數(shù)據(jù)進行統(tǒng)計聚類，得到五種人格的關鍵指標閾值，并在此基礎上建立駕駛能力評估模型，該模型能夠有效量化評估駕駛人在不同情境下的駕駛行為。文獻[8]為了識別駕駛員的風險駕駛行為，從駕駛經(jīng)驗與技能、駕駛員性格和駕駛態(tài)度、能力暫時性缺失、社會心理因素等影響因素進行分析，獲得了良好的效果。文獻[9]提出了一個集成平臺，該平臺收集、存儲、處理、分析車輛的不同數(shù)據(jù)流，應用深度學習算法與聚類技術對來自不同車輛的數(shù)據(jù)進行處理和分析，取得一定的效果。文獻[10]從駕駛員-車輛-環(huán)境(DVE)系統(tǒng)中獲取大量的汽車行駛數(shù)據(jù)，通過機器學習(ML)模型處理，建立了一個影響駕駛員行為的多個維度的解釋框架，具有一定的現(xiàn)實意義。文獻[11]提出了一種車輛加速度預測模型，該模型提取車輛的相對距離、相對速度和加速度作為特征變量來描述駕駛行為，通過機器學習方法來分析、預測駕駛行為，結果表明，該模型能預測駕駛員的駕駛行為。文獻[12]應用汽車跟蹤場景，將腦電圖的心理特征與行為反應聯(lián)系起來。構建一個偽影成分池的駕駛行為模型，為駕駛員的駕駛行為分析提供了一種思路。文獻[13]研發(fā)一個基于差分全球導航衛(wèi)星系統(tǒng)(DGNSS)模塊的車載終端平臺，利用車輛實時跟蹤技術，進行駕駛員行為分析，結果表明，該平臺能夠自動、準確地提取出駕駛行為特征。文獻[14]提出了一種基于深度學習的時間序列建模方法的能量感知驅動模式分析系統(tǒng)。對能量感知的縱向加減速行為和橫向變道行為進行了統(tǒng)計分析，對小型汽車駕駛行為的個性化評估具有一定參考意義。文獻[15]為了減少渣土車駕駛員行車安全事故，通過采集汽車的行車數(shù)據(jù)和北斗定位數(shù)據(jù)，利用K-means聚類算法分析、識別駕駛傾向，并建立模型評估渣土車駕駛員的駕駛行為，取得一定效果。文獻[16]為實時監(jiān)測駕駛員的駕駛行為，設計出一種智能安全駕駛監(jiān)測系統(tǒng)，主要是通過檢測駕駛員酒精濃度，從而成功識別酒精駕駛的危險駕駛行為。文獻[17]從OBD模擬器上獲取汽車的行車數(shù)據(jù)，采用模糊綜合評價法分別從行車里程、超速、急加速、急轉彎等方面構建駕駛評價指標，取得不錯的效果。文獻[18]提出一種駕駛行為評估模型，該模型通過模擬駕駛實驗獲取相關行車數(shù)據(jù)，利用信息熵和隨機森林算法分析歸納駕駛行為，實驗結果表明，該模型的駕駛行為風險總體辨識精度達到80%。文獻[19]為優(yōu)化服務區(qū)入口匝道減速設施，通過模擬駕駛實驗，采集汽車車速、加速度和剎車踏板開度等數(shù)據(jù)，分析減速設施對駕駛員駕駛行為的影響，成功預測了駕駛員駕駛行為的變化規(guī)律。文獻[20]為了研究標線亮度對駕駛員駕駛行為的影響，通過模型駕駛實驗，采集車速、橫向位移和方向盤轉角等數(shù)據(jù)，并據(jù)此擬合恰當?shù)臄?shù)學模型，實驗表明，該數(shù)學模型能在不同的夜間標線亮度預測駕駛員的駕駛行為。

上述學者都是通過車載自診斷系統(tǒng)(OBD)或車聯(lián)網(wǎng)技術獲取車載傳感器的相關數(shù)據(jù)，或是通過衛(wèi)星定位系統(tǒng)(GPS)獲取汽車的位置及速度數(shù)據(jù)，通過統(tǒng)計、分析這些數(shù)據(jù)，間接預測駕駛員的駕駛行為，具有一定的研究價值，由于駕駛行為的預測是通過分析汽車行駛數(shù)據(jù)間接得出，存在時間滯后的缺點，因此本文通過研究駕駛員駕駛動作的方式，直接采集駕駛室內(nèi)駕駛員玩手機、喝水等不良駕駛行為的視頻數(shù)據(jù)，并將采集到的視頻數(shù)據(jù)轉換為圖像數(shù)據(jù)集，利用深度學習算法研究駕駛員的日常駕駛行為，挖掘日常駕駛圖像數(shù)據(jù)之間的內(nèi)在聯(lián)系，形成更有價值的信息，以幫助駕駛員糾正不良的駕駛行為，從而減少交通事故的發(fā)生。

1 數(shù)據(jù)集

實驗數(shù)據(jù)采集選擇普通行車記錄儀作為數(shù)據(jù)采集設備，從副駕駛室向駕駛室的角度拍駕駛員的室內(nèi)駕駛視頻，再進行取幀保存，選取974張較為清晰圖片，針對駕駛員玩手機、喝水兩種不良的駕駛行為進行了數(shù)據(jù)標注，并對圖片應用旋轉、平移、縮放、添加噪聲、裁剪等方式進行Mosaic擴充。擴充后數(shù)據(jù)為1 374張，如圖1所示。

圖1 數(shù)據(jù)圖像增強效果

2 YOLOV5s網(wǎng)絡結構及特點

YOLOV5s網(wǎng)絡結構如圖2所示，整個網(wǎng)絡結構可分為輸入網(wǎng)絡(input)、骨干網(wǎng)絡(backbone)、特征整合網(wǎng)絡(neck)和預測網(wǎng)絡(ouput)四部分。

圖2 YOLOV5s網(wǎng)絡結構

輸入網(wǎng)絡進行圖像數(shù)據(jù)增強、錨框的自適應計算、圖片的自適應縮放三個操作：1)圖像數(shù)據(jù)增強通過對每一幅圖像數(shù)據(jù)進行旋轉、縮放、翻轉、色彩變換等來擴大數(shù)據(jù)集。此外，還延用了YOLOV4的Mosaic圖像數(shù)據(jù)增強，其顯著的優(yōu)點是豐富了檢測物體的背景，同時在標準BN計算時，經(jīng)過Mosaic圖像數(shù)據(jù)增強的圖像相當于4張圖像的數(shù)據(jù)量，有效加快了訓練速度；2)錨框的自適應計算是YOLOV5s網(wǎng)絡模型特有的操作，有一組應用于COCO數(shù)據(jù)集的預設初始錨框，尺寸分別為(10，13)，(16，30)，(33，23)，(30，61)，(62，45)，(59，119)，(116，90)，(156，198)，(373，326)；前三個是針對大特征圖的錨框，用于檢測盡可能多的小目標信息，后三個是針對小特征圖的錨框，用于檢測大目標信息；3)圖像的自適應縮放采用letterbox自適應圖像縮放技術，該技術能夠在圖像縮放填充后，有效減少填充黑邊的信息冗余量，在一定程度上提高算法的推理速度。

骨干網(wǎng)絡(backbone)是由1個Focus網(wǎng)絡、4個CBL網(wǎng)絡、2個CSPNET網(wǎng)絡和1個SPP網(wǎng)絡組成[17-18]。Focus網(wǎng)絡的主要作用是減少網(wǎng)絡深度、模型參數(shù)以及模型計算量(FLOPs)，在保證不影響mAP性能的情況下加快網(wǎng)絡前向傳播和反向傳播的速度。CSPNET網(wǎng)絡又稱跨階段局部網(wǎng)絡，其作用有三點：1)解決因網(wǎng)絡在優(yōu)化中梯度信息重復引起推理計算量大的問題，在降低計算量的同時保證了準確率；2)由于該網(wǎng)絡將計算量均勻地分配到每一層，這樣可以將因網(wǎng)絡瓶頸結構造成的部分閉置計算單元有效充分地利用起來，從而提升了每一個計算單元的利用率，降低了計算瓶頸；3)在特征金字塔生成過程中采用跨通道池(cross-channel pooling)來壓縮特征圖，從而降低內(nèi)存的使用率。SPP(spatial pyramid pooling)層又稱空間金字塔池化層，它能將任意尺寸大小的特征圖轉換成固定大小的特征向量，該層在完成這個轉換任務的同時，不僅有效避免了圖像縮放帶來的圖像失真問題，還解決了卷積神經(jīng)網(wǎng)絡重復提取特征的問題，提高了網(wǎng)絡的運行速度。

特征整合網(wǎng)絡是由特征金字塔網(wǎng)絡(FPN)與金字塔注意力網(wǎng)絡(PAN)相結合組成的網(wǎng)絡。其目的是將深層網(wǎng)絡表征強語義的特性和淺層網(wǎng)絡表征強定位的特性充分地利用起來，更好地表達圖像中的目標和位置尺寸，為一階段的網(wǎng)絡預測提供堅實的基礎。其網(wǎng)絡結構如圖3所示。

預測網(wǎng)絡在輸出層直接對目標框進行回歸操作，以確定圖像中目標的類別和位置[19]。具體操作如下：1)通過骨干網(wǎng)絡(backbone)和特征整合網(wǎng)絡(neck)將一幅輸入圖像分成S×K個網(wǎng)格，而預測網(wǎng)絡則需要對每個網(wǎng)格預測，若圖像中的某個目標落在某個網(wǎng)格，該網(wǎng)格就負責預測這個目標。因此，在S×K個網(wǎng)格中，每個網(wǎng)格負責預測3個錨框(anchor)和1個類別，而每個錨框負責該框的4個位置信息(x，y，w，h)和1個置信度信息(confidence)，這樣一幅圖像就預測出S×K×3個錨框；2)篩選錨框，去除冗余的錨框，保留包含目標的錨框。首先計算錨框的類別置信度分值，通過設定閥值去除可能性低的錨框。

3 通道注意力機制的引入

注意力機制類似于人類對外界事物的觀察機制，人類觀察事物時，首先會觀察事物中較為吸引人的某些重要局部區(qū)域，對這些局部區(qū)域投入更多的注意力，以獲得更多的細節(jié)信息，然后再將其它局部區(qū)域聯(lián)合起來組成一個整體感觀。

空間注意力和通道注意力是注意力機制的兩種類型。通道注意力利用卷積特征通道之間的相互關系，從通道方面使網(wǎng)絡校準有用的特征響應，從而抑制不相關的特征，有選擇地強調(diào)信息量大的特征。本文主要創(chuàng)新點是將通道注意力機制集成進YOLOV5s中，即在網(wǎng)絡中引入ECABL模塊，如圖4所示?？梢姡珽CABL模塊可分為卷積、擠壓(squeeze)、激勵(excitation)和尺寸變換(scale)四個操作。

圖4 ECABL模塊網(wǎng)絡結構

1)卷積操作。假設卷積結果U=[u1，u2，u3，…，uc]，卷積核V=[v1，v2，v3，…，vc]，輸入X=[x1，x2，x3，…，xc]，卷積操作符號為*，則卷積操作Ftr可表示為：

(1)

式中，uc為第C通道的卷積結果；vc為第C通道的卷積核。

2)擠壓操作。其公式為：

(2)

式中，F(xiàn)sq為擠壓操作；H，W分別為特征圖的高和寬；uc(i，j)為第C個通道的第(i，j)個元素；zc為采用全局平均池化(global pooling)將高寬為 (H，W)的第C個通道的特征圖擠壓成一個通道權重。

3)激勵操作。其公式為：

s=Fex(z，W)=σ(g(z，W))=σ(W2δ(W1z))

(3)

式中，F(xiàn)ex為激勵操作；σ()為sigmoid激活函數(shù)；共進行了兩次的全連接與sigmoid激活操作。

4)尺寸變換操作。其公式為：

(4)

式中，F(xiàn)scale為尺寸變換的操作；sc為激勵操作的結果，uc為卷積操作的結果?？梢钥闯?，尺寸變換就是將上述兩種操作結果進行通道相乘操作。

綜上，通道注意力模塊首先進行卷積操作，得到相應通道的特征圖，每一個通道的特征圖都不一樣；再通過擠壓操作，得到每一個通道特征圖的通道權重；接著通過激勵操作過濾通道權重較低特征圖，保留通道權重較高特征圖，抑制與目標位置形狀不相關的特征；最后進行特征圖的尺寸變換，以適應后續(xù)神經(jīng)網(wǎng)絡的輸入要求。

為了對比普通卷積與引入通道注意力的效果，將一張圖片分別進行卷積操作和引入通道注意力，比較兩者的特征圖，圖5(a)為卷積操作后的32通道的特征圖，(a)中序號為3、5、6、11、14、22、27、28、30等9張?zhí)卣鲌D計算得到通道權重較高，強調(diào)目標的位置和形狀信息，而圖中其它序號的特征圖計算得到通道權重較低，位置和形狀信息不明顯；圖5(b)為引入通道注意力機制后的32通道特征圖，(b)只有序號為5、6、17、23等4張?zhí)卣鲌D顯示的位置和形狀信息不明顯，其它大部分特征圖都突出了目標的形狀和位置?？梢?，在淺層網(wǎng)絡中引入通道注意力機制后，保留了與目標位置形狀相關度大的特征圖，同時刪減了部分通道權重低的特征圖，從而減少了計算量，加快了訓練和檢測速度。同理，在深層神經(jīng)網(wǎng)絡中，ECABL網(wǎng)絡模塊通過以上4個步驟的操作，也能將強調(diào)語義的通道特征圖保留下來，刪減與語義不相關的通道特征圖。

圖5 32個通道特征圖

4 實驗與結果分析

實驗環(huán)境使用win10操作系統(tǒng)，軟件環(huán)境平臺為anconda+pytorch。在硬件配置上CPU使用英特爾酷睿i9-7900X；GPU為英偉達GTX 1080Ti 11G顯存。

4.1 評價標準

模型的評價指標很多，包括精準度(precision)、召回率(recall)、mAP(mean average precision)等。識別結果包括真陽性 (TP，true positive)、真陰性 (TN，true negative)、假陽性FP(fasle positive)、假陰性 (FN，fasle negative)四種情況。精準度(precision)是針對最后預測的結果，即指一個分類器預測出來的正類占所有真實正負類的比率。其計算公式為：

(5)

召回率(recall)是衡量一個分類器能否找出所有的正類能力，即是在所有正類的樣本中，分類器能預測出多少正類樣本。其計算公式為：

(6)

對于多標簽樣本的分類還可以用mAP值來衡量檢測網(wǎng)絡的性能，mAP值也是綜合精準度和召回率這兩個指標的一個評估值。其計算公式為：

(7)

式中，N為測集中的樣本個數(shù)；P(k)為同時識別k個樣本時精準率的大??；ΔR(k)為檢測樣本個數(shù)從k-1個變?yōu)閗個時召回率的變化情況；C為多分類檢測任務類別的個數(shù)。

4.2 對比實驗

在卷積神經(jīng)網(wǎng)絡中嵌入通道注意力機制，可以使得網(wǎng)絡自適應地保留重要的信息和忽略一些無關信息，從而提升網(wǎng)絡總體表現(xiàn)。本文在YOLOV5s中的不同位置去掉某一C3網(wǎng)絡，再嵌入數(shù)量不等的通道注意力模塊。如圖6所示，分別在YOLOV5s的backbone和neck網(wǎng)絡中的不同位置嵌入數(shù)量不等的通道注意力(ECABL)模塊，實驗結果如表1所列。觀察表1可知：

表1 帶ECABL模塊的YOLOV5s檢測識別性能

圖6 ECABL嵌入YOLOV5s不同位置的各種結構

1)在YOLOV5s網(wǎng)絡中嵌入2個或3個ECABL模塊，即YOLOV5s_eca_2、YOLOV5s_eca_4和YOLOV5s_eca_6結構，雖然模型參數(shù)量和復雜度有所減少，但mAP50、精度率和召回率都有所下降，說明嵌入的模塊數(shù)量并不是越多越好。這可能是因為，頻繁地強調(diào)通道注意力，導致過多地抑制了一些關聯(lián)小的通道特征，使得檢測識別性能略有下降。

2)在YOLOV5s的backbone網(wǎng)絡中嵌入1個ECABL模塊，即YOLOV5s_eca_1和YOLOV5s_eca_3結構，mAP50均為99.4%，相比原YOLOV5s網(wǎng)絡提升了0.3個百分點；召回率分別為99.9%和97.6%，較YOLOV5s網(wǎng)絡的97.5%，略高于原YOLOV5s網(wǎng)絡；而模型參數(shù)量分別減小了124.024×103和1 222.267×103，模型復雜度(GFLOPs)分別減少了1和1.4 (約6.3%和8.5%)。在YOLOV5s的neck網(wǎng)絡中嵌入1個ECABL模塊，即YOLOV5s_eca_5結構，也能獲得較好的效果，mAP50也為99.5%，召回率優(yōu)于原YOLOV5s網(wǎng)絡，精度率相當，模型參數(shù)量減少369.529×103，模型復雜度(GFLOPs)減少了1.5(約9.2%)。這說明通道注意力機制起了作用，恰當?shù)匾种屏瞬幌嚓P的通道特征，強調(diào)了有用的通道特征，從而減少了模型參數(shù)量和模型復雜度，在保證檢測識別性能的同時提升了檢測速度。

3)可以看出，YOLOV5s_eca_5結構性能最優(yōu)，YOLOV5s_eca_3結構次之；從位置上看，兩者都是嵌入到YOLOV5s網(wǎng)絡的中部，對網(wǎng)絡的影響更好。究其原因，在網(wǎng)絡的中部，已提取了一定數(shù)量代表位置輪廓的淺層特征和代表語義的深層特征，此時利用通道注意力機制刪除一些不相關的通道特征，可減少模型的參數(shù)量，同時也能保證模型原來的性能，如果嵌入的位置太前或太后，則通道注意力機制發(fā)揮的作用就不明顯。

4.3 消融實驗

為了驗證所嵌入的ECABL模塊對YOLOV5s模型的改進是否有效，進行消融實驗。根據(jù)表1采用綜合性能最好YOLOV5s_eca_5結構，分三種方案進行：1)沒有嵌入ECABL模塊，保留原YOLOV5s的結構；2)在Neck網(wǎng)絡中的第一個C3網(wǎng)絡處嵌入ECABL模塊，稱之為YOLO_Neck_add；3)去掉Neck網(wǎng)絡中的第一個C3網(wǎng)絡，再在此位置嵌入ECABL模塊，即用ECABL模塊代替C3網(wǎng)絡，稱為YOLO_Neck_replace，得到的結果如表2所列。

表2 消融實驗結果

從表2 中可以看出，方案2)直接在原YOLOV5s網(wǎng)絡中嵌入ECABL模塊，檢測識別性能有所提升，參數(shù)量和模型復雜度也有所下降。方案3)得出的結果，mAP性能比原網(wǎng)絡提升了0.4個百分點，召回率提升了2.4個百分點，精確率不變，并且參數(shù)量和模型復雜度有效減小，說明嵌入的通道注意力網(wǎng)絡起了一定作用，所提出的改進YOLOV5s結構有效可行。

圖7為YOLOV5s_eca_5結構和原YOLOV5s網(wǎng)絡結構在訓練過程中損失曲線的變化情況。改進的YOLOV5s_eca_5結構在原YOLOV5s網(wǎng)絡結構的左下方，這說明改進的網(wǎng)絡結構收斂速度更快；并且在第180個至第195個epochs時，兩者的損失率曲線重疊，說明兩者在性能上相當，隨后YOLOV5s_eca_5結構損失曲線一直處于原網(wǎng)絡的下方，這進一步表明改進的網(wǎng)絡結構有效。

圖7 損失率變化曲線

4.4 檢測結果

為了進一步展示改進的YOLOV5s_eca_5結構網(wǎng)絡的檢測效果，在測試集中隨機抽取30張圖像進行檢測實驗，分三個測試組：1)第一組為10張僅有玩手機動作的圖像；2)第二組為10張僅喝水動作的圖像；3)第三組為同時含有玩手機和喝水動作的圖像。其中2張圖像實驗結果如圖8所示，圖8(a)為YOLOV5s檢測結果，圖8(b)為改進的YOLOV5s檢測結果。在檢測第一張圖像時，兩者都能檢測到玩手機動作，其中改進YOLOV5s網(wǎng)絡的置信度比原YOLOV5s網(wǎng)絡高0.5個百分點；檢測第二張圖像時，改進YOLOV5s網(wǎng)絡的置信度比原YOLOV5s網(wǎng)絡高0.2個百分點。這說明改進的YOLOV5s網(wǎng)絡與原YOLOV5s網(wǎng)絡的檢測性能相差不大，也就是改進的YOLOV5s網(wǎng)絡繼承了原網(wǎng)絡的檢測性能。

圖8 改進的YOLOV5s與原YOLOV5s網(wǎng)絡檢測結果對比

在檢測速度方面，在預處理、推理和極大值抑制(NMS)三個步驟上統(tǒng)計計算耗時，三組圖像的檢測結果如表3所示?？梢钥闯觯?)主要耗時體現(xiàn)在推理步驟上；2)改進的YOLOV5s網(wǎng)絡模型的檢測總耗時比原YOLOV5s網(wǎng)絡快10.69 ms；單張圖片的平均耗時分別為1.38 ms和1.02 ms，即檢測速度提升了約(1.38-1.02)/1.41=26.08%。

表3 改進的YOLOV5s網(wǎng)絡與原YOLOV5s網(wǎng)絡檢測時間結果對比

5 結束語

1)改進的YOLOV5s方法是通過將不同數(shù)量的通道注意力ECABL模塊嵌入到YOLOV5s原網(wǎng)絡中的不同位置(即backbone或neck)來實現(xiàn)的。對比實驗、消融實驗研究結果表明：①ECABL模塊嵌入到YOLOV5s網(wǎng)絡的中部效果更好，且配置數(shù)量并非越多越好；②改進的YOLOV5s可保留信息量大的特征、抑制不相關的特征，模型參數(shù)量和復雜度均有所降低因此檢測速度更快。

2)檢測結果顯示，較原YOLOV5s網(wǎng)絡，改進的YOLOV5s在目標檢測識別性能上相當，而檢測速度提升了26.08%，能夠更好地滿足駕駛員手部動作的實時監(jiān)控需求。