基于優(yōu)化YOLOv4算法的行駛車輛要素檢測方法

陳耀祖，谷玉海，成 霞，徐小力

（北京信息科技大學(xué) 機(jī)電工程學(xué)院，北京 100192）

引言

車輛給人們的生活帶來了方便，但在車輛急劇增加的同時也帶來了一系列問題，特別是如何提高車輛的管理效率。車牌、前窗及駕駛員的面部、手部等行駛車輛要素檢測在車輛管理當(dāng)中起到了一定的作用。其中車牌檢測是生活中最常見的車輛要素檢測，如停車場的收費(fèi)處[1]、高速路口的收費(fèi)站[2]、紅綠燈路口的車牌識別[3]等，楊鼎鼎提出了一種首先通過車牌背景和字符固定顏色對車牌進(jìn)行粗定位，然后采用改進(jìn)的Canny 邊緣檢測算法對粗定位的車牌區(qū)域進(jìn)行邊緣檢測，并通過投影定位法和車牌的幾何特征完成車牌的定位[4]。王亮亮提出一種將車窗代替車體作為被檢測目標(biāo)物的標(biāo)注方法，利用殘差連接和多尺度特征提取方法，構(gòu)建了只有24 個卷積層的檢測網(wǎng)絡(luò)，在車流量較大的場景中可有效提高檢測算法的檢出率[5]。代少升提出利用一種改進(jìn)多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)（multi-task convolutional neural network，MTCNN）算法檢測人臉，然后通過淺層卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行手持電話行為檢測，同時利用嘴巴寬高比的變化檢測駕駛員講話進(jìn)行判別，最終利用兩種行為相“與”方法進(jìn)行駕駛員打電話的行為判別[6]。劉明周提出了一種基于面部特征以及手部運(yùn)動特征的駕駛員疲勞融合檢測算法，該算法提取眼部、嘴部的特征參數(shù)以及手部的運(yùn)動特征參數(shù)，并將特征參數(shù)輸入到基于 BP(back propagation)神經(jīng)網(wǎng)絡(luò)構(gòu)建的特征參數(shù)分類器，綜合判斷駕駛員的行為狀態(tài)[7]。

但上述4 種方法在實(shí)際場景應(yīng)用時，對環(huán)境要求較高，魯棒性較差?；陬伾M(jìn)行定位的方法，在車牌和車身顏色較接近時定位效果不理想，容易將車身的某些部位誤判為車牌；基于面部特征以及手部運(yùn)動特征的疲勞融合檢測算法容易將車座的某些部位誤判為駕駛員臉部及手部。即使將幾種方法結(jié)合起來，雖然在一定程度上能夠提高車牌的定位準(zhǔn)確率，但是在一些如雨霧天氣等光線較暗的環(huán)境下還是難以取得理想的定位效果，而且傳統(tǒng)的車牌檢測方法對于車輛前窗、駕駛員人臉、手部等要素并不適用。

近年來，深度學(xué)習(xí)在物體檢測方面取得了巨大進(jìn)步，但無論是R-CNN（region-based convolutional neural network）系列網(wǎng)絡(luò)還是SSD（single shot multibox detector）網(wǎng)絡(luò)在檢測速度以及檢測如車牌、人臉、手部等小目標(biāo)物的準(zhǔn)確率來說，都不如YOLO（you only look once）系列的網(wǎng)絡(luò)，YOLO 系列甚至能在確保較高精度的前提下達(dá)到實(shí)時檢測[8]。YOLOv4 網(wǎng)絡(luò)是一種高效的、僅用單GPU 就能得到理想訓(xùn)練效果的深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)。因此，本文提出一種基于優(yōu)化YOLOv4算法的檢測方法，對車牌、車輛前窗、駕駛員人臉、手部等要素進(jìn)行定位檢測。為了更加適應(yīng)駕駛室中人臉、手部等極小目標(biāo)，將YOLOv4 網(wǎng)絡(luò)增加一個感受野更小的檢測尺度，用于對駕駛室中的人臉以及手部進(jìn)行定位檢測，并且為了更好地適應(yīng)各種尺寸的檢測對象，調(diào)整原網(wǎng)絡(luò)中先驗(yàn)框(anchor boxes)檢測框數(shù)目。

1 YOLOv4 網(wǎng)絡(luò)模型

YOLOv4 網(wǎng)絡(luò)沿用了YOLOv3 網(wǎng)絡(luò)中的先驗(yàn)框，選用CSPDarknet53 網(wǎng)絡(luò)作為主干網(wǎng)絡(luò)(BackBone)及PANet 網(wǎng)絡(luò)作為特征融合模塊(Neck)連接于主干網(wǎng)絡(luò)之后，在其中加入SPP(spatial pyramid pooling)模塊，整個網(wǎng)絡(luò)結(jié)構(gòu)如圖1[9-10]所示。

在MS-COCO 數(shù)據(jù)集上的訓(xùn)練結(jié)果如圖2所示，YOLOv4 網(wǎng)絡(luò)的識別準(zhǔn)確率為43.5%，幀頻為65 幀/s，與YOLOv3 相比，準(zhǔn)確率和幀頻分別提高了10%和12%，檢測準(zhǔn)確率以及運(yùn)行速度都遠(yuǎn)高于YOLOv3 網(wǎng)絡(luò)，而且YOLOv4 網(wǎng)絡(luò)的運(yùn)行速度是谷歌所開發(fā)的EfficientNet 網(wǎng)絡(luò)的2 倍[11]。

1.1 BackBone 模塊

BackBone 模塊選用CSPDarknet53 網(wǎng)絡(luò)進(jìn)行特征提取，原因有以下3 點(diǎn)：1）與同類型網(wǎng)絡(luò)相比，此網(wǎng)絡(luò)能夠增強(qiáng)CNN 的學(xué)習(xí)能力，使得在輕量化的同時保持準(zhǔn)確性；2）能夠降低計(jì)算瓶頸；3）能夠降低內(nèi)存成本[12]。CSPDarknet53 網(wǎng)絡(luò)包含29 個卷積層和725×725 像素的感受野，共有27.6 M 參數(shù)，在原Darknet53 網(wǎng)絡(luò)每個大殘差塊的基礎(chǔ)上增加了5 個CSP 模塊，CSPDarknet53 整體網(wǎng)絡(luò)結(jié)構(gòu)以及CSP 模塊結(jié)構(gòu)如圖1 中BackBone 模塊所示。其中，CSP 模塊前面的卷積核的大小都是3×3，stride 值為2，用以對圖像的特征進(jìn)行下采樣。608×608 像素的原始圖像經(jīng)過每個CSP 模塊后，像素尺寸分別為304、152、76、38、19，整個CSPDarknet53網(wǎng)絡(luò)最后輸出尺寸為19×19 像素的特征圖。各網(wǎng)絡(luò)層均采用Mish 作為激活函數(shù)。

1.2 Neck 模塊

Neck 模塊整體結(jié)構(gòu)如圖3所示，選用兩個PANet 作為主要的特征融合網(wǎng)絡(luò)，并引入SPP 作為附加模塊。PANet 結(jié)構(gòu)在原有YOLOv3 的FPN 層后增加了一個自底向上的特征金字塔，使得FPN(feature pyramid networks)層自頂向下傳達(dá)強(qiáng)語義特征，特征金字塔自底向上傳達(dá)強(qiáng)定位特征，從不同的主干層對不同的檢測層進(jìn)行參數(shù)聚合，達(dá)到進(jìn)一步提高網(wǎng)絡(luò)的特征提取能力的目的。

其中增加的SPP 模塊用以增加網(wǎng)絡(luò)的感受野，采用1×1 像素、5×5 像素、9×9 像素、13×13 像素的最大池化的方式進(jìn)行多尺度融合，然后將最大池化的結(jié)果在Concat層實(shí)現(xiàn)數(shù)據(jù)拼接，得到特征圖層，最后通過1×1 池化將特征圖降維到512 個通道。相較于使用單純的k×k最大池化方式，使用SPP 模塊能夠更有效地增加主干特征的接收范圍，顯著分離重要的上下文特征。

1.3 數(shù)據(jù)增強(qiáng)技巧

采用Mosaic 數(shù)據(jù)增強(qiáng)對隨機(jī)4 張圖片進(jìn)行如圖4所示縮放、裁剪、排布等拼接操作。經(jīng)過數(shù)據(jù)增強(qiáng)后的數(shù)據(jù)集增加了圖片的數(shù)量，豐富了小目標(biāo)樣本，從而增強(qiáng)了網(wǎng)絡(luò)的魯棒性。在訓(xùn)練過程中，可以直接計(jì)算4 張圖片的數(shù)據(jù)，降低了每批次的訓(xùn)練中對數(shù)據(jù)量的需求，從而降低了網(wǎng)絡(luò)對硬件的需求，僅使用1 個GPU 就可以達(dá)到比較好的訓(xùn)練效果。

采用自對抗訓(xùn)練(self-adversarial training)的方式對數(shù)據(jù)進(jìn)行訓(xùn)練。其包括2 個階段，每個階段分別進(jìn)行1 次前向傳播和1 次反向傳播。第1 階段，CNN 通過反向傳播改變圖片信息，而不是改變網(wǎng)絡(luò)權(quán)值，通過這種方式，CNN 可以進(jìn)行對抗性攻擊，改變原始圖像，造成圖像上沒有目標(biāo)的假象。第2 階段，訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以正常的方式在修改后的圖像上檢測目標(biāo)。

采用交叉小批量規(guī)范化(cross mini-batch normalization)對數(shù)據(jù)進(jìn)行規(guī)范化處理，僅在當(dāng)前批次中進(jìn)行批規(guī)范化處理，僅在單個批次內(nèi)的小批次之間收集統(tǒng)計(jì)信息，進(jìn)行歸一化，這樣能夠使得檢測器更適合在單個GPU 上進(jìn)行訓(xùn)練。

2 YOLOv4 模型優(yōu)化

2.1 優(yōu)化網(wǎng)絡(luò)模型

原始YOLOv4 網(wǎng)絡(luò)如圖1所示，使用3 個尺度對圖像進(jìn)行訓(xùn)練，識別效果較差。這是由于原網(wǎng)絡(luò)僅存在3 個檢測尺度，對于大中小對象檢測效果良好，但對于極小的目標(biāo)物檢測效果較差。因此本文提出一種改進(jìn)的YOLOv4 網(wǎng)絡(luò)，在原有3 個檢測尺度上加入一個152×152×255 像素的檢測尺度，用以檢測更小的目標(biāo)，新設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)如圖5所示。

2.2 模糊ISODATA 動態(tài)聚類

模糊ISODATA（iterative self-organizing data analysis techniques algorithm ）動態(tài)聚類是一種基于目標(biāo)函數(shù)的模糊聚類分析方法，通過動態(tài)修正聚類中心的局部優(yōu)化算法，可以有效地消除傳遞偏差[13]。在聚類中心數(shù)未知情況下，使用模糊ISODATA 動態(tài)聚類，同時合理調(diào)節(jié)迭代參數(shù)，聚類效果要好于K-means算法。

用 K-means 和 ISODATA 在 Iris 數(shù)據(jù)集(鳶尾花數(shù)據(jù)集)上進(jìn)行聚類分析，設(shè)置不同的初始中心數(shù)量，K-means算法和ISODATA算法的聚類效果如圖6所示，橫坐標(biāo)分別對應(yīng)K和Nc，縱坐標(biāo)F是綜合評價信息檢索的準(zhǔn)確率和召回率的指標(biāo)。由圖6 可知，ISODATA 動態(tài)聚類效果優(yōu)于K-means聚類[14]。

2.3 優(yōu)化先驗(yàn)框的個數(shù)數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

原始YOLOv4 網(wǎng)絡(luò)由于只有3 個檢測尺度，因此先驗(yàn)框的個數(shù)只能設(shè)置為3 的倍數(shù)，在COCO數(shù)據(jù)集中采用K-means 聚類算法得到9 個先驗(yàn)框(anchor box)的具體尺寸。此聚類方法在新的數(shù)據(jù)集中通常需要通過人為設(shè)置先驗(yàn)框個數(shù)，通過對比不同數(shù)量先驗(yàn)框時的IOU（交并比）值確定最終的先驗(yàn)框個數(shù)。為優(yōu)化聚類流程，本文采用模糊ISODATA 動態(tài)聚類[15]確定先驗(yàn)框的個數(shù)以及尺寸。此算法與K-means 相比，增加了模糊矩陣，并且在迭代過程中增加了合并與分裂兩個步驟，其目標(biāo)函數(shù)如（1）式所示：

（1）式中：μij為隸屬度矩陣中的元素，計(jì)算方式如（2）式所示；L為迭代次數(shù)；m為類間模糊程度；Xj為第j個樣本；Zj為第i個聚類中心。（2）式中：dij為第j個數(shù)據(jù)到第i個聚類中心的歐式距離。

通過對隸屬度矩陣和聚類中心的迭代從而獲得目標(biāo)函數(shù)J的極小值。根據(jù)最優(yōu)的目標(biāo)函數(shù)值，即可獲得樣本最優(yōu)的聚類中心，根據(jù)車輛數(shù)據(jù)集，利用模糊ISODATA 聚類算法聚類出anchor box 的步驟為

1）根據(jù)數(shù)據(jù)集的標(biāo)注信息，隨機(jī)選取聚類中心，初始化12 個anchor box。

2）根據(jù)（2）式計(jì)算隸屬度函數(shù)。

3）根據(jù)隸屬度矩陣以及（3）式計(jì)算聚類中心。

4）判斷是否進(jìn)行分裂運(yùn)算。若滿足以下兩種情況則，需要進(jìn)行分裂：一是最終聚類數(shù)小于初始設(shè)定值的1/2，且需滿足迭代運(yùn)算次數(shù)不是偶數(shù)次或聚類數(shù)不大于初始設(shè)定值的2 倍；二是一個聚類中樣本距離標(biāo)準(zhǔn)差向量最大值大于樣本標(biāo)準(zhǔn)差的閾值，分裂時形成新的聚類中心，其表達(dá)式如（4）式所示，其中f為分類系數(shù)，σjmax為樣本距離標(biāo)準(zhǔn)差向量最大值。

5）判斷是否進(jìn)行合并運(yùn)算。若各類之間的距離小于各類樣本中心之間距離的閾值或某類中樣本個數(shù)小于設(shè)定的數(shù)值，則進(jìn)行合并運(yùn)算，新的聚類中心計(jì)算方式如（5）式所示，其中Zk為第k個聚類中心，Ni為第i樣本的個數(shù)。

6）計(jì)算各樣本到各個新的聚類中心之間的距離。

7）計(jì)算新的隸屬度矩陣。

8）返回步驟3，繼續(xù)迭代，直至完成計(jì)算。

3 實(shí)驗(yàn)分析

3.1 數(shù)據(jù)集及實(shí)驗(yàn)環(huán)境

本文數(shù)據(jù)集為人為采集，取自吉林省吉林市某交通路口，從天橋由上至下拍攝圖片，圖片大小為2 614×1 766 像素，圖片總量6 000 張，選擇1 000 張作為測試集，其余5 000 張作為訓(xùn)練集。實(shí)驗(yàn)需檢測的擋風(fēng)玻璃、車牌、面部和手部不區(qū)分類別。實(shí)驗(yàn)使用的軟硬件環(huán)境如表1、表2所示。

表2 軟件配置環(huán)境參數(shù)Table 2 Software configuration environment parameters

3.2 動態(tài)聚類結(jié)果

經(jīng)ISODATA 動態(tài)聚類，在增加檢測尺度后，最佳先驗(yàn)框的個數(shù)增加為20 個。為驗(yàn)證此算法的準(zhǔn)確率，分別令先驗(yàn)框的個數(shù)為4、8、12、16、20、24、28、32，使用K-means 對車輛訓(xùn)練集進(jìn)行分類，在設(shè)置不同先驗(yàn)框個數(shù)時，將IOU 的值作為聚類準(zhǔn)確率進(jìn)行對比，此處IOU 值的計(jì)算方法為首先計(jì)算各類聚類所得出的先驗(yàn)框的尺寸和ISODATA動態(tài)聚類中所有標(biāo)注框的平均IOU 值，再計(jì)算各類的IOU 值平均值，此處IOU 值僅計(jì)算不同框間的面積，不進(jìn)行定位，對比結(jié)果如表3 及圖7所示。由圖7 可見，當(dāng)設(shè)定類別大于20 之后，曲線趨于平穩(wěn)，由此可知，設(shè)定類別為20 類比較理想，故而證明，對于車輛要素信息，使用模糊ISODATA算法可以在相對較短的時間內(nèi)獲得較為精確的分類類別，與原網(wǎng)絡(luò)中所用的K-means 聚類算法相比，不需要提前設(shè)定聚類數(shù)目；不會由于初始聚類中心的設(shè)置而產(chǎn)生較大偏差，具有一定的魯棒性；實(shí)驗(yàn)樣本集數(shù)據(jù)量較大，K-means 聚類算法需要不斷地進(jìn)行樣本分類調(diào)整，不斷地計(jì)算調(diào)整后的新的聚類中心，算法的時間復(fù)雜度較大，而本文所用的模糊ISODATA算法能夠較快收斂。

表3 對比結(jié)果Table 3 Comparison results

3.3 實(shí)驗(yàn)結(jié)果

網(wǎng)絡(luò)batch 設(shè)置為64，subdivisions 設(shè)置為16，訓(xùn)練次數(shù)設(shè)置為30 000 次，初始學(xué)習(xí)率設(shè)置為0.001，訓(xùn)練達(dá)到15 000 次后，學(xué)習(xí)率調(diào)整為0.000 1。本次實(shí)驗(yàn)設(shè)置anchors box 為20，原YOLOv4 網(wǎng)絡(luò)及本文優(yōu)化YOLOv4 網(wǎng)絡(luò)在車輛訓(xùn)練集上收斂情況分別如圖8（a）、8（b）所示，可見在網(wǎng)絡(luò)復(fù)雜度增加后，收斂速度并沒有降低。這說明所設(shè)計(jì)的新網(wǎng)絡(luò)在對微小目標(biāo)物的定位檢測時，具有較快的模型訓(xùn)練收斂速度。類間平均準(zhǔn)確率、平均IOU、召回率及速度進(jìn)行對比分析，結(jié)果如表4所示。其中：Map.5 表示iou_threash 取值為0.5 時，行駛車輛各檢測目標(biāo)的類間平均準(zhǔn)確率；Map.75 表示iou_threash 取值為0.75 時行駛車輛各檢測目標(biāo)的類間平均準(zhǔn)確率；R.5 表示iou_threash 取值為0.5 時，各檢測目標(biāo)的類間平均召回率；R.75 表示iou_threash取值為0.75 時，各檢測目標(biāo)的類間平均召回率；Av-IOU 表示平均IOU；FPS 表示每秒檢測的圖片數(shù)量。iou_threash是在計(jì)算準(zhǔn)確率及召回率時IOU（交并比）的閾值，當(dāng)預(yù)測框與真實(shí)框的IOU 大于iou_threash 時才認(rèn)為預(yù)測正確。召回率代表網(wǎng)絡(luò)檢測的效果，召回率越大則網(wǎng)絡(luò)漏檢率越低。Av-IOU 表示回歸框的預(yù)測準(zhǔn)確度，該值越大則表示回歸框的大小及位置的預(yù)測越準(zhǔn)確。在同一個iou_threash 值下，準(zhǔn)確率越接近召回率，表明有部分預(yù)測框與真實(shí)框的IOU 值小于iou_threash 值，則效果越好。本文對比了優(yōu)化YOLOv4 網(wǎng)絡(luò)與原YOLOv4網(wǎng)絡(luò)在iou_threash 為0.5 和0.75 時的召回率（R.5、R.75）、準(zhǔn)確率（Map.5、Map.75）和平均IOU（Av-IOU），結(jié)果表明本文優(yōu)化YOLOv4 網(wǎng)絡(luò)的檢測效果優(yōu)于原YOLOv4網(wǎng)絡(luò)。

表4 訓(xùn)練集的實(shí)驗(yàn)結(jié)果Table 4 Experimental results of training set

由實(shí)驗(yàn)可知，iou_threash 取0.5 時，YOLOv4 網(wǎng)絡(luò)的準(zhǔn)確率和漏檢率的效果最為理想，且優(yōu)化后的YOLOv4 網(wǎng)絡(luò)在不同參數(shù)時均優(yōu)于原網(wǎng)絡(luò)。取iou_threash 為0.5，在測試集中對優(yōu)化后的網(wǎng)絡(luò)進(jìn)行測試，測試后的結(jié)果如表5所示，其中使用原始YOLOv4 網(wǎng)絡(luò)對車牌的識別率最高為98.70%，識別效果較為理想，高于李良榮提出的基于SVM（support vector machine）算法實(shí)現(xiàn)車牌的字符識別[16]所用的傳統(tǒng)圖像處理方法95% 的定位成功率，但駕駛員手部與人臉的識別率較低，尤其是對于駕駛員手部的識別率僅為65.77%，識別效果較差。優(yōu)化后的YOLOv4 網(wǎng)絡(luò)的各目標(biāo)準(zhǔn)確率均高于原網(wǎng)絡(luò)，且優(yōu)化后的網(wǎng)絡(luò)平均準(zhǔn)確率(mAp)高于原網(wǎng)絡(luò)9.59%。

表5 測試集的各目標(biāo)物準(zhǔn)確率Table 5 Accuracy rate of each target in test set %

測試集中檢測出的部分結(jié)果如圖9所示。圖9（a）中檢測效果較理想，均成功識別車牌、車窗、駕駛員臉部以及手部。圖9（b）中黃色標(biāo)簽為擋風(fēng)玻璃，紫色標(biāo)簽為駕駛員面部，綠色標(biāo)簽為駕駛員手部，藍(lán)色標(biāo)簽為車牌，除在強(qiáng)光狀態(tài)下未識別到駕駛員手部外，在弱光和正常光狀態(tài)下均可準(zhǔn)確檢測出擋風(fēng)玻璃、車牌以及駕駛員的面部和手部動作。在正常光狀態(tài)下，手部標(biāo)簽位于面部標(biāo)簽左側(cè)，檢測出駕駛員正在使用手機(jī)通話，屬于危險駕駛行為。在強(qiáng)光狀態(tài)下，由于擋風(fēng)玻璃反光和駕駛員手部未出現(xiàn)在視線內(nèi)，導(dǎo)致未識別出駕駛員手部標(biāo)簽。

4 結(jié)論

在開放的交通路口，受天氣、距離、角度、光照等因素的影響，造成傳統(tǒng)車牌檢測方法漏檢率及誤檢率較高，在諸多因素影響的復(fù)雜環(huán)境下，運(yùn)用YOLOv4算法對車牌進(jìn)行檢測的效果優(yōu)于傳統(tǒng)的車牌檢測，但對駕駛員面部等行駛車輛的關(guān)鍵要素檢測效果較差，尤其對于手部的檢測甚至低于70%。而提出的優(yōu)化后的YOLOv4 網(wǎng)絡(luò)不僅在車牌這一目標(biāo)物中的檢測效果表現(xiàn)優(yōu)秀，測試集上的準(zhǔn)確率為98.97%，而且對車體前擋風(fēng)玻璃、駕駛員人臉以及手部等目標(biāo)物的檢測表現(xiàn)均比較理想。因此，使用優(yōu)化YOLOv4 網(wǎng)絡(luò)進(jìn)行行駛車輛要素定位是一種有效的方式。