基于深度學(xué)習(xí)的車標(biāo)檢測(cè)算法研究

薛 超,薄純娟,王 欣

(1.大連民族大學(xué) a.機(jī)電工程學(xué)院；b.信息與通信工程學(xué)院，遼寧 大連 116005;2.大連鐵路中學(xué)，遼寧 大連 116021)

目標(biāo)檢測(cè)是計(jì)算機(jī)視覺領(lǐng)域的分支，主要工作是從圖像中找到特定的目標(biāo)并進(jìn)行準(zhǔn)確地標(biāo)注，根據(jù)選定數(shù)據(jù)集的不同，檢測(cè)算法可以檢測(cè)的目標(biāo)也不同。一方面，車標(biāo)作為日常生活中常見的目標(biāo)，具有小尺度、形狀不定、受環(huán)境影響嚴(yán)重、種類繁多等特點(diǎn)，如何針對(duì)目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)以適應(yīng)這些特點(diǎn)，是目標(biāo)檢測(cè)研究的一項(xiàng)熱門課題，因此車標(biāo)對(duì)于目標(biāo)檢測(cè)具有一定的學(xué)術(shù)研究?jī)r(jià)值；另一方面，車標(biāo)檢測(cè)對(duì)道路交通管理具有一定的幫助，通過結(jié)合車牌、車型、車標(biāo)等重要特征，可以快速定位相應(yīng)車輛，此外汽車廠商通過對(duì)交通錄像進(jìn)行車標(biāo)檢測(cè)，可以輔助計(jì)算汽車品牌曝光度，因此車標(biāo)檢測(cè)具有一定的現(xiàn)實(shí)應(yīng)用意義。

1 傳統(tǒng)車標(biāo)檢測(cè)方法

傳統(tǒng)的車標(biāo)檢測(cè)算法多基于圖像處理，主要步驟包括：圖像預(yù)處理、窗口滑動(dòng)、特征提取、特征選擇、特征分類和后處理等。首先進(jìn)行圖像預(yù)處理，包括歸一化、高斯濾波、灰度化處理、邊緣檢測(cè)和二值化等操作；其次需要選定特征，根據(jù)待識(shí)別車標(biāo)的特征進(jìn)行手動(dòng)參數(shù)調(diào)整，目前常用的特征有Haar、LBP和HOG等；最后進(jìn)行分類器的訓(xùn)練。這類算法由于檢測(cè)效率較低，僅適用于靜態(tài)和簡(jiǎn)單場(chǎng)景下的車標(biāo)檢測(cè)，同時(shí)可檢測(cè)的類別也較少。卷積神經(jīng)網(wǎng)絡(luò)[1]引入目標(biāo)檢測(cè)領(lǐng)域后，深度學(xué)習(xí)目標(biāo)檢測(cè)算法相比傳統(tǒng)算法檢測(cè)速度和精度均有所提升。根據(jù)算法過程的不同，目前深度學(xué)習(xí)目標(biāo)檢測(cè)算法可以分為一階段算法(one-stage)和二階段算法(two-stage)。一階段算法直接進(jìn)行候選框的分類與回歸，檢測(cè)速度較快但精度較低，如YOLO[2]、SSD[3]等；二階段算法首先會(huì)將候選框和背景相互分離，然后將對(duì)候選框進(jìn)行分類與回歸，由于算法分兩個(gè)步驟進(jìn)行，因此二階段算法檢測(cè)速度較慢但是精度更高，如Fast R-CNN[4]和Faster R-CNN[5]等。二階段算法在第二階段可以選擇性挑選樣本，因此正負(fù)樣本較為均衡，一階段算法則存在正負(fù)樣本不平衡的問題，Tsung-Yi等[6]提出Facal Loss方法，使得一階段算法能夠超越二階段算法。

1.1 YOLOv3算法分析

目前車標(biāo)檢測(cè)算法主要是基于主流目標(biāo)檢測(cè)算法進(jìn)行改進(jìn)，而一階段算法由于其快速檢測(cè)的特性，更加適合進(jìn)行車標(biāo)檢測(cè)，因此車標(biāo)檢測(cè)算法主要是基于一階段算法進(jìn)行改進(jìn)。YOLOv3[7]算法由于其高檢測(cè)速度，在車標(biāo)檢測(cè)領(lǐng)域被廣泛應(yīng)用，如王林等[8]基于YOLOv3進(jìn)行改進(jìn)，將Darknet-53改換為層數(shù)更少的Darknet-19，同時(shí)減少預(yù)測(cè)層；阮祥偉等[9]基于YOLOv3提出NVLD算法，減少網(wǎng)絡(luò)層數(shù)的同時(shí)添加殘差學(xué)習(xí)模塊[10]，最終在不增加參數(shù)的條件下提升網(wǎng)絡(luò)提取效果；LIU R K等[11]提出SSFPD算法，針對(duì)車標(biāo)小尺度檢測(cè)效果較差的問題，首次提出約束區(qū)域檢測(cè)和復(fù)制粘貼策略；馮佳明等[12]基于YOLOv3提出改進(jìn)算法YOLOv3-fass，一方面降低網(wǎng)絡(luò)通道數(shù)，另一方面添加尺度跳連結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)的同時(shí)提升特征融合效果。

1.2 YOLOv4算法分析

YOLOv4是Bochkovsky等[13]在2020年提出的一種對(duì)YOLOv3進(jìn)行改進(jìn)的算法，從輸入端到輸出端都應(yīng)用了大量技巧性算法，這些算法可分為兩類：一類是僅增加訓(xùn)練成本的算法(Bag of freebies)，例如數(shù)據(jù)增強(qiáng)、標(biāo)簽平滑等；另一類是增加少量計(jì)算成本的算法(Bag of specials)，例如增強(qiáng)接收域、空間注意力模塊等，性能上不論是訓(xùn)練階段還是檢測(cè)階段，YOLOv4相比YOLOv3都有一定提升。

YOLOv4預(yù)測(cè)部分共有三個(gè)不同尺度的輸入層，有助于提升多尺度目標(biāo)檢測(cè)效果，然而車標(biāo)檢測(cè)面對(duì)的目標(biāo)大部分為中小尺度目標(biāo)，對(duì)于多尺度敏感性較低；此外，車標(biāo)數(shù)據(jù)集圖片分辨率通常較低，對(duì)于層數(shù)較多的網(wǎng)絡(luò)結(jié)構(gòu)，車標(biāo)特征相對(duì)難以學(xué)習(xí)，同時(shí)過于復(fù)雜的網(wǎng)絡(luò)結(jié)構(gòu)會(huì)增加大量計(jì)算成本，降低檢測(cè)速度。針對(duì)上述問題，本文針對(duì)YOLOv4算法進(jìn)行改進(jìn)，使其更好地應(yīng)用于車標(biāo)檢測(cè)。

2 算法設(shè)計(jì)

2.1 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

現(xiàn)實(shí)場(chǎng)景中車標(biāo)通常為小尺度目標(biāo)，同時(shí)考慮車標(biāo)數(shù)據(jù)集分辨率不高的情況，本文選取層數(shù)較少的Tiny-Darknet作為改進(jìn)算法的特征提取網(wǎng)絡(luò)。Tiny-Darknet的優(yōu)勢(shì)是網(wǎng)絡(luò)層數(shù)少、檢測(cè)速度快，相比CSP-Darknet53的104層網(wǎng)絡(luò)結(jié)構(gòu)，它只有22層，擁有更少的模型參數(shù)，更快的檢測(cè)速度。本文對(duì)兩種網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行了對(duì)比實(shí)驗(yàn)，結(jié)果見表1。

表1 網(wǎng)絡(luò)結(jié)構(gòu)對(duì)比實(shí)驗(yàn)結(jié)果

補(bǔ)充FPS與mAP@0.75的含義。從表1可以得知，Tiny-Darknet相比CSP-Darknet53檢測(cè)速度增加兩倍，精度僅下降4.81%，因此本文選擇Tiny-Darknet作為本文算法的特征提取網(wǎng)絡(luò)。

輸入圖像經(jīng)過多層卷積后，選擇26×26和52×52兩種尺度的特征圖進(jìn)行融合操作。首先對(duì)26×26特征圖進(jìn)行上采樣操作，然后與52×52特征圖進(jìn)行向量拼接，得到拼接后的52×52特征圖作為預(yù)測(cè)層之一；上一步拼接后的52×52特征圖經(jīng)過卷積降維后與26×26特征圖進(jìn)行向量拼接，作為預(yù)測(cè)層之一。經(jīng)過自底向上和自頂向下兩次特征融合操作后，形成PAN網(wǎng)絡(luò)[14]，提升特征圖所含的特征信息，最后選取中尺度(52×52)和小尺度(26×26)特征圖進(jìn)行預(yù)測(cè)，滿足現(xiàn)實(shí)場(chǎng)景中車標(biāo)的特點(diǎn)，改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)如圖1。

圖1 改進(jìn)后網(wǎng)絡(luò)結(jié)構(gòu)圖

2.2 改進(jìn)損失函數(shù)

模型訓(xùn)練過程中會(huì)產(chǎn)生許多預(yù)測(cè)框，算法會(huì)根據(jù)預(yù)先設(shè)定好的閾值計(jì)算預(yù)測(cè)框與真實(shí)框的交并比(Intersection over Union ,IoU)，大于閾值為正樣本，小于閾值為負(fù)樣本。實(shí)際上，負(fù)樣本的數(shù)量往往遠(yuǎn)多于正樣本，根據(jù)本文改進(jìn)后的網(wǎng)絡(luò)模型，當(dāng)輸入圖像尺寸為416×416時(shí)，會(huì)產(chǎn)生10 140個(gè)先驗(yàn)框，而對(duì)于車標(biāo)數(shù)據(jù)集，每張圖片通常只包含一個(gè)目標(biāo)，多數(shù)預(yù)測(cè)框不包含目標(biāo)，正樣本的數(shù)量遠(yuǎn)低于負(fù)樣本，正負(fù)樣本不平衡的問題更加嚴(yán)重。Focal loss[6]可以通過調(diào)整權(quán)重參數(shù)，降低負(fù)樣本的損失權(quán)重，因此本文在損失函數(shù)中添加Focal loss調(diào)整負(fù)樣本比例，從而改善車標(biāo)訓(xùn)練過程中正負(fù)樣本失衡的問題。YOLOv4中引入Focal loss的損失函數(shù)如公式(1)：

(1)

2.3 K均值重構(gòu)初始Anchors

基于錨框的檢測(cè)算法為加快邊界框回歸速度，在訓(xùn)練之前需根據(jù)數(shù)據(jù)集的不同手動(dòng)設(shè)置初始先驗(yàn)框。針對(duì)本文采用的數(shù)據(jù)集，實(shí)驗(yàn)前采用K均值聚類算法計(jì)算不同聚類數(shù)量下對(duì)應(yīng)的平均交并比，具體結(jié)果如圖2。

圖2 聚類數(shù)量與IoU變化圖

從圖2可以看出，平均IoU值在聚類個(gè)數(shù)為3之后增長(zhǎng)逐漸放緩，因此本文實(shí)驗(yàn)選擇聚類個(gè)數(shù)為3，初始Anchor Boxes設(shè)為：(11,12)；(16,21)；(29,30)。

2.4 調(diào)整邊界框過濾規(guī)則

基于錨框的算法在最終檢測(cè)階段會(huì)產(chǎn)生許多分?jǐn)?shù)不同的邊界框(Bounding Box)，對(duì)于一個(gè)檢測(cè)目標(biāo)可能會(huì)檢測(cè)出多個(gè)邊界框，而最終檢測(cè)結(jié)果只需其中一個(gè)。Neubeck等[15]提出非極大值抑制算法(Non-Maximum Suppression，NMS)可以過濾掉多余邊界框，僅保留精度最高的邊界框作為檢測(cè)結(jié)果。NMS先計(jì)算邊界框之間的IoU值，然后手動(dòng)設(shè)定閾值進(jìn)行過濾。為解決上述問題，本文算法采用DIoU_NMS[16]作為邊界框過濾策略，DIoU是在IoU的基礎(chǔ)上添加邊界框中心點(diǎn)信息，當(dāng)兩個(gè)邊界框IoU值較大而中心點(diǎn)距離較遠(yuǎn)時(shí)，DIoU_NMS不會(huì)將其過濾，從而避免漏檢的情況。DIoU_NMS計(jì)算公式如下：

(2)

(3)

式中，d和c分別表示兩個(gè)邊界框的中心點(diǎn)距離和斜對(duì)角距離，通過調(diào)整β可以控制d和c的比值大小。當(dāng)β值趨近于+∞時(shí)，DIoU逐漸轉(zhuǎn)為IoU；而β值等于0時(shí)，與目標(biāo)中心點(diǎn)不重合的邊界框會(huì)都得到保留，因此β的選擇將直接影響最終檢測(cè)結(jié)果。

2.5 數(shù)據(jù)集

本文實(shí)驗(yàn)采用車標(biāo)數(shù)據(jù)集VLD-45-B[17]，該數(shù)據(jù)集共有45個(gè)類別，如圖3。每個(gè)類別含有1 000張照片，共45 000張照片，所有圖片均采用現(xiàn)實(shí)場(chǎng)景中的車標(biāo)圖片，因此該數(shù)據(jù)集可以較好地模擬現(xiàn)實(shí)中車標(biāo)檢測(cè)場(chǎng)景。本次實(shí)驗(yàn)將數(shù)據(jù)集劃分為3 6000張訓(xùn)練圖片和9 000張測(cè)試圖片。

圖3 VLD-45-B數(shù)據(jù)集 車標(biāo)類別圖片

3 實(shí)驗(yàn)與分析

3.1 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)硬件環(huán)境為：CPU，Intel i5-10400F；GPU，NVIDIA Geforce RTX 2070；軟件環(huán)境為DarkNet框架，Cuda 10.1，cuDNN 7.6.5，OpenCV 4.3.0。

3.2 實(shí)驗(yàn)設(shè)計(jì)與結(jié)果分析

實(shí)驗(yàn)共分為三個(gè)階段。

(1)輸入尺寸對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)選取320×320、416×416和512×512三種輸入尺寸作為變量，測(cè)試模型精度與檢測(cè)速度，實(shí)驗(yàn)結(jié)果見表2。

表中BFLOPs(Billion Float Operations)表示模型需要計(jì)算十億次浮點(diǎn)運(yùn)算的個(gè)數(shù)，可表示模型參數(shù)的復(fù)雜度。從表2可以看出，320×320的輸入尺寸雖然模型參數(shù)較少，檢測(cè)速度最快，但精度較差；當(dāng)輸入尺寸為512×512時(shí)，BFLOPs相比320×320增加近一倍多，檢測(cè)速度同時(shí)降低，最終檢測(cè)精度最高，但是mAP@0.75相比416×416輸入尺寸僅僅提升1.4%，BFLOPs卻增加51%，為平衡檢測(cè)準(zhǔn)確率和檢測(cè)速度，本文算法采用416×416作為模型輸入尺寸。

表2 輸入尺寸實(shí)驗(yàn)結(jié)果

(2)邊界框過濾策略對(duì)比實(shí)驗(yàn)。實(shí)驗(yàn)分別采取NMS和DIoU_NMS兩種過濾策略，同時(shí)對(duì)DIoU_NMS計(jì)算公式(3)中的參數(shù)進(jìn)行調(diào)整，根據(jù)結(jié)果選擇最佳的邊界框過濾策略，實(shí)驗(yàn)結(jié)果如圖4。

圖4 NMS對(duì)比實(shí)驗(yàn)結(jié)果圖

從圖4可以看出，當(dāng)采用DIoU_NMS過濾策略時(shí)，mAP@0.75相比普通NMS提高約1%，表明DIoU_NMS可以明顯提升模型精度；當(dāng)參數(shù)值設(shè)定為0.2時(shí)，可以達(dá)到最佳的檢測(cè)精度，此時(shí)相比普通NMS過濾策略mAP@0.75提升接近2%。因此本文算法選取DIoU_NMS作為算法邊界框過濾規(guī)則，同時(shí)調(diào)整值為0.2。

(3)經(jīng)典算法對(duì)比實(shí)驗(yàn)。本文實(shí)驗(yàn)選取了YOLOv3、YOLOv4、SSD300、Faster R-CNN和RetinaNet五種經(jīng)典算法與本文改進(jìn)后的算法進(jìn)行對(duì)比測(cè)試。

對(duì)比實(shí)驗(yàn)中，F(xiàn)aster-RCNN和RetinaNet兩種算法均采用ResNet-50作為特征提取網(wǎng)絡(luò)，同時(shí)添加FPN[18]進(jìn)行特征圖增強(qiáng)；YOLOv3-SPP是YOLOv3添加SPP層[19]之后的模型，本次實(shí)驗(yàn)也將其作為對(duì)比算法；SSD300采用300×300作為輸入尺寸，其余算法均采用416×416作為輸入尺寸；訓(xùn)練輪數(shù)統(tǒng)一設(shè)置為90 000輪，batch size設(shè)置為16，最終實(shí)驗(yàn)結(jié)果見表3。

表3 車標(biāo)檢測(cè)算法對(duì)比

從表3可得知，YOLOv4相比YOLOv3在車標(biāo)檢測(cè)精度上有少量提升，模型參數(shù)卻更少，得益于層數(shù)更少的特征提取網(wǎng)絡(luò)和減少的輸出層，本文算法參數(shù)計(jì)算量較YOLOv4有所下降，最終檢測(cè)速度高于其他算法；通過對(duì)特征圖多次融合豐富特征信息、預(yù)設(shè)先驗(yàn)框、改進(jìn)損失函數(shù)和調(diào)整邊界框過濾規(guī)則操作后，本文算法雖參數(shù)更少，但精度仍保持較高水平，其中閾值要求更嚴(yán)格的mAP@0.75達(dá)到80.57%，準(zhǔn)確率提升較為明顯。部分檢測(cè)效果如圖5。

圖5 部分檢測(cè)效果圖

4 結(jié) 語

本文提出一種基于YOLOv4的改進(jìn)型車標(biāo)檢測(cè)算法，采用層數(shù)較少的網(wǎng)絡(luò)結(jié)構(gòu)，并對(duì)特征圖進(jìn)行多次跨緯度融合，極大地豐富了預(yù)測(cè)層特征圖語義信息，選擇中尺度和小尺度特征圖輸入到檢測(cè)層；改進(jìn)損失函數(shù)以緩解正負(fù)樣本不平衡問題；預(yù)設(shè)更加適合車標(biāo)數(shù)據(jù)集的先驗(yàn)框，從而加快模型收斂速度；選擇最優(yōu)邊界框過濾規(guī)則并手動(dòng)調(diào)整參數(shù)進(jìn)一步提高模型精度。實(shí)驗(yàn)結(jié)果表明，改進(jìn)后的算法相比經(jīng)典算法檢測(cè)速度大幅提升，同時(shí)也提高了檢測(cè)準(zhǔn)確率。由于本文算法更加注重檢測(cè)中小尺度車標(biāo)，隨著目標(biāo)尺度增大，檢測(cè)效果會(huì)逐漸降低，之后的研究將在增加多尺度車標(biāo)數(shù)據(jù)集的同時(shí)，進(jìn)一步改進(jìn)算法使其更好地適應(yīng)多尺度車標(biāo)檢測(cè)。