交通道路行駛車輛車標(biāo)識(shí)別算法

李 訥，徐光柱，2*，雷幫軍，2，馬國(guó)亮，石勇濤，2

（1.三峽大學(xué)計(jì)算機(jī)與信息學(xué)院，湖北宜昌 443002；2.水電工程智能視覺監(jiān)測(cè)湖北省重點(diǎn)實(shí)驗(yàn)室（三峽大學(xué)），湖北宜昌 443002；3.宜昌市公安交通警察支隊(duì)，湖北宜昌 443002）

0 引言

基于視頻的車輛信息的檢測(cè)和識(shí)別是智能交通系統(tǒng)的一個(gè)重要分支，而車標(biāo)作為車輛的一個(gè)重要信息，具有顯著和不易更換的特點(diǎn)，因此其檢測(cè)和識(shí)別具有重要意義［1］。實(shí)際生活中單靠車牌的識(shí)別不能完全準(zhǔn)確確認(rèn)車輛身份，正確識(shí)別車標(biāo)有助于車輛身份的確認(rèn)，因此對(duì)于車標(biāo)的準(zhǔn)確快速識(shí)別在套牌車識(shí)別、車輛布控查詢、車輛違章逃逸等方面有廣泛的應(yīng)用。

目前對(duì)車標(biāo)識(shí)別技術(shù)的研究一般分為定位和識(shí)別兩部分。

對(duì)于車標(biāo)定位算法，其中較為普遍的定位算法是兩步定位法，即車標(biāo)的粗定位和精定位。李哲等［2］利用車牌與車標(biāo)相對(duì)位置關(guān)系對(duì)車標(biāo)進(jìn)行粗定位，再利用投影方法進(jìn)行車標(biāo)精定位；楊正云等［3］利用Sobel算子和Shen算子對(duì)車牌進(jìn)行定位，然后利用車牌與車標(biāo)的相對(duì)位置確定車標(biāo)大概位置，再利用紋理特征對(duì)車標(biāo)精定位；李熙瑩等［4］根據(jù)散熱器柵格背景的紋理信息對(duì)車標(biāo)進(jìn)行精確定位；張闖等［5］在HSV（Hue，Saturation，Value）下使用濾鏡定位車牌位置來粗定位車標(biāo)，然后運(yùn)用垂直投影法分割并分離出車標(biāo)圖像。這些方法定位過程繁瑣，受車型、環(huán)境影響較大，定位速度慢且精度低。

對(duì)于車標(biāo)識(shí)別的算法主要有模板匹配算法、傳統(tǒng)的機(jī)器學(xué)習(xí)方法和基于卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）的深度學(xué)習(xí)方法。李哲等［6］采用改進(jìn)的方向梯度直方圖（Histogram of Oriented Gradient，HOG）特征和局部二值化特征作為聯(lián)合特征，訓(xùn)練反向傳播（Back Propagation，BP）神經(jīng)網(wǎng)絡(luò)分類器來識(shí)別車標(biāo)；耿慶田等［7］利用尺度不變特征變換（Scale-Invariant Feature Transform，SIFT）算子對(duì)圖像的視角、平移、放射、亮度、旋轉(zhuǎn)等不變特性進(jìn)行提取，并采用BP 神經(jīng)網(wǎng)絡(luò)算法自主選取車標(biāo)圖像特征進(jìn)行分類、匹配和識(shí)別；張碩［8］利用Adaboost 算法訓(xùn)練出各種車標(biāo)分類器，并將各種車標(biāo)分類器組合在一起，實(shí)現(xiàn)車標(biāo)的識(shí)別。上述方法使用HOG、SIFT 等機(jī)器學(xué)習(xí)提取圖像特征，使用支持向量機(jī)（Support Vector Machine，SVM）、BP 神經(jīng)網(wǎng)絡(luò)等分類器進(jìn)行識(shí)別，該類方法可識(shí)別較多類車標(biāo)，但是對(duì)誤識(shí)別的車標(biāo)無法判斷，且識(shí)別率與訓(xùn)練樣本數(shù)量、種類密切相關(guān)。Huang 等［9］采用基于卷積神經(jīng)網(wǎng)絡(luò)模型的方法對(duì)車標(biāo)進(jìn)行分類，利用主成分分析提高了車標(biāo)的識(shí)別精度和速度，但是出現(xiàn)了前期訓(xùn)練時(shí)間過長(zhǎng)且對(duì)于未知品牌的車標(biāo)不可識(shí)別的問題，而且受車標(biāo)種類密度影響較大；葉玉雙等［10］使用基于OpenCV 模板匹配和邊緣檢測(cè)技術(shù)來解決識(shí)別的任務(wù)，該方法有較高的識(shí)別精度，但需要車標(biāo)較為清晰，不適用于交通道路中的車標(biāo)識(shí)別。

針對(duì)上述車標(biāo)定位效率低且精度低的問題，本文采用基于卷積神經(jīng)網(wǎng)絡(luò)的方法進(jìn)行車標(biāo)一步定位，速度快且精度高；針對(duì)上述車標(biāo)識(shí)別中存在的受車標(biāo)種類密度影響、不可識(shí)別未知類型車標(biāo)及車標(biāo)需高清晰等問題，本文采用基于形態(tài)學(xué)模板匹配算法進(jìn)行識(shí)別，對(duì)二值化圖像進(jìn)行匹配，識(shí)別精度高。具體來說，本文的主要貢獻(xiàn)包括4 個(gè)方面：

1）提出了一種改進(jìn)的YOLOv4 車標(biāo)檢測(cè)算法，該算法可對(duì)車標(biāo)一步定位，提高了檢測(cè)速度；且通過K-Means++重新聚類初始錨框值，并加入ResNet 殘差網(wǎng)絡(luò)提高了小目標(biāo)復(fù)用率，提高了檢測(cè)精度。

2）采用形態(tài)學(xué)模板匹配算法對(duì)檢測(cè)到的車標(biāo)進(jìn)行識(shí)別，該算法對(duì)車標(biāo)二值化處理后與模板庫(kù)中的模板進(jìn)行匹配，有效減少了色差、光照、噪聲等環(huán)境影響，提高了識(shí)別精度。

3）采用DenseNet201 卷積神經(jīng)網(wǎng)絡(luò)對(duì)車標(biāo)進(jìn)行分類訓(xùn)練，該訓(xùn)練模型可識(shí)別130 種車標(biāo)。

4）本文提供了包含130 種車標(biāo)的車標(biāo)模板庫(kù)和60 000張包含130 種車標(biāo)的車標(biāo)數(shù)據(jù)集。

1 相關(guān)技術(shù)

1.1 YOLOv4算法原理

基于深度學(xué)習(xí)的目標(biāo)檢測(cè)算法分為兩大類：一類是兩階段檢測(cè)算法（R-CNN（Region-CNN）［11］、Fast-R-CNN（Fast-Region-CNN）［12］、Faster-R-CNN（Faster-Region-CNN）［13］）；另一類是一階段檢測(cè)算法（YOLO［14-17］系列）。前者是基于候選區(qū)域檢測(cè)算法，在檢測(cè)精度上占優(yōu)勢(shì)；后者是基于回歸檢測(cè)算法，則在檢測(cè)速度上占優(yōu)勢(shì)。YOLOv4 目標(biāo)檢測(cè)算法［17］以CSPDarknet53 作為骨干網(wǎng)絡(luò)，相比Darknet53 加入了CSPNet結(jié)構(gòu)［18］，增強(qiáng)了CNN 學(xué)習(xí)能力，減少了計(jì)算量，在不降低速度的同時(shí)提高了檢測(cè)精度；并在CSPDarknet 上添加了SPP 模塊［19］，相比傳統(tǒng)最大池化方式，其可以分離出最重要的上下文特征；頸部采用路徑聚合網(wǎng)絡(luò)（Path Aggregation Network，PAN）［20］與特征金字塔（Feature Pyramid Network，F(xiàn)PN）［21］相融合的結(jié)構(gòu)，針對(duì)不同層級(jí)的檢測(cè)器，挑選PAN 對(duì)不同骨干層進(jìn)行參數(shù)聚合，改善了FPN 由淺層特征向深層傳遞導(dǎo)致的淺層特征丟失的問題；檢測(cè)頭部延續(xù)了YOLOv3 中的YOLOhead，最終形成了“CSPDarknet+FPN+PAN+YOLOv3-head”的模型結(jié)構(gòu)，如圖1所示。

圖1 YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Network structure of YOLOv4

YOLOv4 優(yōu)化方法還包括Mosaic 數(shù)據(jù)增強(qiáng)，豐富了數(shù)據(jù)多樣性；采用Mish 激活函數(shù)［22］，其上無邊界性（即正值可以達(dá)到任何高度）避免了由于封頂而導(dǎo)致的飽和；采用DropBlock［17］特征增強(qiáng)緩解過擬合等。YOLOv4 是一種結(jié)合了大量前人研究技術(shù)，加以組合并進(jìn)行適當(dāng)創(chuàng)新的目標(biāo)檢測(cè)算法，該算法實(shí)現(xiàn)了速度和精度的完美平衡。相對(duì)于YOLOv3 在準(zhǔn)確率上提升了近10 個(gè)百分點(diǎn)，然而速度幾乎沒有下降，其檢測(cè)性能表現(xiàn)十分優(yōu)異。

1.2 殘差網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)在訓(xùn)練時(shí)隨著網(wǎng)絡(luò)結(jié)構(gòu)的加深，會(huì)出現(xiàn)梯度消失，訓(xùn)練退化的問題，這使得模型很難繼續(xù)訓(xùn)練。He等［23］提出的ResNet 殘差網(wǎng)絡(luò)是在VGG19 網(wǎng)絡(luò)基礎(chǔ)上進(jìn)行修改，通過采用短路連接機(jī)制加入殘差單元，該方法有效改善了隨著網(wǎng)絡(luò)層次加深帶來的梯度消失問題。在網(wǎng)絡(luò)結(jié)構(gòu)中，數(shù)據(jù)進(jìn)入每層個(gè)卷積層都會(huì)輸出新的特征圖，實(shí)現(xiàn)輸入和輸出數(shù)據(jù)的映射，ResNet 中的映射稱為恒等映射（identity mapping），其殘差單元通過identity mapping 的引入在輸入和輸出之間建立了一條直接的關(guān)聯(lián)通道，從而使得強(qiáng)大的有參層集中學(xué)習(xí)輸入和輸出之間的殘差。ResNet 相比普通網(wǎng)絡(luò)每?jī)蓪娱g增加了短路機(jī)制，這就形成了殘差學(xué)習(xí)，增強(qiáng)了網(wǎng)絡(luò)的表達(dá)能力。殘差學(xué)習(xí)單元如圖2 所示。

圖2 殘差學(xué)習(xí)單元Fig.2 Residual learning unit

1.3 密集連接網(wǎng)絡(luò)

密集連接網(wǎng)絡(luò)（DenseNet）［24］是繼殘差網(wǎng)絡(luò)（ResNet）后的一個(gè)分類網(wǎng)絡(luò)，其在ResNet 基礎(chǔ)上同時(shí)增加了特征復(fù)用的通道，使得在各大數(shù)據(jù)集上的分類效果都優(yōu)于ResNet。密集連接網(wǎng)絡(luò)的基本組成單元是密集連接塊，如圖3 所示。主要特點(diǎn)是將每層的輸出都接入該層之后的所有層的輸入，此連接方式使每個(gè)層能接受前面所有層的特征映射，使得網(wǎng)絡(luò)更緊湊、特征和梯度傳遞更加有效、網(wǎng)絡(luò)更加容易訓(xùn)練。

圖3 密集連接塊Fig.3 DenseNet block

一個(gè)密集塊的輸出是該密集塊內(nèi)所有的特征圖的拼接，一個(gè)密集連接網(wǎng)絡(luò)包含多個(gè)密集塊，密集塊之間通過過渡層進(jìn)行相連。過渡層由BN（Batch Normalization）層、1×1 卷積層和一個(gè)2×2 平均池化層組成，主要作用是對(duì)前一個(gè)密集塊進(jìn)行輸出和融合。

2 改進(jìn)的YOLOv4車標(biāo)檢測(cè)算法

YOLOv4 是YOLO 系列算法中較為強(qiáng)大的一個(gè)版本，與YOLOv3 相比，其平均精度（Average Precision，AP）和每秒傳輸幀數(shù)（Frames Per Second，F(xiàn)PS）分別提高了10%和12%，可見YOLOv4 有較高的目標(biāo)檢測(cè)和識(shí)別精度。本文采用YOLOv4 進(jìn)行目標(biāo)檢測(cè)，但由于車標(biāo)尺寸小，屬于小目標(biāo)檢測(cè)，原始YOLOv4 錨框值不能適應(yīng)車標(biāo)尺寸，對(duì)目標(biāo)物體不能有好的匹配度，本文采用K-Means++進(jìn)行錨框值重新聚類。由于車標(biāo)目標(biāo)較小，為充分利用其特征，在YOLOv4 輸出層中加入殘差網(wǎng)絡(luò)ResNet。

2.1 K-Means++聚類錨框值

YOLOv4 為了得到較好的訓(xùn)練效果采用K-Means 算法重新聚類錨框，但由于該算法本身的局限性，聚類結(jié)果會(huì)受初始值選取的影響，為了更加有效地匹配目標(biāo)物體，在選取K時(shí)，可以一個(gè)一個(gè)選取，不要一次性選取K個(gè)，因此本文采用K-Means++算法［25］對(duì)初始錨框值重新聚類。其步驟如下：

1）輸入數(shù)據(jù)集中隨機(jī)選擇一點(diǎn)作為第一個(gè)初始中心點(diǎn)；

2）計(jì)算每一個(gè)點(diǎn)到選取的中心點(diǎn)的距離；

3）按輪盤法選擇一個(gè)新的點(diǎn)作為一個(gè)新的中心點(diǎn)，選取原則：距離越大選取概率越大；

4）重復(fù)2）、3）直到K個(gè)中心點(diǎn)被選出；

5）利用這K個(gè)中心點(diǎn)作為初始點(diǎn)執(zhí)行K-Means 算法。

2.2 加入殘差網(wǎng)絡(luò)ResNet

YOLOv4 有3 個(gè)輸出層，每個(gè)YOLO 層在輸出目標(biāo)類別和位置之前會(huì)采用1×1 和3×3 的卷積結(jié)構(gòu)用于轉(zhuǎn)換特征維度。由于車標(biāo)尺寸較小且形狀多樣性，傳統(tǒng)YOLOv4 在輸出層直接進(jìn)行卷積操作并輸出，沒能充分利用小目標(biāo)特征，為了適應(yīng)小目標(biāo)的檢測(cè)，提取更細(xì)致的紋理等特征，就需要充分利用其特征。因此為了緩解網(wǎng)絡(luò)層次越深，梯度消失越明顯所導(dǎo)致的小目標(biāo)特征消失，特征利用不充分，導(dǎo)致檢測(cè)效果退化的問題，在每個(gè)YOLO 輸出層之前的1×1 和3×3 的卷積間引入ResNet 殘差網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)使用短路連接機(jī)制，可以提高特征的復(fù)用率。加入殘差網(wǎng)絡(luò)的輸出網(wǎng)絡(luò)結(jié)構(gòu)使網(wǎng)絡(luò)中數(shù)據(jù)信息正向傳遞更加多元，傳遞能力更強(qiáng)，提高了小目標(biāo)特征的復(fù)用率，有助于提高網(wǎng)絡(luò)學(xué)習(xí)的能力，提高了車標(biāo)檢測(cè)精度。修改后的網(wǎng)絡(luò)結(jié)構(gòu)如圖4 所示。

圖4 改進(jìn)后的YOLOv4輸出層Fig.4 Output layer of improved YOLOv4

3 基于模板匹配的車標(biāo)識(shí)別

3.1 車標(biāo)模板庫(kù)的建立

對(duì)于模板匹配方法，車標(biāo)模板庫(kù)的標(biāo)準(zhǔn)與完善是最重要的，本文在每個(gè)車標(biāo)品牌官網(wǎng)上采集官方原始標(biāo)準(zhǔn)車標(biāo)Logo圖像來制作車標(biāo)模板庫(kù)；同時(shí)為了減少噪聲、光照等環(huán)境影響所帶來的色差以及車標(biāo)更新?lián)Q代導(dǎo)致的顏色差異，將模板庫(kù)中的模板進(jìn)行二值化處理，并統(tǒng)一大小為300×300 像素；由于車輛顏色深淺不一，導(dǎo)致車標(biāo)二值化時(shí)會(huì)出現(xiàn)顏色反相的車標(biāo)，如圖5（a）所示，所以每種車標(biāo)采用顏色相反的兩種車標(biāo)模板；而有些車標(biāo)由于車輛設(shè)計(jì)的不同會(huì)導(dǎo)致其二值圖像出現(xiàn)差異，所以有些車的二值化模板庫(kù)會(huì)有多個(gè)模板，如圖5（b）所示。最終制作了130 種車標(biāo)模板，包含286 張，如圖6 所示。

圖5 車標(biāo)二值化Fig.5 Vehicle logo binarization

圖6 車標(biāo)模板庫(kù)Fig.6 Vehicle logo template library

3.2 車標(biāo)模板匹配

模板匹配就是在模板庫(kù)中搜索和待查找圖像相匹配的模板。本文使用車標(biāo)定位中得到的車標(biāo)作為待查找圖像，然后在模板庫(kù)中逐個(gè)匹配模板圖像，操作流程如圖7 所示。

圖7 模板匹配流程Fig.7 Flowchart of template matching

其中步驟2 中進(jìn)行MSRCR（Multi-Scale Retinex with Color Restoration）［26］圖像增強(qiáng)，由于部分車標(biāo)圖像受環(huán)境光的影響，使車標(biāo)紋理不明顯，在OTSU［27］二值化圖像時(shí)，會(huì)丟失車標(biāo)部分位置，所以采用MSRCR進(jìn)行圖像增強(qiáng)。該算法可對(duì)每個(gè)通道的分量比值進(jìn)行調(diào)整從而降低色彩失真的影響，并且該算法對(duì)清晰圖像增強(qiáng)后，對(duì)二值化不會(huì)產(chǎn)生影響。如圖8為原始圖像和MSRCR 增強(qiáng)圖像后的OTSU 二值化圖像。

圖8 原始圖像和MSRCR增強(qiáng)圖像后的OTSU二值化圖像Fig.8 OTSU binarized images of original image and MSRCR enhanced image

步驟3 中，前期分別進(jìn)行OTSU、Kittler 最小分類錯(cuò)誤（Kittler Minimum error thresholding，KittlerMet）［28］、niblack［29］和交叉皮層模型（Intersecting Cortical Model，ICM）［30］二值化圖像處理（如圖9），多幅圖像對(duì)比可得，KittlerMet、niblack 二值化后噪點(diǎn)居多，ICM 二值化圖像不穩(wěn)定，時(shí)好時(shí)壞，而OTSU二值化后圖像相對(duì)清晰、噪點(diǎn)少且穩(wěn)定，所以選擇OTSU作為二值圖像處理的方法。

圖9 不同二值化算法處理后的效果對(duì)比Fig.9 Processing effect comparison of different binarization algorithms

步驟6 中漢明距離計(jì)算，由于待匹配圖像與模板庫(kù)中圖像都為二值圖像（像素值為0 或1）且尺寸都為300×300，所以兩幅圖像可看成0-1 矩陣，然后直接比較兩個(gè)矩陣中對(duì)應(yīng)位置的值，統(tǒng)計(jì)不相同值的個(gè)數(shù)，不相同值的個(gè)數(shù)越少，漢明距離越小，匹配度越高。如圖10 所示，矩陣A和矩陣B中，元素不相同的位置為2、6、7、11、13、14 共有6 個(gè)，所以漢明距離為6。

圖10 漢明距離計(jì)算原理Fig.10 Calculation principle of Hamming distance

4 實(shí)驗(yàn)與分析

4.1 實(shí)驗(yàn)環(huán)境

本文所提出的車標(biāo)檢測(cè)和車標(biāo)識(shí)別方法是基于OpenCV和Darknet 框架實(shí)現(xiàn)，在Ubuntu18.04 系統(tǒng)下采用Intel i7-9700 2.9 GHz 處理器、32 GB 內(nèi)存、Nvidia Geforce GTX1080ti 8 GB 顯卡進(jìn)行實(shí)驗(yàn)。

4.2 實(shí)驗(yàn)所用數(shù)據(jù)集

本實(shí)驗(yàn)數(shù)據(jù)采集于不同路段，不同時(shí)間段湖北宜昌、浙江義烏和浙江寧波三地。對(duì)采集的視頻數(shù)據(jù)進(jìn)行車輛檢測(cè)，提取出車輛，得到一個(gè)車標(biāo)檢測(cè)數(shù)據(jù)集，如圖11；然后通過增強(qiáng)圖像對(duì)比度、飽和度、調(diào)整亮度、添加噪點(diǎn)、圖像模糊等方式進(jìn)行圖像擴(kuò)增，符合環(huán)境多樣性，如圖12；接著再對(duì)圖11所示的車標(biāo)檢測(cè)數(shù)據(jù)集進(jìn)行車標(biāo)檢測(cè)得到車標(biāo)識(shí)別數(shù)據(jù)集。

圖11 車標(biāo)檢測(cè)數(shù)據(jù)集Fig.11 Vehicle logo detection dataset

圖12 數(shù)據(jù)擴(kuò)增效果Fig.12 Data augmentation effect

目前公開車標(biāo)數(shù)據(jù)集有XMU（XiaMen University vehicle logo dataset）［31］和HFUT-VL（Vehicle Logo dataset from HeFei University of Technology）［32］。XMU 數(shù)據(jù)集包含10 個(gè)制造商的11 500 幅圖像的車輛徽標(biāo)數(shù)據(jù)集，所有分割的圖像均被歸一化像素為70×70，該數(shù)據(jù)集經(jīng)過各種變形處理以模擬各種惡劣的戶外情況，增強(qiáng)魯棒性，但是車標(biāo)大部分為粗略定位的車標(biāo)圖像，且車標(biāo)種類和數(shù)量較少。HFUT-VL 數(shù)據(jù)集分為HFUT-VL1 和HFUT-VL2 數(shù)據(jù)集，前者通過自動(dòng)裁剪工具獲得，包括80種車標(biāo)圖像，每個(gè)類別有200張圖像，標(biāo)準(zhǔn)化像素為64×64；后者通過粗定位獲得，包括80種車標(biāo)圖像，每個(gè)類別有200張圖像，標(biāo)準(zhǔn)化像素為64×96。該數(shù)據(jù)集種類較多，但全部來自室外環(huán)境，且無經(jīng)過變形處理，數(shù)據(jù)集多樣性不強(qiáng)。

本文采用自制車標(biāo)數(shù)據(jù)集（https：//github.com/Line-code/CTGU-VLD），該數(shù)據(jù)集一部分來自交通攝像頭捕獲的室外車輛正面、背面、側(cè)面區(qū)域圖像，一部分來自網(wǎng)上車輛截取車標(biāo)圖像。本數(shù)據(jù)集包含130 種車標(biāo)，每種車標(biāo)有300～600 張不等，一共有60 000 張，每種車標(biāo)都進(jìn)行了數(shù)據(jù)增廣（調(diào)光、變色、加噪點(diǎn)、旋轉(zhuǎn)等），達(dá)到符合環(huán)境多樣性，同時(shí)標(biāo)準(zhǔn)化像素為80×80。本文數(shù)據(jù)集有如下的優(yōu)點(diǎn)：1）數(shù)據(jù)集包含130種車標(biāo)、60 000 張車標(biāo)圖像，超過目前所有公開車標(biāo)數(shù)據(jù)集的數(shù)量。2）數(shù)據(jù)集通過車標(biāo)檢測(cè)網(wǎng)絡(luò)精確定位獲得。3）數(shù)據(jù)集公開。4）數(shù)據(jù)集一部分采集自不同區(qū)域、不同室外環(huán)境（白天、傍晚、雨天等）、不同角度（正面、背面、側(cè)面）的交通視頻圖像；一部分采集自網(wǎng)上室內(nèi)、室外（停車場(chǎng)、二手車等）近距離單個(gè)車輛的車標(biāo)圖像；符合環(huán)境多樣性并通過圖像變形來擴(kuò)增圖像，提高魯棒性。

4.3 實(shí)驗(yàn)流程

實(shí)驗(yàn)首先使用YOLOv4 網(wǎng)絡(luò)對(duì)視頻中車輛進(jìn)行檢測(cè)和提?。蝗缓髮⑻崛〉能囕v輸入改進(jìn)的YOLOv4 網(wǎng)絡(luò)進(jìn)行車標(biāo)定位和提?。蛔詈髮④嚇?biāo)進(jìn)行形態(tài)學(xué)模板匹配和輸入分類網(wǎng)絡(luò)。采用形態(tài)學(xué)模板匹配時(shí)，將定位到的車標(biāo)首先進(jìn)行MSRCR 圖像增強(qiáng)，然后進(jìn)行OTSU 二值化處理，接著將二值化的圖像進(jìn)行去噪和切除邊緣，其次再將車標(biāo)調(diào)整為300×300 大小，最后與模板庫(kù)的車標(biāo)模板進(jìn)行漢明距離匹配，輸出匹配度最高的模板。采用分類網(wǎng)絡(luò)識(shí)別時(shí)，將車標(biāo)直接輸入分類網(wǎng)絡(luò)中，即可輸出識(shí)別結(jié)果。實(shí)驗(yàn)流程如圖13。

圖13 實(shí)驗(yàn)流程Fig.13 Experimental flowchart

4.4 車標(biāo)檢測(cè)實(shí)驗(yàn)結(jié)果和分析

針對(duì)基于監(jiān)控視頻的車標(biāo)檢測(cè)，本文采用改進(jìn)的YOLOv4 網(wǎng)絡(luò)結(jié)構(gòu)，在實(shí)驗(yàn)初期采用K-Means++算法對(duì)錨點(diǎn)值進(jìn)行重新聚類，K-Means++算法優(yōu)化了初始聚類中心的選擇方法，能夠獲得更好的聚類效果，獲得的錨點(diǎn)值更加貼合車標(biāo)檢測(cè)的場(chǎng)景。原始的YOLOv4 錨點(diǎn)值為（12，16），（19，36），（40，28），（36，75），（76，55），（72，146），（142，110），（192，243），（459，401），K-Means++得到的新的錨點(diǎn)值為（20，26），（25，36），（29，23），（34，50），（35，31），（38，20），（47，42），（63，26），（172，62），更貼合車標(biāo)尺寸。

實(shí)驗(yàn)設(shè)置輸入圖片大小尺寸為448×448，初始學(xué)習(xí)率為0.001，每50 次迭代后將學(xué)習(xí)率衰減為原來的0.1 倍，動(dòng)量為0.9，衰減系數(shù)為0.000 5，batch 設(shè)置為64，subdivisions 設(shè)置為16；對(duì)30 000 張圖片進(jìn)行訓(xùn)練，訓(xùn)練完成后對(duì)10 000 張圖片進(jìn)行測(cè)試，訓(xùn)練和測(cè)試數(shù)據(jù)集分布如表1 所示。

表1 實(shí)驗(yàn)數(shù)據(jù)集類型分布Tab.1 Distribution of experimental dataset types

本實(shí)驗(yàn)采用準(zhǔn)確率P、召回率R和檢測(cè)速度FPS三項(xiàng)性能指標(biāo)評(píng)定網(wǎng)絡(luò)性能，分別表示為：

式中：XTP表示被正確檢測(cè)出來的目標(biāo)數(shù)，XFP表示被錯(cuò)誤檢出的目標(biāo)數(shù)，XFN表示沒有被檢測(cè)出來的目標(biāo)數(shù)，F(xiàn)rameC表示處理圖像的數(shù)量，ElapsedT表示處理圖像所用時(shí)間，F(xiàn)PS 單位為fps（秒/幀）。

實(shí)驗(yàn)結(jié)果如表2 所示，本文改進(jìn)的YOLOv4 準(zhǔn)確率和召回率分別為99.04%、98.27%，比原始YOLOv4 準(zhǔn)確率高1.66個(gè)百分點(diǎn)，召回率高0.84 個(gè)百分點(diǎn)；但是由于加入殘差網(wǎng)絡(luò)，算法復(fù)雜度略有提高，使得速度比YOLOv4 略慢一點(diǎn)，但相差很小。同時(shí)本文還與文獻(xiàn)［2］和文獻(xiàn)［4］中兩步車標(biāo)定位法進(jìn)行對(duì)比，實(shí)驗(yàn)表明車標(biāo)兩步定位法只適應(yīng)車輛正前方和正后方，對(duì)于側(cè)面車輛并不能準(zhǔn)確定位出車標(biāo)，因此準(zhǔn)確率較低；且兩步定位法過程繁瑣、速度較慢。實(shí)驗(yàn)對(duì)比結(jié)果如表3 所示。

表2 原始YOLOv4和改進(jìn)的YOLOv4車標(biāo)檢測(cè)結(jié)果Tab.2 Vehicle logo detection results of original YOLOv4 and improved YOLOv4

表3 不同車標(biāo)定位算法的準(zhǔn)確率和時(shí)間結(jié)果Tab.3 Accuracy and time results of different vehicle logo positioning algorithms

如圖14、15 為本文算法的車標(biāo)檢測(cè)效果示例，部分由于車標(biāo)較小，原始YOLOv4 檢測(cè)不出圖15 中的車標(biāo)，而改進(jìn)的YOLOv4 可檢測(cè)出，這說明改進(jìn)的YOLOv4 對(duì)微小車標(biāo)檢測(cè)效果更好。

圖14 本文算法車標(biāo)檢測(cè)效果Fig.14 Vehicle logo detection effect of proposed algorithm

圖15 本文算法對(duì)微小車標(biāo)檢測(cè)效果Fig.15 Small vehicle logo detection effect of proposed algorithm

實(shí)驗(yàn)結(jié)果表明，本文算法也可以檢測(cè)出未知車標(biāo)的車標(biāo)，本文網(wǎng)上搜集了一些不常見車標(biāo)及訓(xùn)練集中不包含的車標(biāo)的車輛圖像，該算法可檢測(cè)出這些圖像的車標(biāo)，檢測(cè)效果如圖16 所示。圖16 第五張圖片上的車燈部分也檢測(cè)成了車標(biāo)，可知該模型存在不足之處，其將一些細(xì)小且有一定規(guī)則并位于車頭部分的圖案識(shí)別為車標(biāo)。

圖16 未知車標(biāo)檢測(cè)效果Fig.16 Effect of unknown vehicle logo detection

4.5 車標(biāo)識(shí)別實(shí)驗(yàn)與結(jié)果分析

本實(shí)驗(yàn)通過計(jì)算兩個(gè)車標(biāo)漢明距離來得出兩幅圖像的匹配程度。由于模板匹配適合車輛正面和背面車標(biāo)的識(shí)別，所以在車標(biāo)識(shí)別階段，采用車輛正面和背面車標(biāo)數(shù)據(jù)集。將待匹配圖像與模板庫(kù)中所有圖像依次進(jìn)行漢明距離計(jì)算，最后輸出漢明距離最小的模板。匹配結(jié)果如圖17 所示。

圖17 模板匹配結(jié)果Fig.17 Result of template matching

本文還對(duì)基于卷積神經(jīng)網(wǎng)絡(luò)的車標(biāo)識(shí)別方法進(jìn)行了實(shí)驗(yàn)分析。選取DenseNet201 分類網(wǎng)絡(luò)進(jìn)行分類訓(xùn)練，其中車標(biāo)類別數(shù)為130 類，通過數(shù)據(jù)擴(kuò)增來平衡數(shù)據(jù)集，每類數(shù)據(jù)集200～300 張不等。訓(xùn)練時(shí)batch 設(shè)置為64，subdivisions 設(shè)置為16，測(cè)試時(shí)batch 設(shè)置為1，subdivisions 設(shè)置為1，學(xué)習(xí)率learning_rate 設(shè)置為0.1，訓(xùn)練次數(shù)max_batches 設(shè)為800 000，filter 設(shè)為124，代表訓(xùn)練類別數(shù)，訓(xùn)練時(shí)的損失函數(shù)曲線變化如圖18 所示，分類網(wǎng)絡(luò)的損失函數(shù)表示為：

圖18 分類網(wǎng)絡(luò)損失函數(shù)變化曲線Fig.18 Loss function change curve of classification network

其中：K表示種類數(shù)；y表示標(biāo)簽，如果類別是i，則yi=1，否則yi=0；P表示神經(jīng)網(wǎng)絡(luò)的輸出，pi表示類別i的概率。

實(shí)驗(yàn)用兩種方法分別對(duì)30 種車標(biāo)進(jìn)行測(cè)試，在測(cè)試過程中發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)對(duì)車標(biāo)的識(shí)別容易受環(huán)境的影響，尤其是光照和色差，例如長(zhǎng)城車標(biāo)由于光照和色差，會(huì)導(dǎo)致顏色偏黃色，這種情況下的長(zhǎng)城車標(biāo)就容易被識(shí)別成黃色的雪佛蘭，如圖19 所示；五菱宏光和三菱車標(biāo)由于顏色都為紅色且形狀有相似度，所以這兩種車標(biāo)容易識(shí)別錯(cuò)誤。而且隨著車標(biāo)種類的增多，基于卷積神經(jīng)網(wǎng)絡(luò)的車標(biāo)識(shí)別精度逐漸降低。而在模板匹配中，由于是二值化圖像，匹配的主要是車標(biāo)的形狀，所以不會(huì)受到顏色、光照等帶來的影響，且每種車標(biāo)形狀各不相同，即使車標(biāo)種類增多也不會(huì)受其他車標(biāo)的影響。

圖19 不同方法對(duì)同一車標(biāo)的識(shí)別過程Fig.19 Recognition process of the same vehicle logo by different methods

兩種方法部分測(cè)試結(jié)果如表4 所示，模板匹配平均準(zhǔn)確率91.93%，DenseNet201 平均準(zhǔn)確率為88.99%。由表4 可知模板匹配總體準(zhǔn)確度高于DenseNet201 分類網(wǎng)絡(luò)，個(gè)別車標(biāo)識(shí)別準(zhǔn)確度低于分類網(wǎng)絡(luò)。測(cè)試時(shí)，由于模板匹配需對(duì)車標(biāo)進(jìn)行預(yù)處理，過程比分類網(wǎng)絡(luò)繁瑣，速度相對(duì)較慢，但是分類網(wǎng)絡(luò)需提前訓(xùn)練，且對(duì)未知車標(biāo)不可識(shí)別，每出現(xiàn)一種新車標(biāo)都需重新訓(xùn)練模型，而模板匹配只需將新的車標(biāo)模板加入模板庫(kù)，方便快速。綜合考慮，模板匹配效果更佳。

表4 模板匹配與深度學(xué)習(xí)方法車標(biāo)識(shí)別結(jié)果比對(duì)Tab.4 Comparison of vehicle logo recognition results between template matching and deep learning methods

為了更好驗(yàn)證模板匹配優(yōu)越性，本文與傳統(tǒng)的車標(biāo)識(shí)別方法HOG和LBP進(jìn)行實(shí)驗(yàn)對(duì)比，實(shí)驗(yàn)結(jié)果如表5所示，模板匹配對(duì)每種車標(biāo)的識(shí)別率都較高，而車標(biāo)顏色對(duì)卷積神經(jīng)網(wǎng)絡(luò)影響較大，噪聲污染和車標(biāo)形狀相似性對(duì)HOG 和LBP 影響較大，可以看出在同等條件下本文的模板匹配方法在光照變化、噪聲污染下都保持著較高的車標(biāo)識(shí)別率，有一定魯棒性。

表5 不同方法車標(biāo)識(shí)別準(zhǔn)確率結(jié)果對(duì)比Tab.5 Comparison of vehicle logo recognition results by different methods

5 結(jié)語

針對(duì)目前車標(biāo)定位過程繁瑣，車標(biāo)目標(biāo)小、種類多導(dǎo)致識(shí)別率低的問題，本文提出一種基于深度學(xué)習(xí)與模板匹配技術(shù)相結(jié)合的方法。對(duì)大眾、奧迪、豐田等常見的30 種車標(biāo)進(jìn)行了實(shí)驗(yàn)測(cè)試，實(shí)驗(yàn)結(jié)果表明該方法在不同環(huán)境下對(duì)車標(biāo)的檢測(cè)速度較快，精度高達(dá)99%，且在不同光照、對(duì)比度、強(qiáng)度、噪聲等不利因素下仍能取得較高的識(shí)別率，其中車標(biāo)模板庫(kù)的全面使得該系統(tǒng)可應(yīng)對(duì)新型車標(biāo)的識(shí)別。實(shí)驗(yàn)表明本文對(duì)車標(biāo)的檢測(cè)和識(shí)別方法仍然存在改進(jìn)之處：

1）模板匹配對(duì)圖片預(yù)處理使得識(shí)別速度減慢，后期應(yīng)考慮如何提高模板匹配速率；

2）本文的基于深度學(xué)習(xí)的車標(biāo)檢測(cè)和模板匹配方法只關(guān)注一張圖像上只有一輛車的車標(biāo)檢測(cè)和識(shí)別，在以后的擴(kuò)展中，可能會(huì)用到視頻中，對(duì)視頻中每一幀進(jìn)行處理，在同一幀中同時(shí)識(shí)別出多輛車的多個(gè)車標(biāo)；

3）該方法只關(guān)注白天或光線不太暗時(shí)車標(biāo)的識(shí)別，以后可能會(huì)考慮夜間燈光下車標(biāo)的檢測(cè)和識(shí)別。