基于深度學(xué)習(xí)的車(chē)檢圖像多目標(biāo)檢測(cè)與識(shí)別

歐巧鳳，肖佳兵，謝群群，熊邦書(shū)

南昌航空大學(xué)圖像處理與模式識(shí)別江西省重點(diǎn)實(shí)驗(yàn)室，江西南昌330063

近年來(lái)，各城市機(jī)動(dòng)車(chē)數(shù)量劇增，而車(chē)管所主要采用人工確認(rèn)的辦法對(duì)車(chē)輛外觀進(jìn)行年檢，該方法效率低，檢測(cè)時(shí)間長(zhǎng)，給車(chē)主帶來(lái)極大不便。當(dāng)前目標(biāo)檢測(cè)與識(shí)別方法研究成果豐富，但是尚未有專(zhuān)門(mén)針對(duì)車(chē)檢圖像的多目標(biāo)檢測(cè)與識(shí)別方法。車(chē)檢場(chǎng)景下，待檢測(cè)與識(shí)別的一級(jí)目標(biāo)為車(chē)頭、輪胎、車(chē)牌及三角形標(biāo)志，二級(jí)目標(biāo)為車(chē)牌關(guān)鍵點(diǎn)坐標(biāo)、車(chē)牌底色及車(chē)牌字符。隨著智能交通系統(tǒng)[1]的發(fā)展，車(chē)檢場(chǎng)景下的多目標(biāo)檢測(cè)與識(shí)別也是亟待研究的內(nèi)容之一。

傳統(tǒng)的目標(biāo)檢測(cè)與識(shí)別方法一般分為3 個(gè)階段：1）在給定的圖像上選擇一些候選區(qū)域，2）對(duì)這些候選區(qū)域進(jìn)行特征提取，3）使用訓(xùn)練后的分類(lèi)器對(duì)目標(biāo)進(jìn)行分類(lèi)。常用的分類(lèi)特征包括LBP[2]、SURF[3]、Harr[4]、HOG[5]及其多種改進(jìn)版本。這些特征存在兩個(gè)問(wèn)題：基于滑動(dòng)窗口的特征提取時(shí)間復(fù)雜度高，窗口冗余；人工設(shè)計(jì)的特征提取方法對(duì)于圖像的多樣性并沒(méi)有很好的魯棒性。因此，傳統(tǒng)的基于上述分類(lèi)特征的車(chē)牌檢測(cè)與識(shí)別方法[6-7]效率較低，且容易受光照不均和噪聲的影響，魯棒性較差。

近年來(lái)，基于深度學(xué)習(xí)[8]的目標(biāo)檢測(cè)與識(shí)別方法迅速發(fā)展，其中常見(jiàn)方法可分為兩類(lèi)：一類(lèi)是先由算法產(chǎn)生一系列候選框，包含目標(biāo)大概位置信息，然后對(duì)候選區(qū)域進(jìn)行分類(lèi)和位置精定位，典型算法有RCNN[9]、Fast R-CNN[10]及Faster R-CNN[11]等；另一類(lèi)是直接得到物體位置坐標(biāo)和類(lèi)別概率，典型算法有SSD[12]、YOLO[13]等。相比于傳統(tǒng)方法，基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別方法具備更強(qiáng)的適應(yīng)性?，F(xiàn)有的基于深度學(xué)習(xí)的目標(biāo)檢測(cè)與識(shí)別算法[14]已成功應(yīng)用于卡口、道路及監(jiān)控等場(chǎng)景下的車(chē)牌檢測(cè)與識(shí)別，但尚未有適用于車(chē)檢圖像的多目標(biāo)檢測(cè)與識(shí)別方法。

據(jù)此，本文提出基于深度神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)車(chē)檢圖像中車(chē)頭、輪胎、三角形標(biāo)志、車(chē)牌的檢測(cè)方法，以及車(chē)牌底色和字符的識(shí)別方法，相比于傳統(tǒng)方法具有更好的魯棒性、更高的檢測(cè)和識(shí)別精度，且能用于實(shí)際車(chē)檢場(chǎng)景以提高車(chē)檢的效率。

1 方 法

本文方法由一級(jí)目標(biāo)檢測(cè)、車(chē)牌關(guān)鍵點(diǎn)定位、車(chē)牌校正、車(chē)牌底色及字符識(shí)別4 個(gè)步驟組成，如圖1所示。

圖1 方法流程示意圖Figure 1 Schematic diagram of the proposed method

具體步驟如下：

步驟1將原始的車(chē)檢圖像輸入到輕量級(jí)神經(jīng)網(wǎng)絡(luò)YOLOv3-LITE[15]中，對(duì)車(chē)檢圖像中的一級(jí)目標(biāo)（車(chē)頭、輪胎、車(chē)牌及三角形標(biāo)志）進(jìn)行檢測(cè)與識(shí)別；

步驟2采用多任務(wù)級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)[16]（multi-task cascaded convolutional neural networks,MTCNN）實(shí)現(xiàn)車(chē)牌4 個(gè)關(guān)鍵點(diǎn)定位；

步驟3利用車(chē)牌4 個(gè)關(guān)鍵點(diǎn)坐標(biāo)，結(jié)合目標(biāo)車(chē)牌圖像高寬先驗(yàn)，采用透視變換，對(duì)車(chē)牌進(jìn)行校正；

步驟4將校正后的車(chē)牌圖像分別輸入到卷積神經(jīng)網(wǎng)絡(luò)（convolutional neural network,CNN）和卷積循環(huán)神經(jīng)網(wǎng)絡(luò)[17-18]（convolutional recurrent neural network,C-RNN）中，得到車(chē)牌底色分類(lèi)及字符識(shí)別結(jié)果。

1.1 一級(jí)目標(biāo)檢測(cè)

車(chē)檢圖像中要檢測(cè)的一級(jí)目標(biāo)包括車(chē)頭、輪胎、車(chē)牌及三角形標(biāo)志。采用YOLOv3-LITE算法對(duì)車(chē)檢圖像中的一級(jí)目標(biāo)進(jìn)行檢測(cè)與識(shí)別。YOLOv3-LITE 是利用MobileNet-v2[19]作為YOLOv3[20]骨干網(wǎng)絡(luò)的改進(jìn)版，其推理速度快，模型占用內(nèi)存小，識(shí)別準(zhǔn)確率高。

在檢測(cè)和識(shí)別車(chē)檢圖像不同尺度的目標(biāo)時(shí)所使用的YOLOv3-LITE 網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。具體地，將車(chē)檢圖像縮放到416×416 的尺寸，輸入到由1 個(gè)Bottleneck/1 和6 個(gè)Bottleneck/6 組成的MobileNet-v2 網(wǎng)絡(luò)中，其中Bottleneck 為深度可分離卷積塊與殘差網(wǎng)絡(luò)的集合，1 和6 代表中間通道數(shù)相對(duì)于輸入通道的倍增系數(shù)。MobileNet-v2 輸出13×13 的特征圖，再經(jīng)過(guò)若干次1×1 的卷積和3×3 的卷積后，得到13×13 特征圖的預(yù)測(cè)輸出，具有較大尺寸的感受野，適合檢測(cè)車(chē)頭較大尺寸的目標(biāo)；對(duì)13×13 的特征圖進(jìn)行上采樣，得到26×26 的特征圖，經(jīng)過(guò)若干次1×1 的卷積和3×3 的卷積后，得到26×26 特征圖的預(yù)測(cè)輸出，具有中等尺寸的感受野，適合檢測(cè)輪胎及三角形標(biāo)志等中等尺寸的目標(biāo)；對(duì)26×26 的特征圖進(jìn)行上采樣，得到52×52 的特征圖，經(jīng)過(guò)若干次1×1 的卷積和3×3 的卷積后，得到52×52 特征圖的預(yù)測(cè)輸出，具有較小尺寸的感受野，適合檢測(cè)車(chē)牌等較小尺寸的目標(biāo)。

圖2 用于不同尺度目標(biāo)檢測(cè)的YOLOv3-LITE 網(wǎng)絡(luò)結(jié)構(gòu)Figure 2 YOLOv3-LITE network structure for target detection at different scales

1.2 車(chē)牌關(guān)鍵點(diǎn)定位

對(duì)車(chē)牌進(jìn)行定位后，為了降低不同方位車(chē)牌字符識(shí)別的任務(wù)難度，先檢測(cè)車(chē)牌的4 個(gè)角點(diǎn)并將其作為關(guān)鍵點(diǎn)，再對(duì)車(chē)牌進(jìn)行幾何校正。MTCNN[16]是多任務(wù)的級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)，用于人臉檢測(cè)和人臉關(guān)鍵點(diǎn)定位，其模型占用內(nèi)存小，檢測(cè)速度快，且具有較高的檢測(cè)精度及關(guān)鍵點(diǎn)定位精度。采用MTCNN 算法，實(shí)現(xiàn)不同方位車(chē)牌的關(guān)鍵點(diǎn)定位。

圖3為MTCNN 算法網(wǎng)絡(luò)結(jié)構(gòu)及設(shè)計(jì)參數(shù)，由P-Net、R-Net 及O-Net 3 個(gè)級(jí)聯(lián)的卷積神經(jīng)網(wǎng)絡(luò)組成。具體工作步驟如下：

圖3 車(chē)牌關(guān)鍵點(diǎn)定位的MTCNN 網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)Figure 3 MTCNN network structure and parameters for key point positioning of license plate

步驟1將經(jīng)過(guò)粗定位后的車(chē)牌隨機(jī)裁剪成不同尺度，由于車(chē)牌實(shí)際長(zhǎng)寬比約為3∶1，將其縮放成36×12 大?。?/p>

步驟2將車(chē)牌圖像輸入到P-Net，用于獲取含車(chē)牌的候選框，采用非極大值抑制（nonmaximum suppression,NMS）算法去除部分冗余框，初步得到一些含車(chē)牌的候選框；

步驟3將P-Net 得到的候選框輸入到R-Net 以進(jìn)一步細(xì)化，通過(guò)NMS 算法去除部分冗余框，得到含大量車(chē)牌的候選框，且冗余框更少；

步驟4將R-Net 得到的候選框輸入到O-Net，既可以對(duì)車(chē)牌候選框進(jìn)一步細(xì)化，又可以輸出車(chē)牌4 個(gè)關(guān)鍵點(diǎn)坐標(biāo)。

MTCNN 算法有3 個(gè)輸出，即：是否為車(chē)牌、車(chē)牌檢測(cè)框坐標(biāo)及車(chē)牌關(guān)鍵點(diǎn)坐標(biāo)，對(duì)應(yīng)3個(gè)損失函數(shù)。

是否為車(chē)牌是一個(gè)二分類(lèi)問(wèn)題，使用常見(jiàn)的交叉熵?fù)p失作為損失函數(shù)，其公式為

式中：pi是樣本xi為車(chē)牌的概率，(0,1) 是樣本標(biāo)簽。

車(chē)牌檢測(cè)是一個(gè)回歸問(wèn)題，回歸邊界框的左上角坐標(biāo)、高和寬的值。計(jì)算每一個(gè)候選框檢測(cè)值與其邊框標(biāo)簽值的歐氏距離，通過(guò)最小化歐氏距離回歸損失，損失函數(shù)公式為

車(chē)牌關(guān)鍵點(diǎn)定位和車(chē)牌邊框回歸類(lèi)似，計(jì)算候選點(diǎn)檢測(cè)值與標(biāo)簽值的歐氏距離，通過(guò)最小化歐氏距離回歸損失，損失函數(shù)公式為

式中：是候選車(chē)牌4 個(gè)關(guān)鍵點(diǎn)的檢測(cè)值，是車(chē)牌4 個(gè)關(guān)鍵點(diǎn)的標(biāo)簽值，因此R8。

將3 個(gè)損失函數(shù)進(jìn)行加權(quán)累加，得到總損失函數(shù)Ltotal，其公式為

式中：N是訓(xùn)練樣本數(shù)，αj表示不同任務(wù)的重要性，0,1}表示樣本標(biāo)簽，為對(duì)應(yīng)式(1)～(3) 中的3 類(lèi)損失函數(shù)。P-Net 和R-Net 更關(guān)注車(chē)牌分類(lèi)及車(chē)牌檢測(cè)的準(zhǔn)確性，在P-Net和R-Net 中設(shè)置adet=1，αbox=1，αlandmark=0。O-Net 更關(guān)注車(chē)牌關(guān)鍵點(diǎn)定位的準(zhǔn)確性，在O-Net 中設(shè)置adet=0.5，αbox=0.5，αlandmark=1。

1.3 車(chē)牌校正

車(chē)檢場(chǎng)景下，相機(jī)安裝位置不同使得車(chē)牌圖像存在不同的投影畸變，為了簡(jiǎn)化車(chē)牌字符識(shí)別任務(wù)，需對(duì)車(chē)牌進(jìn)行校正。利用車(chē)牌4 個(gè)關(guān)鍵點(diǎn)坐標(biāo)，結(jié)合目標(biāo)車(chē)牌高寬先驗(yàn)，采用透視變換對(duì)其進(jìn)行校正。透視變換是將原始圖像通過(guò)透視變換矩陣投影到一個(gè)新的視平面，也稱(chēng)作投影映射。透視變換公式為

式中：[x y1]T為原始車(chē)牌圖像的像素點(diǎn)坐標(biāo)，[X Y1]T為校正后車(chē)牌圖像的像素點(diǎn)坐標(biāo)，w為比例因子。

令透視變換參數(shù)a33=1，車(chē)牌的4 對(duì)關(guān)鍵點(diǎn)坐標(biāo)為(x1,y1)、(x2,y2)、(x3,y3)、(x4,y4)，變換為對(duì)應(yīng)點(diǎn)的坐標(biāo)為(0,0)、(128,0)、(128,32)、(0,32)，將變換前后的坐標(biāo)代入式(5)，可得8 個(gè)方程，進(jìn)而可求出透視變換矩陣A=[a11,a12,a13,a21,a22,a23,a31,a32,a33]。以車(chē)牌區(qū)域圖像的像素坐標(biāo)作為輸入，利用透視變換矩陣，可得校正后的車(chē)牌圖像。

1.4 車(chē)牌底色識(shí)別

車(chē)檢場(chǎng)景中，待識(shí)別車(chē)牌底色分為藍(lán)、黃、綠、白、黑5 種。因此，車(chē)檢場(chǎng)景中車(chē)牌底色的識(shí)別可以看作是一個(gè)分類(lèi)問(wèn)題，一共可分為5 類(lèi)。表1為車(chē)牌底色識(shí)別網(wǎng)絡(luò)模型參數(shù)，其中K表示卷積核大小，S表示卷積核移動(dòng)步長(zhǎng)，P表示填充大小。網(wǎng)絡(luò)模型參數(shù)包含4 個(gè)卷積層、4 個(gè)池化層和1 個(gè)全連接層，每個(gè)卷積核的大小為3×3，步長(zhǎng)為1×1，每個(gè)池化層的大小為2×2，步長(zhǎng)為2×2，全連接層神經(jīng)元為512 個(gè)，Softmax 層共有5 個(gè)輸出，對(duì)應(yīng)5 種車(chē)牌底色。

表1 車(chē)牌底色識(shí)別網(wǎng)絡(luò)模型參數(shù)Table 1 Network model parameters of license plate background color recognition

車(chē)牌底色識(shí)別是一個(gè)多分類(lèi)問(wèn)題，假設(shè)卷積神經(jīng)網(wǎng)絡(luò)實(shí)際輸出的Softmax 值為q，目標(biāo)分布為p，當(dāng)目標(biāo)類(lèi)別為j時(shí)，pj=1，否則pj=0，其損失函數(shù)使用常見(jiàn)的交叉熵?fù)p失，損失函數(shù)公式為

式中：K為一次處理車(chē)牌圖像的總數(shù)，k為當(dāng)前處理的車(chē)牌圖像，j所屬的類(lèi)別為5 種車(chē)牌底色。

1.5 車(chē)牌字符識(shí)別

用車(chē)牌圖像及其對(duì)應(yīng)的標(biāo)簽序列對(duì)C-RNN[17]進(jìn)行訓(xùn)練，實(shí)現(xiàn)端到端的車(chē)牌字符識(shí)別，圖4為車(chē)牌字符識(shí)別流程圖。首先，輸入校正后的車(chē)牌圖像，采用CNN 進(jìn)行特征提取，CNN輸出的特征圖被轉(zhuǎn)換為一維特征向量x1,x2,···,xL。然后，將一維特征向量序列輸入到雙向長(zhǎng)短時(shí)記憶（bi-directional long short term memory,BiLSTM）中，使用Adam（adaptive moment estimation）和反向傳播（back propagation,BP）算法訓(xùn)練CRNN 模型，并標(biāo)記序列特征，得到特征向量對(duì)應(yīng)的概率P1,P2,···,PL。最后，將聯(lián)結(jié)主義時(shí)間分類(lèi)（connectionist temporal classification,CTC）應(yīng)用于BiLSTM 的輸出層，對(duì)BiLSTM 輸出的概率進(jìn)行轉(zhuǎn)錄，得到最終車(chē)牌字符識(shí)別結(jié)果。

圖4 車(chē)牌字符識(shí)別流程圖Figure 4 Flowchart of license plate character recognition

車(chē)牌字符識(shí)別網(wǎng)絡(luò)模型參數(shù)如表2所示。車(chē)牌字符識(shí)別模型包括4 個(gè)卷積層及4 個(gè)池化層，每個(gè)卷積核的大小均為3×3，步長(zhǎng)為1×1，每個(gè)池化層的大小為2×2，步長(zhǎng)為2×2，經(jīng)過(guò)4 次卷積和池化操作之后，將特征圖輸入到BiLSTM，BiLSTM 通過(guò)組合上下文信息，對(duì)車(chē)牌字符進(jìn)行識(shí)別。

表2 車(chē)牌字符識(shí)別網(wǎng)絡(luò)模型參數(shù)Table 2 Network model parameters of license plate character recognition

網(wǎng)絡(luò)的輸入是圖像和圖像的序列標(biāo)簽信息，用X={Ii,Li}表示訓(xùn)練數(shù)據(jù)集，其中Ii為單幅訓(xùn)練圖像，Li為對(duì)應(yīng)該圖像的標(biāo)簽序列。優(yōu)化的目標(biāo)是使下列負(fù)對(duì)數(shù)的條件概率最?。?/p>

式中：yi表示C-RNN 從Ii中預(yù)測(cè)得到的概率分布序列。

2 實(shí)驗(yàn)結(jié)果及分析

2.1 數(shù)據(jù)說(shuō)明

目前沒(méi)有公開(kāi)的車(chē)檢場(chǎng)景數(shù)據(jù)集，本文的實(shí)驗(yàn)數(shù)據(jù)來(lái)源于某車(chē)檢設(shè)備生產(chǎn)公司，包含不同方位車(chē)檢圖像19 125 幅，且不同方位車(chē)檢圖像樣本數(shù)量并不均勻。首先，采用旋轉(zhuǎn)、平移及鏡像等操作對(duì)樣本量較少的圖像進(jìn)行增強(qiáng)，使得各方位下的車(chē)檢圖像樣本數(shù)量基本一致，從而避免樣本不均導(dǎo)致訓(xùn)練出的模型泛化性能不佳。然后，對(duì)數(shù)據(jù)集進(jìn)行統(tǒng)一標(biāo)注，標(biāo)注的信息主要有車(chē)頭、輪胎、車(chē)牌、三角形標(biāo)志左上角和右下角坐標(biāo)，以及車(chē)牌4 對(duì)關(guān)鍵點(diǎn)坐標(biāo)。其中80% 的樣本用于模型訓(xùn)練，剩余20% 的樣本用于模型測(cè)試。

利用公開(kāi)的車(chē)牌數(shù)據(jù)集（http://www.openits.cn/openData4/569.jhtml）驗(yàn)證本文車(chē)牌識(shí)別方法的優(yōu)越性。上述車(chē)牌數(shù)據(jù)集包含不同省市及不同類(lèi)型的車(chē)牌圖像共1 402 幅，開(kāi)源車(chē)牌圖像均選自道路卡口高清圖像，每幅圖像只包含一個(gè)車(chē)牌。

2.2 實(shí)驗(yàn)平臺(tái)

實(shí)驗(yàn)所使用的計(jì)算機(jī)硬件配置如下：CPU 為Intel?CoreTMi7-8700K@3.7GHz，GPU 為NVIDA GTX1080Ti@11GB，RAM 為32 GB。在Linux Ubuntu 16.04 操作系統(tǒng)上，基于Caffe 深度學(xué)習(xí)框架，采用Python2.7 編程實(shí)現(xiàn)本文模型并完成模型的訓(xùn)練和驗(yàn)證，另外使用CUDA9.0 的并行計(jì)算框架，CUDNN v7.0 的深度神經(jīng)網(wǎng)絡(luò)加速庫(kù)。

2.3 模型訓(xùn)練

采用Adam 算法訓(xùn)練YOLOv3-LITE，設(shè)置批處理樣本數(shù)為32，沖量為0.9，最大迭代次數(shù)為6×104次，初始學(xué)習(xí)率為1×10-3，每5 000 次迭代后衰減一次，每間隔100 次迭代后保存一次訓(xùn)練模型，選取精度最高模型。

采用隨機(jī)梯度下降算法（stochastic gradient descent,SGD）訓(xùn)練MTCNN 中的P-Net、RNet 及O-Net，設(shè)置批處理樣本數(shù)為256，沖量為0.9，初始學(xué)習(xí)率為1×10-4，最大迭代次數(shù)為5×105，每10 000 次迭代后衰減一次，每間隔1 000 次迭代后保存一次訓(xùn)練模型。

采用SGD 算法訓(xùn)練車(chē)牌底色識(shí)別網(wǎng)絡(luò)，設(shè)置批處理樣本數(shù)為256，沖量為0.9，初始學(xué)習(xí)率為1×10-4，最大迭代次數(shù)為5×104，每10 000 次迭代后衰減一次，每間隔1 000 次迭代后保存一次模型。

采用Adam 算法訓(xùn)練車(chē)牌字符識(shí)別模型，設(shè)置批處理樣本數(shù)為32，沖量為0.9，最大迭代次數(shù)為6×104，初始學(xué)習(xí)率為1×10-3，每10 000 次迭代后衰減一次，每間隔1 000 次迭代后保存一次模型。

2.4 評(píng)價(jià)指標(biāo)

利用預(yù)測(cè)框與真實(shí)框的交并比（intersection over union,IoU）判定目標(biāo)檢測(cè)的有效性，公式為

式中：Rdet代表預(yù)測(cè)框，Rgt代表真實(shí)框，IoU 定義為預(yù)測(cè)框與真實(shí)框的交集及并集的比值。

為了量化模型的檢測(cè)與識(shí)別效果，通過(guò)精確率P和召回率R進(jìn)行量化，計(jì)算公式分別為

式中：Tp表示能正確檢測(cè)到目標(biāo)的數(shù)量，F(xiàn)p表示誤把非目標(biāo)檢測(cè)為目標(biāo)的數(shù)量，F(xiàn)N表示誤把目標(biāo)檢測(cè)為背景的數(shù)量。

平均精度AP 反映單一目標(biāo)的檢測(cè)結(jié)果，其公式為

式中：p(r) 表示精確率與召回率的映射關(guān)系。

所有類(lèi)別平均精度均值（mean average precision,mAP）能夠反映總體的目標(biāo)檢測(cè)與識(shí)別效果，其計(jì)算公式為

式中：n表示類(lèi)別數(shù)，i表示某個(gè)類(lèi)別。

2.5 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證方法的有效性，在實(shí)驗(yàn)平臺(tái)上對(duì)模型進(jìn)行測(cè)試。當(dāng)檢測(cè)框與真實(shí)框的IOU 大于0.7 時(shí)，認(rèn)為一級(jí)目標(biāo)檢測(cè)結(jié)果正確，否則視為未檢測(cè)出一級(jí)目標(biāo)。將IOU 設(shè)置為0.7時(shí)，一級(jí)目標(biāo)檢測(cè)與識(shí)別結(jié)果如表3所示，車(chē)頭、輪胎、車(chē)牌及三角形標(biāo)志AP 值分別為98.42%、98.67%、99.68%、99.05%，其mAP 值為98.96%。

表3 一級(jí)目標(biāo)的檢測(cè)與識(shí)別結(jié)果Table 3 Detection and recognition results of primary target %

將IoU 設(shè)置為0.5 時(shí)，二級(jí)目標(biāo)檢測(cè)與識(shí)別結(jié)果如表4所示，車(chē)牌關(guān)鍵點(diǎn)定位、車(chē)牌底色識(shí)別及車(chē)牌字符識(shí)別AP 值分別為99.76%、99.93% 及99.37%。

表4 二級(jí)目標(biāo)的檢測(cè)與識(shí)別結(jié)果Table 4 Detection and recognition results of secondary target %

為了便于將本文模型用于車(chē)檢場(chǎng)景，在不損失精度的情況下，通過(guò)CMake 和VS2019 將MNN[21]編譯成動(dòng)態(tài)鏈接庫(kù)，在Windows10 操作系統(tǒng)上進(jìn)行部署。阿里巴巴開(kāi)源的一款高效且輕量的深度神經(jīng)網(wǎng)絡(luò)推理引擎MNN，能將深度學(xué)習(xí)模型部署到不同的硬件平臺(tái)上。模型部署所使用的計(jì)算機(jī)硬件配置主要如下：CPU 為Intel?CoreTMi5-4200H@2.80GH，RAM 為8 GB。

圖5為車(chē)檢圖像多目標(biāo)檢測(cè)與識(shí)別結(jié)果。圖中，紅色框?yàn)橐患?jí)目標(biāo)檢測(cè)與識(shí)別結(jié)果，黃色圓點(diǎn)為車(chē)牌4 個(gè)關(guān)鍵點(diǎn)定位結(jié)果，黃色文字為車(chē)牌底色及字符識(shí)別結(jié)果。圖5中，(a) 和(b) 均為左前方檢測(cè)與識(shí)別結(jié)果，(c) 為右前方檢測(cè)與識(shí)別結(jié)果，(d) 為右后方檢測(cè)與識(shí)別結(jié)果，(e) 為正后方檢測(cè)與識(shí)別結(jié)果，(f) 為制動(dòng)情況下，右后方檢測(cè)與識(shí)別結(jié)果。在CPU 端，一級(jí)目標(biāo)與二級(jí)目標(biāo)的平均識(shí)別精度為98.03%。

圖5 車(chē)檢圖像多目標(biāo)檢測(cè)與識(shí)別結(jié)果Figure 5 Multi-target detection and recognition results of vehicle inspection images

表5給出了檢測(cè)和識(shí)別不同目標(biāo)所需要的時(shí)間。其中：利用YOLOv3-LITE 對(duì)一級(jí)目標(biāo)進(jìn)行檢測(cè)與識(shí)別的時(shí)間為45.45 ms，利用MTCNN 對(duì)車(chē)牌關(guān)鍵點(diǎn)進(jìn)行定位的時(shí)間為32.27 ms，利用CNN 對(duì)車(chē)牌進(jìn)行底色檢測(cè)與識(shí)別的時(shí)間為9.34 ms，利用CRNN 對(duì)車(chē)牌字符進(jìn)行檢測(cè)與識(shí)別的時(shí)間為12.73 ms，完成一級(jí)目標(biāo)與二級(jí)目標(biāo)所需要的總時(shí)間為99.79 ms，則平均檢測(cè)與識(shí)別速度為10 幀/s。

表5 對(duì)不同目標(biāo)進(jìn)行檢測(cè)與識(shí)別的時(shí)間Table 5 Time of detecting and recognizing different targets ms

目前尚未有文獻(xiàn)開(kāi)展車(chē)檢圖像的多目標(biāo)檢測(cè)與識(shí)別方法研究，車(chē)牌檢測(cè)及車(chē)牌字符識(shí)別作為本文方法的重要組成部分，研究成果較多。因此，用公開(kāi)數(shù)據(jù)集測(cè)試本文模型在車(chē)牌檢測(cè)與車(chē)牌字符識(shí)別上的效果，并與現(xiàn)有車(chē)牌檢測(cè)與車(chē)牌字符識(shí)別方法進(jìn)行對(duì)比。本方法檢測(cè)效果如圖6所示，紅色框?yàn)檐?chē)牌檢測(cè)結(jié)果，黃色圓點(diǎn)為車(chē)牌精定位檢測(cè)結(jié)果，黃色文字為車(chē)牌底色及車(chē)牌字符識(shí)別結(jié)果。

圖6 公開(kāi)數(shù)據(jù)集檢測(cè)和識(shí)別結(jié)果Figure 6 Detection and recognition results of public data set

本文方法的車(chē)牌檢測(cè)與車(chē)牌字符識(shí)別平均精度為98.81%，比現(xiàn)有方法精度有所提高，如表6所示。

表6 不同方法的精度對(duì)比結(jié)果Table 6 Accuracy comparison results of different methods %

3 結(jié) 語(yǔ)

本文提出了一種基于深度學(xué)習(xí)的車(chē)檢圖像多目標(biāo)檢測(cè)與識(shí)別方法，通過(guò)一級(jí)目標(biāo)和二級(jí)目標(biāo)檢測(cè)網(wǎng)絡(luò)級(jí)聯(lián)，構(gòu)建了端到端的車(chē)檢圖像多目標(biāo)檢測(cè)與識(shí)別網(wǎng)絡(luò)。車(chē)檢圖像中一級(jí)目標(biāo)的檢測(cè)與識(shí)別的平均精度為98.93%；二級(jí)目標(biāo)檢測(cè)和識(shí)別的整體精度為99.06%；從而可知該算法端到端的多目標(biāo)識(shí)別精度達(dá)98.03%，滿足自動(dòng)車(chē)檢場(chǎng)景的精度要求；采用阿里推理引擎MNN，將訓(xùn)練好的網(wǎng)絡(luò)模型部署到CPU 端，然后應(yīng)用到真實(shí)車(chē)檢場(chǎng)景，在816×612 的車(chē)檢圖像上，多目標(biāo)檢測(cè)與識(shí)別的平均速度為10 幀/s，能滿足快速和自動(dòng)車(chē)輛外觀檢測(cè)的速度需求。