基于深度學(xué)習(xí)的輕量化車牌檢測算法研究

杜銘輝，吳林煌，蘇 喆

（福州大學(xué) 物理與信息工程學(xué)院，福建 福州 350108）

0 引言

自動(dòng)車牌識(shí)別系統(tǒng)是智慧城市的重要分支之一，廣泛應(yīng)用于交通管理、安防監(jiān)控、智能停車等領(lǐng)域[1]。車牌是車輛的重要信息載體，為車輛提供唯一的身份標(biāo)識(shí)。自動(dòng)車牌識(shí)別系統(tǒng)一般分為車牌檢測、車牌字符分割和車牌字符識(shí)別等子模塊。首先，將圖像輸入到車牌檢測網(wǎng)絡(luò)中進(jìn)行車牌定位，然后將車牌定位的區(qū)域輸入車牌字符識(shí)別中進(jìn)行車牌編號(hào)識(shí)別。車牌的準(zhǔn)確檢測對(duì)于下游的車牌識(shí)別任務(wù)具有至關(guān)重要的影響，高性能的車牌檢測器是自動(dòng)車牌識(shí)別系統(tǒng)的關(guān)鍵組成部分。

近年來，隨著計(jì)算機(jī)硬件的快速發(fā)展，基于深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)模型已經(jīng)成為解決車牌檢測、識(shí)別等計(jì)算機(jī)視覺問題的最佳工具。借助卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks，CNN）的特征提取能力，車牌檢測任務(wù)在性能上取得顯著的提升，但是也存在一定的局限性[2]。具體來說，更好的車牌檢測性能往往意味著更深的網(wǎng)絡(luò)模型，然而網(wǎng)絡(luò)模型的加深不可避免會(huì)帶來模型參數(shù)量及計(jì)算量的成倍增長，不利于移動(dòng)端的部署，實(shí)時(shí)性差。

鑒于當(dāng)前車牌檢測方法存在的問題，文章提出一種基于深度學(xué)習(xí)的輕量化車牌檢測算法。該方法以PP-LCNet作為骨干網(wǎng)絡(luò)，減少模型參數(shù)量，提高計(jì)算效率。同時(shí)，融入壓縮-激勵(lì)網(wǎng)絡(luò)（Squeeze-and-Excitation Networks，SE-Net）注意力[3]、SimSPPF[4]和GSConv[5]，提高了車牌檢測的準(zhǔn)確率，從而在準(zhǔn)確性和速度之間取得平衡。

1 車牌檢測網(wǎng)絡(luò)

1.1 算法概述

基于深度學(xué)習(xí)的目標(biāo)檢測算法分為單階段和兩階段檢測算法。單階段檢測算法檢測速度快，具有更好的實(shí)時(shí)性[6]。兩階段檢測算法檢測精度高，但實(shí)時(shí)性遠(yuǎn)不如單階段檢測算法。為獲得更好的實(shí)時(shí)性，文章的車牌檢測算法采用單階段檢測方法。輕量化車牌檢測網(wǎng)絡(luò)（Lightweight License Plate Detection Networks，LW-LPDNet）結(jié)構(gòu)如圖1所示。

圖1 LW-LPDNet結(jié)構(gòu)

1.2 PP-LCNet

深度卷積神經(jīng)網(wǎng)絡(luò)通過增加網(wǎng)絡(luò)模型深度和復(fù)雜度，在計(jì)算機(jī)視覺任務(wù)中表現(xiàn)出出色的性能。但是在計(jì)算資源受限的移動(dòng)端設(shè)備上，復(fù)雜模型的參數(shù)量過大會(huì)導(dǎo)致推理速度慢，影響車牌檢測的實(shí)時(shí)性，使其難以在移動(dòng)端設(shè)備上部署[7]。輕量化網(wǎng)絡(luò)SqueezeNet、ShuffleNet、MobileNet等的出現(xiàn)，大幅減少了模型的參數(shù)量，使得模型在移動(dòng)端的部署成為可能。文章將PP-LCNet作為骨干網(wǎng)絡(luò)進(jìn)行分析。PP-LCNet是由百度提出的一種基于深度神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)內(nèi)核庫（Math Kernel Library for Deep Neural Networks，MKLDNN）加速策略的輕量化網(wǎng)絡(luò)，使用多個(gè)深度可分離卷積作為基本模塊疊加而成，同時(shí)采用Hard-Swish激活函數(shù)，降低了模型參數(shù)量和計(jì)算復(fù)雜度，提高了網(wǎng)絡(luò)的推理速度。跳躍連接帶來的通道拼接和逐元素相加操作會(huì)減慢模型的推理速度，而且也不會(huì)提高輕量化模型的精度。因此，PP-LCNet放棄使用跳躍連接，其推理速度可以超越其他輕量化網(wǎng)絡(luò)。PP-LCNet結(jié)構(gòu)如圖2所示。

圖2 PP-LCNet結(jié)構(gòu)

1.3 SE-Net

注意力機(jī)制是模仿人類視覺的方法，使得神經(jīng)網(wǎng)絡(luò)在處理輸入圖像時(shí)更加關(guān)注重要的特征，本質(zhì)上是對(duì)輸入權(quán)重分配的關(guān)注[8]。SE-Net注意力通過重新校準(zhǔn)通道特征來提高網(wǎng)絡(luò)的性能，可分為壓縮和激勵(lì)兩個(gè)階段。在壓縮階段，SE-Net通過壓縮特征圖得到每個(gè)通道的全局信息。在激勵(lì)階段，SE-Net通過一個(gè)全連接層將每個(gè)通道的全局信息映射成一個(gè)權(quán)重向量，再通過激活函數(shù)進(jìn)行歸一化，得到注意力權(quán)重向量，表示每個(gè)通道的重要性。最后，將注意力權(quán)重向量與原始特征圖相乘，得到加權(quán)特征圖，實(shí)現(xiàn)對(duì)通道特征的重新校準(zhǔn)。SE-Net注意力結(jié)構(gòu)如圖3所示。

圖3 SE注意力結(jié)構(gòu)

1.4 SimSPPF

SimSPPF是YOLOv6中提出的一種改進(jìn)的空間金字塔池化方法，具有比SPPF更快的推理速度[9]?？臻g金字塔池化專注于空間信息，通過將輸入的特征圖分為不同大小的區(qū)域，對(duì)每個(gè)區(qū)域進(jìn)行池化，最后將池化結(jié)果進(jìn)行拼接輸出。空間金字塔池化使得網(wǎng)絡(luò)可以處理不同尺寸的圖片，并融合了輸入的局部特征和全局特征，提升了網(wǎng)絡(luò)的感受野。SimSPPF結(jié)構(gòu)如圖4所示。

圖4 SimSPPF結(jié)構(gòu)

1.5 GSConv

GSConv是一種新的輕量化卷積技術(shù)，通過聯(lián)合使用標(biāo)準(zhǔn)卷積（Standard Convolution，SC）、深度可分離卷積（Depthwise Separable Convolution，DSC）和通道重排（Shuffle），保持準(zhǔn)確性的同時(shí)減輕了模型，在模型的準(zhǔn)確性和速度之間實(shí)現(xiàn)很好的平衡[10]。相比于DSC，GSConv得到的特征圖與SC更為相似，可以得到更接近于SC的性能，同時(shí)降低了計(jì)算量。GSConv通過添加DSC和Shuffle，增強(qiáng)了模型的非線性表達(dá)能力，相比于輕量化檢測模型具有明顯的優(yōu)勢(shì)。但是如果在模型的所有階段都使用GSConv，模型的網(wǎng)絡(luò)層會(huì)更深，這會(huì)顯著增加推理時(shí)間。檢測器頸部的特征圖通道尺寸達(dá)到最大值，寬度和高度尺寸達(dá)到最小值，冗余的重復(fù)信息較少，能夠最大限度地發(fā)揮GSConv的性能。因此，選擇僅在檢測器頸部使用GSConv，使得后續(xù)的SimSPPF模塊能夠取得更好的性能。GSConv結(jié)構(gòu)如圖5所示。

圖5 GSConv結(jié)構(gòu)

1.6 Mosaic數(shù)據(jù)增強(qiáng)

為了進(jìn)一步提高網(wǎng)絡(luò)的性能，在訓(xùn)練過程中使用Mosaic數(shù)據(jù)增強(qiáng)。Mosaic數(shù)據(jù)增強(qiáng)是YOLOv4中提出的，該方法會(huì)隨機(jī)選取4張圖像進(jìn)行數(shù)據(jù)增廣操作（翻轉(zhuǎn)、縮放、色域變換）后，拼接成1張新的圖像[11]。Mosaic數(shù)據(jù)增強(qiáng)使得網(wǎng)絡(luò)的訓(xùn)練樣本更為豐富，通過對(duì)圖片進(jìn)行數(shù)據(jù)增廣操作，引入多尺度信息，加強(qiáng)了對(duì)小目標(biāo)的檢測能力。同時(shí)，由于網(wǎng)絡(luò)需要從更多變化的背景中檢測目標(biāo)，大大提高了網(wǎng)絡(luò)的泛化能力。Mosaic數(shù)據(jù)增強(qiáng)后得到的圖像如圖6所示。

圖6 Mosaic數(shù)據(jù)增強(qiáng)圖像

2 相關(guān)實(shí)驗(yàn)

2.1 實(shí)驗(yàn)環(huán)境及參數(shù)設(shè)置

實(shí)驗(yàn)環(huán)境如表1所示。

表1 實(shí)驗(yàn)環(huán)境

進(jìn)行模型訓(xùn)練時(shí)，輸入圖像分辨率大小設(shè)置為640×640，批次大小設(shè)置為16。采用隨機(jī)梯度下降（Stochastic Gradient Descent，SGD）優(yōu)化器，初始學(xué)習(xí)率設(shè)置為0.01，動(dòng)量設(shè)置為0.937，訓(xùn)練40個(gè)迭代輪次。采用余弦學(xué)習(xí)率衰減（Cosine Learning Rate Decay，CLRD）策略進(jìn)行到最后一個(gè)迭代輪次時(shí)，學(xué)習(xí)率衰減到0.000 1。

2.2 數(shù)據(jù)集

實(shí)驗(yàn)選用中國城市停車數(shù)據(jù)集（Chinese City Paking Dataset，CCPD）進(jìn)行訓(xùn)練和測試[12]。CCPD數(shù)據(jù)集是目前國內(nèi)最大的車牌檢測識(shí)別數(shù)據(jù)集，劃分子集為CCPD-Base、CCPD-DB、CCPD-FN、CCPDRotate、CCPD-Tilt、CCPD-Blur、CCPD-Weather、CCPD-Challenge，提供超過25萬張的標(biāo)注圖片，每張車牌圖片的分辨率大小為720×1 160×3。實(shí)驗(yàn)將CCPD-Base均分為訓(xùn)練集和驗(yàn)證集，并將剩余的子集作為測試集測試網(wǎng)絡(luò)模型的性能。

2.3 評(píng)價(jià)指標(biāo)

實(shí)驗(yàn)采用平均精確度（Average Precision，AP）、每秒能處理的圖像張數(shù)（Frames Per Second，F(xiàn)PS）以及模型參數(shù)量作為評(píng)價(jià)指標(biāo)，其中AP為不同召回率下精度的平均值。評(píng)價(jià)指標(biāo)計(jì)算公式為

式中：MAP表示預(yù)測車牌樣本的平均精確度。

式中：PPrecision表示預(yù)測為車牌的樣本中實(shí)際車牌的比例，TP表示正確預(yù)測為車牌的樣本數(shù)，F(xiàn)P表示錯(cuò)誤預(yù)測為車牌的樣本數(shù)。

式中：RRecall表示實(shí)際為車牌的樣本中，被模型預(yù)測為車牌的比例，F(xiàn)N表示實(shí)際為車牌卻被錯(cuò)誤預(yù)測為背景的樣本數(shù)。

2.4 消融實(shí)驗(yàn)

為了驗(yàn)證提出方法的有效性，在測試集上進(jìn)行消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如表2所示。其中，“√”表示實(shí)驗(yàn)中使用的模塊。

表2 消融實(shí)驗(yàn)性能對(duì)比

從表2可以看出，當(dāng)實(shí)驗(yàn)使用PP-LCNet、SENet、SimSPPF、GSConv模塊時(shí)，實(shí)驗(yàn)結(jié)果皆有顯著提升。當(dāng)不再使用Mosaic數(shù)據(jù)增強(qiáng)時(shí)，檢測性能下降0.5%，驗(yàn)證了所提方法的有效性。

2.5 對(duì)比實(shí)驗(yàn)

將提出的方法與現(xiàn)有的車牌檢測算法進(jìn)行對(duì)比，結(jié)果如表3所示。

表3 不同算法在CCPD數(shù)據(jù)集上的性能對(duì)比

從表3可以看出，文章提出的方法在檢測性能上明顯優(yōu)于其他算法，且達(dá)到243 f·s-1的檢測速度，實(shí)時(shí)性高。LW-LPDNet方法檢測結(jié)果如圖7所示。

圖7 LW-LPDNet檢測結(jié)果

表4為文章提出的方法與不同車牌檢測算法的參數(shù)量對(duì)比，可以看出所提方法僅有0.13 MB的參數(shù)量，遠(yuǎn)低于現(xiàn)有大部分車牌檢測算法，能夠更好地實(shí)現(xiàn)在移動(dòng)端的部署。

表4 不同算法參數(shù)量對(duì)比

3 結(jié)語

針對(duì)自然環(huán)境中車牌檢測模型參數(shù)量過大、實(shí)時(shí)性差和檢測效果不佳等問題，提出一種輕量化車牌檢測模型。通過將PP-LCNet作為骨干網(wǎng)絡(luò)，解決了模型參數(shù)量過大、實(shí)時(shí)性差的問題；通過SENet注意力模塊，增加模型對(duì)車牌關(guān)鍵信息的關(guān)注度；通過引入SimSPPF與GSConv模塊，實(shí)現(xiàn)多尺度特征的融合，增大網(wǎng)絡(luò)感受野，進(jìn)一步提升車牌檢測的性能。與現(xiàn)有的車牌檢測算法相比，實(shí)驗(yàn)結(jié)果表明，文章方法在CCPD數(shù)據(jù)集上取得更好的檢測精度，平均準(zhǔn)確率達(dá)到98.90%，同時(shí)檢測速度達(dá)到243 f·s-1，實(shí)時(shí)性高。