基于深度學(xué)習(xí)圖像數(shù)據(jù)集評(píng)估的車牌檢測(cè)方法

摘? ?要：針對(duì)復(fù)雜道路背景中車牌檢測(cè)精度低的問題，提出一種基于深度學(xué)習(xí)的車牌檢測(cè)方法。該方法首先采用快速的基于區(qū)域卷積網(wǎng)絡(luò)方法（Faster R-CNN）在圖像中檢測(cè)出車輛區(qū)域，然后對(duì)每個(gè)車輛區(qū)域采用分層抽樣方法獲取該車輛區(qū)域中的車牌候選區(qū)域，最后采用訓(xùn)練的深度卷積神經(jīng)網(wǎng)絡(luò)過濾非平板候選項(xiàng)，定位車牌區(qū)域位置。這種基于車輛區(qū)域檢測(cè)的方法為車牌檢測(cè)提供尺度信息，限制搜索范圍，使車牌檢測(cè)更加可靠。文章利用Caltech和AOLP圖像數(shù)據(jù)集進(jìn)行評(píng)估算法的性能，實(shí)驗(yàn)表明，這種方法在準(zhǔn)確率、召回率、F-score性能方法都高于其他算法，可以應(yīng)用于不同場(chǎng)合下的車牌檢測(cè)問題。

關(guān)鍵詞：車牌檢測(cè);深度學(xué)習(xí);卷積神經(jīng)網(wǎng)絡(luò);條件約束

中圖分類號(hào)： TP391? ? ? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A

1 引言

隨著現(xiàn)代城市對(duì)智能交通方面的需求，車牌檢測(cè)在車流監(jiān)控、交通管理等許多實(shí)際領(lǐng)域中的應(yīng)用越來越廣泛，研究人員幾十年來提出了多種車牌檢測(cè)方法[1，2]。現(xiàn)有的許多算法在簡(jiǎn)單的場(chǎng)景中性能表現(xiàn)良好，但是在開放、復(fù)雜的工作環(huán)境中，因?yàn)榈缆穲?chǎng)景圖像受到拍攝條件（扭曲、模糊、光照、遮擋等）的影響和圖像中背景雜波（如植物、建筑、行人、道路指示牌等）的干擾，加上車牌區(qū)域面積在整個(gè)圖像中占比相對(duì)較小，使得車牌檢測(cè)仍是一個(gè)難題。

傳統(tǒng)的車牌檢測(cè)方法大致可分為邊緣檢測(cè)、顏色檢測(cè)、區(qū)域檢測(cè)和字符檢測(cè)四大類。首先，基于邊緣的方法[3，4]是利用車牌字符的重復(fù)垂直邊緣模式。這種方法可以有效地檢測(cè)到車牌位置，但對(duì)背景雜波和圖像模糊敏感，容易受到干擾導(dǎo)致精確度降低。其次，基于顏色的方法是將給定的圖像分割成顏色均勻的區(qū)域，利用車牌的幾何特性選取其中的車牌區(qū)域。該方法對(duì)視角畸變具有較強(qiáng)的魯棒性，但對(duì)光照變化特別敏感。第三，基于區(qū)域的方法通過提取紋理特征，對(duì)候選區(qū)域進(jìn)行分類。該方法可以處理許多道路場(chǎng)景的車牌檢測(cè)問題。最后，基于字符的方法是利用字符檢測(cè)器檢測(cè)車牌區(qū)域。由于近年來機(jī)器學(xué)習(xí)（例如CNNs）的發(fā)展，該方法表現(xiàn)出良好的性能，但由于道路場(chǎng)景圖像中人員、字符較多，仍存在誤報(bào)問題。

2 車牌檢測(cè)方法

車牌檢測(cè)就是在一張圖像中利用合適的矩形框定位出圖像內(nèi)所有的車牌位置。因此，本文提出的車牌檢測(cè)方法可以分解成三步：首先對(duì)輸入圖像進(jìn)行車輛檢測(cè)，其次利用分層抽樣方法獲取車牌候選區(qū)，最后過濾非平板候選項(xiàng)，定位車牌位置。本文提出的車牌檢測(cè)方法流程圖如圖1所示。圖1a表示輸入圖像，1b和1c是檢測(cè)車輛區(qū)域，排除背景雜波信息干擾，1d是在車輛區(qū)域內(nèi)進(jìn)行車牌搜索、檢測(cè)和定位。

2.1 車牌區(qū)域檢測(cè)

為了生成候選區(qū)域，本文采用了分層抽樣的方法，通過采用貪婪匹配融合程序，獲取一個(gè)全局區(qū)域。分層抽樣是一個(gè)對(duì)總體進(jìn)行抽樣的方法，首先將總體按照某種特征劃分為若干次級(jí)總體（層），然后再?gòu)拿恳粚觾?nèi)對(duì)次級(jí)總體進(jìn)行單純地隨機(jī)抽樣，組成新的樣本。分層抽樣可以將一個(gè)內(nèi)部變異很大的層分成一些內(nèi)部變異較小的層，從而提高總體指標(biāo)估計(jì)值的精確度。

車牌區(qū)域檢測(cè)首先使用基于圖形的分割方法生成初始區(qū)域，采用貪心算法對(duì)區(qū)域進(jìn)行迭代分組：利用基于顏色、紋理、大小和填充（合并區(qū)域形狀的特征）等特征計(jì)算所有相鄰區(qū)域之間的相似度，將兩個(gè)最相似的區(qū)域組合在一起;然后計(jì)算得到的區(qū)域與其他相鄰區(qū)域之間的新相似度;最后將相似區(qū)域分組合并的過程重復(fù)進(jìn)行，直到整個(gè)圖像變成一個(gè)單獨(dú)的區(qū)域。具體算法如下所示。

1）輸入圖像;

2）利用圖像分割算法生成初始區(qū)域，初始化相似度S=0;

3）選擇相鄰區(qū)域?qū)?，?jì)算兩者的相似度，;

4）若，令，合并相鄰區(qū)域?qū)?，去除關(guān)于和的相似度：和;

5）迭代第三步和第四步，直到S=0;

6）從R中的所有區(qū)域中提取車牌位置框L。

由于綜合考慮了區(qū)域之間的差異性和區(qū)域內(nèi)部的相似度問題，并且采用聚類方式對(duì)圖形中的頂點(diǎn)進(jìn)行分割，因此可以獲取邊界保持良好的車牌候選區(qū)域：

其中，表示第i個(gè)區(qū)域的邊界框，N為候選區(qū)域的個(gè)數(shù)。在合并過程后出現(xiàn)的區(qū)域均可認(rèn)為是候選區(qū)域，如圖2所示。

2.2 車牌分類

給定一個(gè)車輛區(qū)域和R（該區(qū)域中的一組候選區(qū)域），利用該車輛區(qū)域的尺度信息可以有效地去除誤報(bào)現(xiàn)象。假定車輛區(qū)域的寬度和高度分別為和，考慮到車牌的相對(duì)大小和寬高比尺寸，本文施加兩個(gè)約束，對(duì)不滿足約束條件的車牌候選區(qū)域進(jìn)行過濾：

經(jīng)過預(yù)過濾后，獲取了可能被認(rèn)為是車牌的各種邊界框。為了從多個(gè)邊界框中判斷車牌位置，本文應(yīng)用一個(gè)基于CNN的分類器來過濾剩余的非板塊候選。本文采用的CNN模型為TensorFlow框架，TensorFlow框架包含用于特征提取的兩個(gè)卷積層和兩個(gè)全連接層，模型配置如表1所示。

由于每個(gè)車輛區(qū)域中至多存在一個(gè)車牌，因此本文選取該區(qū)域內(nèi)響應(yīng)最大的一個(gè)候選區(qū)域作為車牌，當(dāng)存在車輛誤檢或車牌遮擋情況時(shí)，通過設(shè)置閾值M降低錯(cuò)誤率。如果響應(yīng)值滿足M>0.8，分類器將給出檢測(cè)過程最終結(jié)果，定位出車牌位置。

3 實(shí)驗(yàn)結(jié)果與分析

采用Caltech數(shù)據(jù)集（1999）和AOLP數(shù)據(jù)集兩個(gè)數(shù)據(jù)集對(duì)本文提出的方法進(jìn)行性能評(píng)估，并與其他方法進(jìn)行比較。Caltech數(shù)據(jù)集（1999）包括126個(gè)圖像集，分辨率為896×592，數(shù)據(jù)集部分圖像如圖1和圖2所示，由于背景雜亂、車牌顏色不同、車輛遮擋、各種拍攝環(huán)境（如光照變化、失焦模糊等）等原因，該數(shù)據(jù)集中的許多圖像對(duì)車牌檢測(cè)算法都具有很大的挑戰(zhàn)性。

從精確度（Precision）、召回率（Recall）和F-score三項(xiàng)指標(biāo)對(duì)本文提出的車牌檢測(cè)方法進(jìn)行評(píng)估，其中F-score定義：

表2給出了本文方法與其他方法在Caltech cars數(shù)據(jù)集的實(shí)驗(yàn)檢測(cè)結(jié)果。對(duì)比的車牌檢測(cè)方法有：基于主視覺單詞的字符識(shí)別算法（Principal Visual Word，PVW），MSER和SIFT分類器相結(jié)合的識(shí)別算法（Maximally Stable Extremal Regions& SIFT，MSER&SIFT）、垂直邊緣檢測(cè)算法（Vertical Edge Detection Algorithm，VEDA）、邊緣統(tǒng)計(jì)和形態(tài)學(xué)結(jié)合的算法（Edge Statistics & Morphology，ES&Morph）、離散小波變換（Discrete Wavelet Transform，DWT）、強(qiáng)度方差和邊緣密度（Intensity Variance & Edge Density，IV&ED）檢測(cè)算法。

從表中可以看出，本文所提方法的精確度為98.39%，召回率為96.83%，優(yōu)于其他算法。

4 結(jié)束語

由于道路場(chǎng)景圖像中背景雜亂、車牌顏色不同、車輛遮擋、拍攝模糊等原因，有效的車牌檢測(cè)仍然是一個(gè)十分具有挑戰(zhàn)的問題。本文提出了一種基于深度學(xué)習(xí)的車牌檢測(cè)方法，該方法根據(jù)深度學(xué)習(xí)和分層抽樣方法縮小車牌檢測(cè)區(qū)域信息，根據(jù)多尺度的約束條件，有效處理誤報(bào)問題，提高檢測(cè)精度。采用不同情況下的真實(shí)數(shù)據(jù)集Caltech和AOLP對(duì)本文提出的方法進(jìn)行實(shí)驗(yàn)評(píng)估，從實(shí)驗(yàn)結(jié)果來看，本文提出的方法在性能指標(biāo)方面都優(yōu)于其他檢測(cè)方法，說明本文方法的有效性。

參考文獻(xiàn)

[1] 鄭楷，鄭翠環(huán)，郭山紅，等.基于色差的車牌快速定位算法研究[J].計(jì)算機(jī)應(yīng)用與軟件，2017，34（5）：195-199.

[2] 陳莊，楊峰，馮欣，等.多尺度積角點(diǎn)檢測(cè)和視覺顏色特征的魯棒車牌定位算法[J].重慶大學(xué)學(xué)報(bào)，2016，39（2）：89-98.

[3] Liu W B，Wang T. Anti-Noise Car License Plate Location Algorithm Based on Mathematical Morphology Edge Detection[J].Applied Mechanics and Materials，2014，513-517：1052-1055.

[4] 鐘偉釗，杜志發(fā)，徐小紅，等.基于字符邊緣點(diǎn)提取的車牌定位方法[J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（3）：795-800.

作者簡(jiǎn)介：

聶敏（1970-），女，土家族，湖南花垣人，貴州大學(xué)，本科，銅仁學(xué)院大數(shù)據(jù)學(xué)院，副教授;主要研究方向和關(guān)注領(lǐng)域：多媒體技術(shù)與應(yīng)用、大數(shù)據(jù)安全。