基于車牌混合特征的車牌定位算法研究

咸志杰 方芹芹 季偉偉 李海霞

摘? 要：隨著社會(huì)的發(fā)展和科技的進(jìn)步，國(guó)家對(duì)交通控制、安全管理的要求日益提高，智能交通管理已成為當(dāng)前交通管理發(fā)展的主要方向，而車牌定位技術(shù)則是智能交通系統(tǒng)的基礎(chǔ)。為了解決車牌定位區(qū)域精確度差，定位不準(zhǔn)等問(wèn)題，采用基于車牌混合特征的車牌定位技術(shù)，不僅可以有效地解決上述問(wèn)題而且通過(guò)仿真實(shí)驗(yàn)證明本文提出的車牌定位算法綜合性強(qiáng)，運(yùn)行速度快，精確度可以達(dá)到96.7%，可以在復(fù)雜的環(huán)境中實(shí)現(xiàn)精準(zhǔn)定位。

關(guān)鍵詞：車牌定位;圖像識(shí)別;混合特征提取

中圖分類號(hào)：TP391.41? ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2021）02-0076-05

Abstract：With the development of society and the progress of science and technology，the national requirements for traffic control and safety management are increasing day by day. Intelligent traffic management has become the main direction of the current development of traffic management，and license plate location technology is the basis of intelligent transportation system. In order to solve the problems of poor accuracy and inaccurate location of license plate location area，the license plate location technology based on mixed characteristics of license plate is adopted，which can not only effectively solve the above problems，but also the simulation experiment proves that the license plate location algorithm in this paper has strong comprehensiveness，fast running speed，and the accuracy can reach 96.7%，which can achieve accurate location in complex environment

Keywords：license plate location;image identification;mixed feature extraction

0? 引? 言

隨著智能交通管理系統(tǒng)的發(fā)展，車牌識(shí)別技術(shù)越來(lái)越受到研究人員的關(guān)注，至今已推出不少車牌識(shí)別系統(tǒng)的產(chǎn)品。而車牌定位技術(shù)作為車牌識(shí)別系統(tǒng)的核心也獲得了廣泛的關(guān)注。目前許多科研院校都對(duì)車牌定位技術(shù)做了大量研究，如王曉群[1]等提出了一種基于數(shù)學(xué)形態(tài)學(xué)進(jìn)行車牌定位的算法，采用粗細(xì)定位二次判斷，首先使用自適應(yīng)對(duì)比度增強(qiáng)算法來(lái)改善圖像質(zhì)量，然后在粗定位中運(yùn)用數(shù)學(xué)形態(tài)學(xué)算法處理圖像，并在精定位中利用區(qū)域標(biāo)記法和投影法來(lái)定位車牌區(qū)域。雖然該算法可以直接定位車牌，但是其對(duì)車牌邊界信息較為敏感，無(wú)法識(shí)別二值邊緣信息較少的圖像。陳麗娟[2]采用脈沖神經(jīng)網(wǎng)絡(luò)算法對(duì)車牌顏色特征進(jìn)行提取，然后再使用行列掃描法進(jìn)行定位，傅鵬等[3]采用級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別方法，主要用于在車輛數(shù)量過(guò)多，圖像質(zhì)量不佳的情況下進(jìn)行車牌定位，該算法采用運(yùn)動(dòng)目標(biāo)檢測(cè)定位目標(biāo)區(qū)域，然后利用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別區(qū)域中的車輛并進(jìn)行車牌定位，雖然該方法準(zhǔn)確度較高，但是花費(fèi)時(shí)間過(guò)多且容易受非車牌文字的影響。Xudong Cao等[4]提出的形態(tài)回歸算法具有直觀和計(jì)算簡(jiǎn)單等特點(diǎn)，但是光照、字符清晰度和車牌受損等變化因素都會(huì)顯著降低識(shí)別準(zhǔn)確率[5]。鐘偉釗等[6]采用字符邊緣點(diǎn)來(lái)提取車牌區(qū)域，雖然其不受車身顏色的影響，但耗時(shí)較多，所提取的邊緣信息實(shí)用性不高[7]。除了上述幾種方法之外，還有“基于遺傳算法[8]”“基于量子粒子群算法[9]” “基于顏色信息算法[10]”“基于變換算法[11]”等諸多算法可以實(shí)現(xiàn)車牌定位。但無(wú)一例外，他們只是在某一領(lǐng)域可以有效地定位車牌，在較為復(fù)雜的情況下，他們的定位精度就會(huì)大大降低。為了解決諸多算法無(wú)法在多場(chǎng)景下應(yīng)用的弊端，本文提出了基于車牌混合特征的車牌定位算法，利用車牌本身的顏色特征、幾何特征和面積特征等多重特征進(jìn)行區(qū)域定位直接準(zhǔn)確且魯棒性高，對(duì)于二值信息較少的圖像可以得到很好的處理，并且不受非車牌文字和外界環(huán)境的干擾。

1? 基于混合特征的車牌定位方法

車牌定位算法是以數(shù)字圖像理論為基礎(chǔ)，采用顏色特征、紋理特征、幾何特征、灰度分布特征[12]等相結(jié)合的方法對(duì)含有車牌的圖像進(jìn)行處理。首先對(duì)車牌圖片進(jìn)行預(yù)處理，然后使用Prewitt算子進(jìn)行邊緣檢測(cè)，接著運(yùn)用數(shù)學(xué)形態(tài)學(xué)算法找出若干個(gè)候選區(qū)域，最后基于車牌混合特征精確定位出車牌區(qū)域。算法流程如圖1所示。

1.1? 車牌圖像預(yù)處理

首先將彩色圖像進(jìn)行灰度化處理以便去除冗余信息，減少存儲(chǔ)開(kāi)銷，提高運(yùn)行速度;然后調(diào)整圖像亮度，因?yàn)閳D像的灰度偶爾會(huì)集中于一個(gè)較小的區(qū)間（如果圖像偏暗或偏亮），根據(jù)需要調(diào)整車輛圖像的對(duì)比度，對(duì)灰度化的圖像進(jìn)行高斯濾波去除噪聲，對(duì)灰度化的圖像進(jìn)行高斯濾波去除噪聲的同時(shí)對(duì)一些非車牌邊緣進(jìn)行模糊處理，比如環(huán)境信息、非車牌信息等，為Prewitt邊緣檢測(cè)做鋪墊。在車牌的矩形區(qū)域內(nèi)存在豐富的邊緣特征，呈現(xiàn)出規(guī)則的紋理特征，車牌邊緣特征有一定的密集性，其中車牌的垂直邊緣比水平邊緣密集。本文采取Prewitt算子進(jìn)行垂直邊緣檢測(cè)，利用像素點(diǎn)上下、左右鄰點(diǎn)的灰度差，在邊緣處達(dá)到極值檢測(cè)，去掉部分偽邊緣，對(duì)噪聲具有平滑作用。其基本原理是在圖像空間方向利用兩個(gè)模板與圖像進(jìn)行鄰域卷積來(lái)完成的，一個(gè)檢測(cè)水平邊緣，一個(gè)檢測(cè)垂直邊緣。Prewitt算子公式為：

然后對(duì)得到的邊緣圖像進(jìn)行閉運(yùn)算和開(kāi)運(yùn)算以使牌照區(qū)域相通，得到牌照的候選區(qū)域;閉運(yùn)算利用膨脹、腐蝕來(lái)填充物體內(nèi)細(xì)小空洞，平滑圖像邊界，連通車牌區(qū)域，以便于提取輪廓;開(kāi)運(yùn)算是通過(guò)在腐蝕、膨脹的過(guò)程中消除細(xì)小的噪聲，平滑較大物體的邊界;結(jié)構(gòu)形狀選取方形，由于車牌區(qū)域的形狀是長(zhǎng)方形的（也可以使用水平和垂直直線），所以選取方形的結(jié)構(gòu)元素進(jìn)行形態(tài)學(xué)操作;結(jié)構(gòu)元素內(nèi)容選取字符的標(biāo)準(zhǔn)寬度、高度、車牌的標(biāo)準(zhǔn)寬度、標(biāo)準(zhǔn)高度、圖片測(cè)量的車牌寬度和高度，來(lái)大概確定結(jié)構(gòu)元素的長(zhǎng)和寬，再經(jīng)過(guò)多次調(diào)試進(jìn)一步確定結(jié)構(gòu)元素的長(zhǎng)和寬。預(yù)處理圖像如圖2所示。

1.2? 基于混合特征的車牌定位

在經(jīng)過(guò)形態(tài)學(xué)處理以后，處理后的圖像中會(huì)有多個(gè)連通區(qū)域作為車牌的候選區(qū)域，此時(shí)我們的命令行會(huì)顯示車牌候選區(qū)域的數(shù)量，如圖3所示。這時(shí)使用車牌的先驗(yàn)知識(shí)（混合特征，比如車牌顏色特征、面積特征、長(zhǎng)寬比特征）來(lái)篩選出唯一的車牌區(qū)域。

通過(guò)以下三種方法的結(jié)合最終確定出車牌的定位圖像：

（1）顏色判斷[13]。首先將rgb圖像轉(zhuǎn)化為hsv顏色模型，然后統(tǒng)計(jì)每個(gè)候選車牌的藍(lán)色像素點(diǎn)數(shù)量（先驗(yàn)知識(shí)，在整個(gè)車牌中，藍(lán)色背景像素占整個(gè)車牌的70%），當(dāng)藍(lán)色像素點(diǎn)數(shù)量大于設(shè)定的閾值時(shí)，該候選區(qū)域被判斷為車牌區(qū)域，但是不能單憑顏色特征來(lái)判斷車牌區(qū)域，因?yàn)閷?shí)際場(chǎng)景中的環(huán)境變量較多，例如馬路上行駛的車輛（有車牌）、藍(lán)色電瓶車、護(hù)欄上的藍(lán)色貼紙等都有可能對(duì)車牌定位造成影響。

色彩判斷部分核心代碼為：

function index = color_judge（stats，img）

j = 1;

for i=1：length（stats）

bb = stats（i）.BoundingBox; % 取預(yù)判斷的區(qū)域

I=img（floor（bb（2））+1：floor（bb（2）+bb（4）），floor（bb（1））+1：floor（bb（1）+bb（3）），：）;

figure（8）;imshow（I）;

hsv = rgb2hsv（I）;

[height，width，～] = size（hsv）;

count = 0; % 統(tǒng)計(jì)藍(lán)色像素值的數(shù)量

for h=1：height

for w=1：width

h_judge = （hsv（h，w，1）>0.65） && （hsv（h，w，1）<0.73）;

s_judge = （hsv（h，w，2）>0.03）? && （hsv（h，w，2）<0.7）;

v_judge = （hsv（h，w，3）>0.23） && （hsv（h，w，3）<0.7）;

if h_judge

count = count + 1;

end

end

end

（2）面積判斷[14]。一般情況下，車輛的頭部在經(jīng)過(guò)第一個(gè)減速帶和第二個(gè)減速帶之間時(shí)才會(huì)觸發(fā)攝像機(jī)拍攝車輛圖片，通過(guò)多次實(shí)驗(yàn)，可得知車牌在圖片中的最小像素面積和最大像素面積，通過(guò)設(shè)定一定的面積閾值，再次篩選候選車牌區(qū)域。

（3）長(zhǎng)寬比判斷[15]。車牌的標(biāo)準(zhǔn)尺寸為440 mm× 140 mm，標(biāo)準(zhǔn)的長(zhǎng)高比約為3.1，通過(guò)把候選車牌區(qū)域標(biāo)記成一個(gè)方形，計(jì)算方形的長(zhǎng)和寬，通過(guò)設(shè)置一定的長(zhǎng)寬比閾值，再次篩選候選車牌區(qū)域。進(jìn)行方形標(biāo)記的時(shí)候采用的是WarpAffine函數(shù)，WarpAffine要求輸入原始圖的左上點(diǎn)、右上點(diǎn)、左下點(diǎn)以及輸出圖像的左上點(diǎn)、右上點(diǎn)、左下點(diǎn)，如圖4所示。然后建立一個(gè)映射關(guān)系以將原始圖像的標(biāo)記點(diǎn)映射到目標(biāo)圖像上。我們的目標(biāo)是把車牌區(qū)域中的平行四邊形映射為一個(gè)矩形。選取車牌區(qū)域中的平行四邊形車牌的三個(gè)關(guān)鍵點(diǎn)，再確定我們希望將車牌扭正后的矩形的三個(gè)關(guān)鍵點(diǎn)。此時(shí)的扭轉(zhuǎn)變化如圖5所示。

如果出現(xiàn)了視框的偏移問(wèn)題，我們可以選擇偏移xidff/2的長(zhǎng)度，偏移后的圖像如圖6所示。

視框往右偏移的意義就是將目標(biāo)圖像的原點(diǎn)進(jìn)行右偏移。如果原點(diǎn)偏移的話，那么仿射后圖像的三個(gè)關(guān)鍵點(diǎn)的坐標(biāo)需要重新進(jìn)行計(jì)算，都需要減去xidff/2。經(jīng)過(guò)混合特征提取后車牌的定位圖像如圖7所示。

2? 仿真結(jié)果分析

為了檢驗(yàn)本文所提出算法的有效性，選擇在多場(chǎng)景、復(fù)雜環(huán)境下進(jìn)行測(cè)試，并且與其他算法進(jìn)行對(duì)比。

2.1? 不同環(huán)境下的測(cè)試

眾所周知，車牌定位對(duì)于環(huán)境中的某些變量較為敏感，比如光照，車牌相同顏色信息等，如果不對(duì)這些變量進(jìn)行控制和矯正的話，那么車牌定位的準(zhǔn)確度將會(huì)受到很大影響。為了驗(yàn)證本文所提出算法的有效性，分別在正常、傾斜、有顏色干擾和光照變化等條件下進(jìn)行測(cè)試，首先選用100張正常圖片進(jìn)行識(shí)別，然后選擇100張帶有傾斜角度的圖片進(jìn)行識(shí)別，最后采集一百?gòu)埌c車牌相同顏色的圖片進(jìn)行識(shí)別。在進(jìn)行光照測(cè)試的時(shí)候?qū)⒁话購(gòu)垐D片分為兩部分，選50張?jiān)诠獍禇l件下進(jìn)行識(shí)別，選50張?jiān)诠饬翖l件進(jìn)行識(shí)別，仿真結(jié)果如表1所示。

通過(guò)實(shí)驗(yàn)可知，在正常情況下車牌定位是最準(zhǔn)最快的，成功率可達(dá)97%，平均定位時(shí)間為576 ms。在光照條件下，由于車身噴漆和車牌反光會(huì)導(dǎo)致車牌識(shí)別率略有不足。雖然系統(tǒng)具有車牌傾斜校正功能，但是對(duì)傾斜度較大的車牌，系統(tǒng)的車牌定位準(zhǔn)確度會(huì)有所下降。但是不管在正常環(huán)境下還是有光照和車輛角度偏移以及受顏色干擾等外在因素影響下，本文算法都具有較高的定位準(zhǔn)確率、較快的定位速度以及較強(qiáng)的環(huán)境適應(yīng)能力。

2.2? 不同算法下的測(cè)試

為了證明本文算法的優(yōu)越性，通過(guò)在不同環(huán)境下將具有代表性的車牌定位算法與本文算法進(jìn)行對(duì)比，例如算法3是基于形狀回歸的算法[3]，算法4是基于色彩紋理的算法[4]，算法5是基于字邊緣點(diǎn)提取的算法[10]。隨機(jī)選取100張圖片，其中在正常情況下、傾斜情況下、顏色干擾情況下各選20張，在光暗、光亮的光照強(qiáng)度下各選20張進(jìn)行測(cè)試，不同算法的測(cè)試結(jié)果如表2所示。

通過(guò)對(duì)比結(jié)果可知，本文所采用方法的車牌定位平均成功率達(dá)到96%，平均定位時(shí)間為621 ms，與算法3、算法4和算法5相比較，本文算法無(wú)論是在定位速度還是在定位成功率上都是最佳的。算法3在常規(guī)條件下和車牌傾斜時(shí)的識(shí)別率很好，但是其容易受光線影響，在受光線影響的條件下識(shí)別成功率較低。算法4以邊緣投影的方式確定車牌邊界，并且能夠檢測(cè)到變形邊界，但是其對(duì)外界影響因素較為敏感，算法較為復(fù)雜，所以定位效率最低。算法5對(duì)車牌圖像進(jìn)行字符邊緣檢測(cè)，而且不受車身噴漆顏色的影響，具有良好的魯棒性，定位速度快，最接近于本文算法的速度，但是它對(duì)傾斜圖片的識(shí)別率低下且對(duì)邊緣要素提取過(guò)多。

3? 結(jié)? 論

針對(duì)車牌定位算法過(guò)于單一以及在特殊條件下識(shí)別率低下的問(wèn)題，提出一種基于混合特征的車牌定位算法。使用多種特征進(jìn)行判定，并對(duì)傾斜圖片進(jìn)行調(diào)整以增強(qiáng)定位的準(zhǔn)確性。相較于其他算法，本文算法綜合性強(qiáng)，可以在不同的場(chǎng)景下使用。但是本文算法也有一個(gè)很明顯的問(wèn)題就是在光強(qiáng)條件下，由于車牌本身的反光以及環(huán)境變量中其他物體反光導(dǎo)致識(shí)別精度不足。對(duì)于本算法在光強(qiáng)條件下以及在車牌受損情況下識(shí)別精度低，運(yùn)行時(shí)間長(zhǎng)等問(wèn)題，我們將進(jìn)行更為深入的研究，以期找到更為優(yōu)化的方法。

參考文獻(xiàn)：

[1] 王曉群，劉宏志.基于自適應(yīng)數(shù)學(xué)形態(tài)學(xué)的車牌定位研究 [J].圖學(xué)學(xué)報(bào)，2017，38（6）：843-850.

[2] 陳麗娟.基于脈沖神經(jīng)網(wǎng)絡(luò)的車牌定位算法 [J].中國(guó)高新技術(shù)企業(yè)，2016（32）：13-14.

[3] 傅鵬，謝世朋.基于級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)的車牌定位 [J].計(jì)算機(jī)技術(shù)與發(fā)展，2018，28（1）：134-137.

[4] CAO X D，WEI Y C，WEN F，et al. Face Alignment by Explicit Shape Regression [J].International Journal of Computer Vision，2014，107（2）：177-190.

[5] 李宇成，楊光明，王目樹(shù).車牌識(shí)別系統(tǒng)中關(guān)鍵技術(shù)的研究 [J].計(jì)算機(jī)工程與應(yīng)用，2011，47（27）：180-184+209.

[6] 鐘偉釗，杜志發(fā)，徐小紅，等.基于字符邊緣點(diǎn)提取的車牌定位方法 [J].計(jì)算機(jī)工程與設(shè)計(jì)，2017，38（3）：795-800+ 813.

[7] XIE L L ，AHMAD T，JIN L W，et al. A New CNN-Based Method for Multi-Directional Car License Plate Detection [J].IEEE Transactions on Intelligent Transportation Systems，2018，19（2）：507-517.

[8] 曾毅.遺傳算法在車牌定位中的應(yīng)用 [J].福建電腦，2015，31（7）：88-90.

[9] PARISI R，DI-CLAUDIO D I，LUCARELLI G，et al. Car plate recognition by neural networks and image processing [C]//1998 IEEE International Symposium on Circuits and Systems （ISCAS）.Monterey：IEEE，1998：195-198.

[10] 楊海廷.基于紋理特征的車牌識(shí)別系統(tǒng)的研究與實(shí)現(xiàn) [D].成都：電子科技大學(xué)，2005.

[11] 馬飛.一種基于小波變換和Tophat變換的車牌定位算法 [J].電子設(shè)計(jì)工程，2016，24（22）：118-121.

[12] 鐘良建，張恕遠(yuǎn)，成萬(wàn)江.多特征車牌定位方法 [J].自動(dòng)化應(yīng)用，2020（11）：65-68.

[13] 潘思贛，李振.基于顏色空間與神經(jīng)網(wǎng)絡(luò)車牌識(shí)別技術(shù)研究 [J].中國(guó)交通信息化，2020（S1）：132-136.

[14] 漆世錢(qián).基于輪廓識(shí)別和BGR顏色空間的車牌定位 [J].計(jì)算機(jī)技術(shù)與發(fā)展，2020，30（12）：176-180.

[15] 賀秉東.基于深度學(xué)習(xí)的位圖字體矢量化系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) [D].濟(jì)南：山東大學(xué)，2020.

作者簡(jiǎn)介：咸志杰（2000—），男，漢族，江蘇徐州人，本科在讀，研究方向：圖像處理;方芹芹（2000—），女，漢族，江蘇淮安人，本科在讀，研究方向：神經(jīng)網(wǎng)絡(luò);季偉偉（1999—），男，漢族，江蘇鹽城人，本科在讀，研究方向：圖像處理;通訊作者：李海霞（1983—），女，漢族，山東壽光人，講師，研究生，研究方向：微納器件。