車輛牌照識(shí)別技術(shù)現(xiàn)狀

鄧嘉誠(chéng) 黃賀聲 楊林 魏亞東

摘 ?要：車輛牌照識(shí)別技術(shù)（Vehicle License Plate Recognition，VLPR）以快速準(zhǔn)確從圖像中檢測(cè)出車牌號(hào)碼的優(yōu)點(diǎn)，成為智能交通網(wǎng)絡(luò)實(shí)現(xiàn)的前提。車輛牌照識(shí)別技術(shù)的實(shí)現(xiàn)主要分為圖像預(yù)處理、車牌定位、字符分割和字符識(shí)別等部分，每個(gè)部分均有若干方式可以實(shí)現(xiàn)，本文先介紹了車輛牌照技術(shù)中常用的方法，再對(duì)比了各種方法之間的優(yōu)點(diǎn)和缺陷。

關(guān)鍵詞：車牌識(shí)別;圖像預(yù)處理;車牌定位;字符分割;字符識(shí)別

中圖分類號(hào)：TP391.41 ? ? 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：2096-4706（2019）16-0078-06

Abstract：Vehicle License Plate Recognition （VLPR） technology，which has the advantage of fast and accurate detection of license plate numbers from images，has become a prerequisite for the implementation of ITN. The realization of vehicle license plate recognition technology is mainly divided into image preprocessing，license plate location，character segmentation and character recognition. Each part can be realized in several ways. This paper first introduces the commonly used methods in vehicle license plate technology，and then compares the advantages and disadvantages of each method.

Keywords：license plate recognition;image preprocessing;license plate location;character segmentation;character recognition

0 ?引 ?言

近些年來，人們經(jīng)濟(jì)能力提高、城市化建設(shè)快速，車輛變得越來越多，交通擁堵逐漸成為我們的日常。目前解決該難題的辦法是建立智能交通網(wǎng)絡(luò)，而車牌識(shí)別的精準(zhǔn)實(shí)現(xiàn)是該網(wǎng)絡(luò)搭建的前提。

1 ?緒論

1.1 ?背景與意義

現(xiàn)代人由于經(jīng)濟(jì)能力的提高和生活的需要，把原本是奢侈品的汽車作為代步必需品帶入家庭，城市車流量也不斷增加。加上早期城市規(guī)劃不完善，建筑密集，道路明顯擁擠。另外，城市的發(fā)展吸引了大量人口就業(yè)，對(duì)交通擁堵也會(huì)造成一定的影響。最慘的擁堵一定是節(jié)假日在高速路上，其中原因之一就在于收費(fèi)站沒有全面普及ETC收費(fèi)，讓車流一下子堵在了收費(fèi)站。VLPR通過攝像頭拍取圖片，對(duì)圖像分析并得到車牌號(hào)碼，以效率快、準(zhǔn)確度高的優(yōu)點(diǎn)緩解了交通壓力。識(shí)別的流程圖如圖1所示。

VLPR的應(yīng)用，能有效地協(xié)助管理人員管理小區(qū)或城鎮(zhèn)、監(jiān)控車輛進(jìn)出、不停車收費(fèi)、違規(guī)記錄等，提高城市交通管理效率和減少停車帶來的空氣污染。

1.2 ?國(guó)內(nèi)外研究現(xiàn)狀

VLPR研究國(guó)外起步較早，大約20世紀(jì)80年代就有相關(guān)圖像處理方法提出，但由于信息處理和計(jì)算機(jī)性能原因妨礙了發(fā)展。90年代發(fā)展較為迅速，有A.S.Johnson、P.V.Suryanarayanna、EunRyung Lee等優(yōu)秀學(xué)者在圖像特征提取和字符識(shí)別上提出了意見。早期國(guó)外典型的車牌識(shí)別系統(tǒng)有英國(guó)的RGUS、新加坡的VLPRS等。我國(guó)對(duì)此研究起步較晚，典型的有武漢大學(xué)的喻曉、李幕龍、張礽婧等人提出的基于車牌顏色和紋理特征定位車牌[1]。北京航空航天大學(xué)的胡愛明、周孝寬提出的上下矩比值失配比例加權(quán)懲罰模板匹配[2]。

2 ?圖像預(yù)處理

由于拍攝的車牌受到光照強(qiáng)弱、泥土遮擋、陰雨天氣、相機(jī)成像位置等因素影響，對(duì)照片進(jìn)行初步處理，能去除無用信息而保留有效信息，還能提高車牌的定位精確度。

2.1 ?圖像灰度化

攝像頭的輸出一般是彩色圖像，包含豐富的色彩信息，直接處理運(yùn)行量大又耗時(shí)。根據(jù)后期需要可轉(zhuǎn)換色彩空間，車牌圖像處理一般采用的色彩空間是RGB、HSV和HIS，但通常在RGB空間處理。0代表值最暗，255代表最亮。RGB圖像常用灰度化方法[3]如下。

3.3 ?基于混合特征的車牌定位

混合特征組合主流的是HSV顏色搭配紋理特征。一種做法是利用HSV閾值大致篩選出車牌候選區(qū)域，再利用車牌區(qū)域的紋理特征篩選確定位置;另外一種做法是先用紋理特征檢測(cè)出具有車牌紋理特征的區(qū)域，再由HSV閾值來篩選。RGB與紋理特征也有人在用，主要是分情況去增加RGB通道，這樣就能把具有車牌顏色特性的保留下來，再使用紋理特性也大致能確定位置。

學(xué)界上關(guān)于混合特征的定位有很多，例如胡峰松、朱浩提出的基于HSI顏色空間和行掃描的車牌定位[18]，王枚、王國(guó)宏、潘國(guó)華提出的融合邊緣檢測(cè)與HSV顏色特征的車牌定位技術(shù)[19]，楊濤、張森林提出的一種基于HSV顏色空間和SIFT特征的車牌提取算法[20]。

3.4 ?基于神經(jīng)網(wǎng)絡(luò)的車牌定位

此方法首先就要收集各種各樣的訓(xùn)練樣本，建立神經(jīng)網(wǎng)絡(luò)模型訓(xùn)練，假設(shè)輸出為1則為含有車牌的圖像，0為不含車牌的圖像，訓(xùn)練完畢后就可以調(diào)用此神經(jīng)網(wǎng)絡(luò)檢測(cè)車牌了。使用時(shí)，用一個(gè)M*N的滑動(dòng)窗口在預(yù)處理圖像自左而右、自上而下移動(dòng)并歸一化后送入神經(jīng)網(wǎng)絡(luò)輸入層，待滑動(dòng)窗口完全遍歷整個(gè)圖像，就能得到車牌位置。該方法前期需要巨大的訓(xùn)練樣本進(jìn)行訓(xùn)練，拍攝圖像影響到滑動(dòng)窗口的大小，窗口不同運(yùn)算的速度也不同，很難滿足實(shí)時(shí)性要求，故前期不建議采用此做法。

4 ?字符分割

字符分割簡(jiǎn)單來說就是從二值化車牌圖像中，分割出長(zhǎng)寬相等的單獨(dú)字符圖像。分割時(shí)要注意，字符間隔最大的是第二與第三個(gè)字符。實(shí)際拍攝的車牌存在光照強(qiáng)弱、遮擋、變形、單雙層車牌等現(xiàn)象，使分割工作更加困難。

4.1 ?基于水平投影與垂直投影的方法

這是分割字符最常用的做法，實(shí)現(xiàn)方式簡(jiǎn)單。水平投影是從上到下統(tǒng)計(jì)一行中的像素點(diǎn)為1的個(gè)數(shù)，而垂直投影是從左到右統(tǒng)計(jì)列中像素點(diǎn)為1的個(gè)數(shù)。先后對(duì)二值化圖像進(jìn)行水平投影和垂直投影，分別得到切割字符高的起點(diǎn)和終點(diǎn)、寬的起點(diǎn)和終點(diǎn)，接著對(duì)每個(gè)區(qū)域邊界進(jìn)行分割。分割是要注意字符間的距離，若僅從投影來說的話，有可能將漢字切成幾份，但考慮上距離就能把將漢字切割完整。[21，22]

4.2 ?基于連通域分割

逐行逐列掃描二值化圖像像素點(diǎn)周圍的4個(gè)或8個(gè)像素點(diǎn)，判斷是否都為1，是的話就更改一個(gè)值（不同連通域用不同的值）構(gòu)成該字符部分的連通域。數(shù)字和字母形成單一連通域，但首字符是漢字，可能會(huì)形成多個(gè)連通域。由于切割字符的寬高是一致的，尋找連通域的最小外接矩形，從右往左切割，最后剩下的多連通域的區(qū)域即為漢字。

該方法在字符傾斜時(shí)，分割效果也好。但由于我們一般進(jìn)行過傾斜度矯正，此方法的優(yōu)勢(shì)也就沒體現(xiàn)出來，反而會(huì)拖慢總體的速度。[23]

4.3  基于靜態(tài)邊界的方法

車牌的長(zhǎng)寬比以及字符間的距離都有規(guī)定。在車牌定位十分精確的情況下，將車牌縮放至某個(gè)合適的大小，根據(jù)此知識(shí)，就能判斷出每個(gè)字符在二值化圖像中的哪個(gè)位置。

字符經(jīng)過切割后會(huì)得到同樣大小的圖片，方便下一步對(duì)字符進(jìn)行識(shí)別。切割效果如圖4所示。

5 ?字符識(shí)別

5.1 ?基于模板匹配的字符識(shí)別

由于VLPR處理的是印刷體，采用模板匹配來識(shí)別也是可行的。模板匹配目前流行的是基于灰度值匹配和基于特征提取匹配?；谔卣魈崛〉哪０迤ヅ浞椒ㄐ枰婕按罅康膸缀魏托螒B(tài)學(xué)計(jì)算，需要復(fù)雜的計(jì)算，滿足不了車牌識(shí)別實(shí)時(shí)性要求，故此方法不推薦使用[24]。基于灰度值的模板匹配方法，計(jì)算量雖然相對(duì)較小，要求與模板差別不大時(shí)才會(huì)獲得較好的效果，當(dāng)字符模糊時(shí)，成功率會(huì)大大降低。

優(yōu)缺點(diǎn)分析：卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)在于參數(shù)共享，大大簡(jiǎn)化了運(yùn)算量，特征的選取不需要手動(dòng)輸入，只要訓(xùn)練好權(quán)重，就能得到好的分類效果，但前提是要做好訓(xùn)練的工作，除了需要準(zhǔn)備訓(xùn)練樣本和測(cè)試樣本外，還要在訓(xùn)練過程中根據(jù)經(jīng)驗(yàn)不斷調(diào)參;缺點(diǎn)是輸入圖像過大或者圖像色彩數(shù)過多，學(xué)習(xí)參數(shù)量將會(huì)非常龐大。

6 ?結(jié) ?論

車牌識(shí)別環(huán)節(jié)受到諸多因素的干擾，比如漢字結(jié)構(gòu)、光照、字符的舊損、車牌變形等都令車牌識(shí)別有了阻礙，因此車牌識(shí)別率仍是研究難點(diǎn)。在整個(gè)車牌識(shí)別項(xiàng)目中，若用某一步驟的最好處理效果來選方法的話，會(huì)加大程序的運(yùn)算時(shí)間，建議是前期的處理能簡(jiǎn)便的就簡(jiǎn)便。目前，市場(chǎng)上的車牌識(shí)別產(chǎn)品使用神經(jīng)網(wǎng)絡(luò)的不多，同時(shí)識(shí)別時(shí)會(huì)有觸發(fā)拍照的條件，對(duì)視頻中運(yùn)動(dòng)車輛的車牌檢測(cè)還有待進(jìn)一步研究。

參考文獻(xiàn)：

[1] 喻曉，李慕龍，張礽婧，等.復(fù)雜車輛圖像中的車牌定位 [J].電子設(shè)計(jì)工程，2010，18（12）：120-123.

[2] 胡愛明，周孝寬.車牌圖像的快速匹配識(shí)別方法 [J].計(jì)算機(jī)工程與應(yīng)用，2003（7）：90-91+110.

[3] 江進(jìn).基于灰度化及邊緣檢測(cè)算法的車牌識(shí)別技術(shù)研究 [J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2014（1）：38-41.

[4] 李耀輝，劉保軍.基于直方圖均衡的圖像增強(qiáng) [J].華北科技學(xué)院學(xué)報(bào)，2003（2）：65-67.

[5] 李青，王福明.基于傅里葉變換的指紋圖像增強(qiáng)算法 [J].計(jì)算機(jī)時(shí)代，2010（2）：56-57.

[6] 張威，孫玉秋，趙天玉.一種基于頻率域和空間域相結(jié)合的圖像增強(qiáng)方法 [J].長(zhǎng)江大學(xué)學(xué)報(bào)（自科版），2013，10（19）：50-52+161.

[7] 葛小鳳，陳亞軍.經(jīng)典邊緣檢測(cè)算子及其抗噪性能研究 [J].數(shù)字技術(shù)與應(yīng)用，2015（2）：107-109.

[8] 賀桂嬌.幾種經(jīng)典的圖像邊緣檢測(cè)算子分析比較 [J].計(jì)算機(jī)光盤軟件與應(yīng)用，2014，17（9）：182-183.

[9] 李碩明，付仲良，彭彬慧.基于字符行特征的車牌傾斜矯正算法 [J].江漢大學(xué)學(xué)報(bào)（自然科學(xué)版），2006（1）：35-37.

[10] 路小波，包明，黃衛(wèi).基于投影的車牌傾斜檢測(cè)方法 [J].交通運(yùn)輸工程與信息學(xué)報(bào)，2004（4）：10-15.

[11] 吳一全，丁堅(jiān).基于邊緣點(diǎn)投影方差最小的車牌傾斜校正方法 [J].系統(tǒng)仿真學(xué)報(bào)，2008（21）：5829-5832.

[12] 黃紅燕，葉綠.文字圖像的整體傾斜矯正 [J].計(jì)算機(jī)工程與應(yīng)用，2006（6）：58-61.

[13] 譚司庭，胡志坤.基于HSV色空間的車牌定位綜合方法 [J].計(jì)算機(jī)與應(yīng)用化學(xué)，2011，28（7）：903-906.

[14] 張麗靜，孫杰，殷曉宇.基于HSV顏色空間的車牌定位方法 [J].微計(jì)算機(jī)信息，2008（7）：247-248.

[15] 常巧紅，高滿屯.基于HSV色彩空間與數(shù)學(xué)形態(tài)學(xué)的車牌定位研究 [J].圖學(xué)學(xué)報(bào)，2013，34（4）：159-162.

[16] 牛欣，沈蘭蓀.基于特征的車輛牌照定位算法 [J].交通與計(jì)算機(jī)，2000（1）：31-33.

[17] 蔡欽濤，方水良，任俊.基于邊緣生長(zhǎng)的車牌定位新方法 [J].公路交通科技，2004（11）：110-113.

[18] 胡峰松，朱浩.基于HSI顏色空間和行掃描的車牌定位算法 [J].計(jì)算機(jī)工程與設(shè)計(jì)，2015，36（4）：977-982.

[19] 王枚，王國(guó)宏，潘國(guó)華.融合邊緣檢測(cè)與HSV顏色特征的車牌定位技術(shù) [J].計(jì)算機(jī)應(yīng)用研究，2007（8）：209-211.

[20] 楊濤，張森林.一種基于HSV顏色空間和SIFT特征的車牌提取算法 [J].計(jì)算機(jī)應(yīng)用研究，2011，28（10）：3937-3939+3976.

[21] 黃文杰.基于投影的車牌字符分割方法 [J].現(xiàn)代計(jì)算機(jī)（專業(yè)版），2009（8）：57-60.

[22] 蔣傳偉.車牌識(shí)別系統(tǒng)中車牌定位與字符分割的研究 [D].武漢：華中科技大學(xué)，2006.

[23] 蘭偉.驗(yàn)證碼字符圖像分割技術(shù)研究 [J].軟件導(dǎo)刊，2014，13（10）：130-131.

[24] 李強(qiáng)，張鈸.一種基于圖像灰度的快速匹配算法 [J].軟件學(xué)報(bào)，2006（2）：216-222.

[25] 顧晨勤，葛萬成.基于模板匹配算法的字符識(shí)別研究 [J].通信技術(shù)，2009，42（3）：220-222.

[26] 楊海廷.基于紋理特征的車牌識(shí)別系統(tǒng)的研究與實(shí)現(xiàn) [D].成都：電子科技大學(xué)，2005.

[27] 賈婧，葛萬成，陳康力.基于輪廓結(jié)構(gòu)和統(tǒng)計(jì)特征的字符識(shí)別研究 [J].沈陽師范大學(xué)學(xué)報(bào)（自然科學(xué)版），2006（1）：43-46.

[28] 吳裔慧.基于卷積神經(jīng)網(wǎng)絡(luò)的場(chǎng)景理解方法研究 [D].北京：清華大學(xué)，2015.

[29] 陳先昌.基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究 [D].杭州：浙江工商大學(xué)，2014.

[30] 何小飛，鄒崢嶸，陶超，等.聯(lián)合顯著性和多層卷積神經(jīng)網(wǎng)絡(luò)的高分影像場(chǎng)景分類 [J].測(cè)繪學(xué)報(bào)，2016，45（9）：1073-1080.

[31] 謝寶劍.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類方法研究 [D].合肥：合肥工業(yè)大學(xué)，2015.

作者簡(jiǎn)介：鄧嘉誠(chéng)（1998-），男，漢族，廣東湛江人，本科在讀，研究方向：AI與機(jī)器視覺;通訊作者：魏亞東（1977-），男，漢族，河北武邑人，博士，副教授，研究方向：光電技術(shù)及系統(tǒng)、AI與機(jī)器視覺與核探測(cè)技術(shù)等方面。