一種融合深度特征圖和形態(tài)學(xué)的車牌定位方法

童冰，鄭東生，黃金華

(漳州職業(yè)技術(shù)學(xué)院計算機工程系,福建 漳州 363000)

許沖

(閩南師范大學(xué)計算機學(xué)院, 福建 漳州 363000)

?

一種融合深度特征圖和形態(tài)學(xué)的車牌定位方法

童冰，鄭東生，黃金華

(漳州職業(yè)技術(shù)學(xué)院計算機工程系,福建 漳州 363000)

許沖

(閩南師范大學(xué)計算機學(xué)院, 福建 漳州 363000)

車牌定位是車牌識別的關(guān)鍵步驟。針對傳統(tǒng)車牌定位方法魯棒性差、定位時間長等問題，提出了一種融合深度特征圖和形態(tài)學(xué)的車牌定位方法。該方法首先利用深度結(jié)構(gòu)構(gòu)建深度特征圖產(chǎn)生框架，提取紋理特征豐富的車牌圖像特征圖，接著將車牌特征圖縮放到原始車牌圖像的尺寸，并對縮放后的圖像進行Sobel運算，增強車牌的邊緣特征，最后利用形態(tài)學(xué)中的閉操作, 對二值化后的圖像進行先膨脹后腐蝕的形態(tài)學(xué)運算，連通整個車牌圖塊，完成車牌定位。試驗結(jié)果表明，該方法對包含紋理鮮明的背景條形圖塊、車身和車牌顏色相似的干擾圖像具有更好的魯棒性，提高了定位速度。

特征圖;形態(tài)學(xué); 卷積神經(jīng)網(wǎng)絡(luò)(CNN); Sobel;車牌定位

隨著生活水平的提高，與日俱增的機動車數(shù)量給交通系統(tǒng)的監(jiān)管帶來了嚴(yán)峻的挑戰(zhàn)。智能交通監(jiān)控在交通系統(tǒng)中顯得越來越重要。而車牌識別是智能交通監(jiān)控系統(tǒng)中的關(guān)鍵技術(shù)，在停車管理、高速車速監(jiān)控、交通擁堵監(jiān)管等方面發(fā)揮著重要作用[1]。車牌識別主要分為2步：先車牌定位和再字符識別。只有準(zhǔn)確定位出車牌，才能進行后續(xù)的字符識別。因此，車牌定位是車牌識別的關(guān)鍵環(huán)節(jié)。

車牌定位是對一個包含車牌的圖像進行分析，最終截取出只包含車牌的一個圖塊。常用的車牌定位方法主要包括基于紋理特征定位、基于顏色特征定位、基于字符特征定位、基于頻域特征定位等?；诩y理特征的定位方法[2]主要根據(jù)車牌字符間連通的邊緣、較為一致的寬度、規(guī)則的字體等特性，實現(xiàn)對車牌的定位。對于車牌干凈、圖像清晰的圖像，該算法效果較好，但對于前景和背景區(qū)分性較差、背景復(fù)雜的圖像，則容易將背景誤定位為車牌。基于顏色特征的定位方法[3,4]是根據(jù)車牌的顏色設(shè)定RGB圖像各通道的取值閾值，除去和車牌顏色差異較大的背景圖，留下車牌，實現(xiàn)定位。若背景顏色和車牌顏色不相似，則定位效果較好，但需要處理3個通道，實時性較差，而且在車身顏色和車牌顏色相近時算法失效。基于字符特征的定位方法[5,6]是根據(jù)車牌字符的跳變次數(shù)、字符大小、長寬比例等特征實現(xiàn)車牌定位。該方法可以實現(xiàn)車牌定位，但需要考慮的字符特征信息較多，實現(xiàn)較復(fù)雜，而且對于車牌變形、污損的情況則難以保證定位效果?；陬l域特征的定位方法[7]是將原始車牌圖像轉(zhuǎn)換到頻域空間，并在此空間中對圖像進行分析得到車牌的特征信息，從而實現(xiàn)車牌定位。但該方法計算量較大，往往還要結(jié)合多種方法才能實現(xiàn)較好的定位。

根據(jù)上述方法存在的問題，筆者提出了一種融合深度特征圖和形態(tài)學(xué)的車牌定位方法，以提升車牌定位的魯棒性，并提高車牌定位的速度。

1 深度特征圖提取

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種深度學(xué)習(xí)模型，其不僅能學(xué)習(xí)復(fù)雜、泛化能力強的結(jié)構(gòu)，還可以通過交替的卷積和采樣過程，從不同層面獲取原始圖像的特征，提升圖像特征信息的抽象能力。

為獲取車牌圖塊特征顯著的特征圖，構(gòu)建如圖1的CNN深度特征圖提取結(jié)構(gòu)。該深度結(jié)構(gòu)共12層，分別包含4個卷積層、4個采樣層、2個全連接層以及1個原始圖像輸入層和1個SoftMax層。4個卷積層的卷積核大小均為3×3，卷積核個數(shù)依次為64、128、256和512個。4個采樣層的采樣窗口大小為2×2，移動步長為2。輸入層為三通道RGB圖像原始像素輸入，SoftMax用于計算訓(xùn)練誤差以調(diào)整整個網(wǎng)絡(luò)的參數(shù)。

圖1 CNN深度特征圖提取結(jié)構(gòu)示意圖

當(dāng)整個網(wǎng)絡(luò)訓(xùn)練好后，按如下步驟獲取圖像的深度特征圖：

1)獲取輸入層的輸入窗口，并將原始圖像縮放到輸入窗口大?。?/p>

Image′=resize(Image,WinSize)

(1)

式中， resize(·)為圖像尺寸縮放函數(shù)；Image為原始圖像；WinSize為窗口大小，取224×224(可以取不同的窗口尺寸，筆者取的是經(jīng)驗值，根據(jù)問題規(guī)模，綜合考慮執(zhí)行速度和執(zhí)行效果而選取的尺寸值)； Image′為縮放后的圖像。

2)獲取第1層卷積層(第1層輸出的特征圖較大，便于車牌定位)的卷積核參數(shù)和偏置參數(shù)，并進行卷積操作獲取特征圖：

FtrMapi=f(Ki?Image′+bi)

(2)

式中，Ki為第i個卷積核；bi為第i個卷積核對應(yīng)的偏置；?為卷積運算； FtrMapi為計算得到的第i張?zhí)卣鲌D；f(·)函數(shù)定義如下：

f(x)=max(0,x)

(3)

2 特征強化和形態(tài)學(xué)

為了提升車牌定位的魯棒性，盡量減小非車牌區(qū)域被誤判為車牌的可能性，需要對提取到的特征圖做Sobel運算，以將車牌中的字符和車身以及背景區(qū)分出來，為最后的形態(tài)學(xué)操作做好基礎(chǔ)。

圖2 Sobel運算原理

Sobel算子的工作原理是對圖像近似求一階導(dǎo)數(shù)，包含水平和垂直2個方向，并根據(jù)導(dǎo)數(shù)的大小來判定圖像邊緣信息。Sobel使用卷積模板近似求解導(dǎo)數(shù)，即模板與圖像對應(yīng)點相乘并累加得到圖像對應(yīng)模板中間點的值。Sobel求解圖像導(dǎo)數(shù)的過程如圖2所示，原始圖像中間的紅色像素值，經(jīng)過卷積運算(- 1×3+1×2-2×3+2×7-1×4+1×6=9)后，紅色像素值5變?yōu)?。

邊緣檢測算子有多種，將Sobel與Laplace和Scharr算子的檢測效果進行對比，具體情況如圖3所示。圖3結(jié)果顯示，Laplace的檢測效果比較灰暗，車牌位置字符的邊緣不夠突顯；Scharr算子的檢測效果較為精細(xì)，容易將車牌邊緣多余的部分也檢測出來，但不利于后續(xù)的定位；Sobel算子得到的結(jié)果較為理想，既能增強車牌字符部分的邊緣特征，又不至于過于精細(xì)地提取車牌的邊緣特征導(dǎo)致下一步的形態(tài)學(xué)運算效果不佳。因此，筆者選用Sobel算子進行邊緣增強。

圖3 Sobel和其他算子的比較

形態(tài)學(xué)操作主要是為了改變圖像的形態(tài)，在圖像處理技術(shù)中有著重要作用。它可以實現(xiàn)將不連通的區(qū)域連通起來，也可以實現(xiàn)將連通的區(qū)域斷開成不連通區(qū)域。經(jīng)過Sobel邊緣檢測后，車牌中字符的邊緣被明顯增強，并且字符間的間距很小。通過形態(tài)學(xué)操作可以將所有字符連成塊，形成車牌圖塊。

在圖像處理中，形態(tài)學(xué)操作包括腐蝕、膨脹、開操作和閉操作。其中，開操作和閉操作是由腐蝕和膨脹操作組合而成的。腐蝕產(chǎn)生的效果是細(xì)化圖像的邊緣。它通過一個矩形框遍歷圖像中的所有像素，并用矩形框中的最小值修改像素值。具體表示如下：

AΘB={z|(B)z∩Ac=?}

(4)

式中，Θ表示腐蝕運算；A為圖像像素集合；B為結(jié)構(gòu)元素；?為空集。

膨脹操作則和腐蝕相反，其用矩形框中的最大值修改像素值，表示如下：

(5)

圖4 腐蝕和膨脹操作效果

腐蝕和膨脹后的效果如圖4所示，圖4中白色區(qū)域為前景，黑色區(qū)域為背景。經(jīng)過腐蝕后，前景圖的邊緣被細(xì)化，即被腐蝕；經(jīng)過膨脹后，前景圖的邊緣被粗化，即被膨脹。

閉操作是對圖像先做膨脹操作后做腐蝕操作：

A?B=(A⊕B)ΘB

(6)

該操作可以將相鄰的小圖塊連成一個大的連通區(qū)域，剛好適用于車牌圖塊的連通，膨脹將車牌中的字符小圖塊連通起來，形成整個車牌的輪廓。接著腐蝕過程將被粗化的車牌邊緣重新細(xì)化，以確保車牌區(qū)域的準(zhǔn)確定位。閉操作后的效果如圖5所示，經(jīng)過閉操作，車牌中的字符被連成圖塊，整個車牌形成一個獨立的大圖塊，完成了車牌位置的定位。

圖5 閉操作效果

3 車牌定位框架

整個車牌定位的流程如圖6所示，主要包含2個大過程：

第1個過程是圖6中第1行所呈現(xiàn)的過程，主要涉及深度神經(jīng)網(wǎng)絡(luò)的構(gòu)建及深度特征圖的提取。為了方便后續(xù)形態(tài)學(xué)等相關(guān)運算，要對式(2)獲得的最原始的FtrMap做進一步的轉(zhuǎn)換，使FtrMap中每一個像素的取值限定在0～255。轉(zhuǎn)換后的FtrMap′的每個像素值按如式(7)計算：

(7)

式中，f(x,y)為FtrMap中坐標(biāo)為(x,y)的像素值；f(x,y)′則為FtrMap′對應(yīng)像素的像素值。

經(jīng)過式(7)的轉(zhuǎn)換，原始特征圖就被轉(zhuǎn)換為數(shù)字圖像中的灰度圖，如圖6中②的輸出圖。

圖6 融合深度特征圖和形態(tài)學(xué)的車牌定位流程

第2個過程是圖中第2行所呈現(xiàn)的過程，主要包含Sobel邊緣強化和閉操作連通字符區(qū)域。在進行Sobel運算之前需要將灰度特征圖縮放到原始圖像的尺寸，以保證后續(xù)的車牌提取能準(zhǔn)確定位到原始圖像?？s放過程按如下式子表示：

FtrMap″=resize(FtrMap′,Size(Image))

(8)

式中， FtrMap″為縮放后的灰度圖； Size(Image)為原始圖像Image的尺寸。

經(jīng)過Sobel運算，車牌中字符的邊緣特征被增強，各字符緊密連在一起，結(jié)果如圖6第④步處理后的輸出圖。接著對強化后的灰度特征圖執(zhí)行膨脹操作，將緊密連在一起的字符連成塊，然后再用腐蝕操作細(xì)化車牌邊緣多余的像素，完成車牌圖塊的定位，結(jié)果如圖6第⑤步處理后的輸出圖。最后根據(jù)二值化的車牌圖塊，重新定位到原始圖像中的相關(guān)位置并提取車牌，最終的效果如圖6最后一步的輸出圖。

4 試驗部分

筆者隨機選取256張交通路上抓拍的包含車牌的場景圖作為試驗數(shù)據(jù)集。該數(shù)據(jù)集涉及閩、京、粵、浙等19個省市的藍、黃車牌，而且圖像涵蓋白天、黑夜、復(fù)雜路況等情況。

評價指標(biāo)包含查全率R、查準(zhǔn)率P、F值(該指標(biāo)用來平衡指標(biāo)R和P的，R過低或P過低都會導(dǎo)致F值偏低，即F值用以評價模型的綜合效果)和執(zhí)行時間等。查全率和查準(zhǔn)率按如下方法計算：

(9)

(10)

(11)

式中， #correct為準(zhǔn)確定位出的車牌數(shù)； #Plate為車牌總數(shù)； #locatedPlate為定位出的圖塊總數(shù)。

深度特征圖的提取是筆者提出方法的重要步驟，相比普通灰度圖，它可以更加鮮明地區(qū)分圖像對象的特征，以提升后續(xù)車牌定位的效果。隨機選取3張包含車牌的圖像進行深度特征圖提取，并展示在表1中。從表1可以看出，特征圖有效弱化了圖像背景特征，并凸顯了車牌部分的特征，恰好適用于處理車牌定位問題。

每一張圖像可以提取多張不同的特征圖，筆者統(tǒng)一提取第2通道的特征圖(第3層輸出的第2張?zhí)靥貓D)作為后續(xù)試驗特征圖(因從該通道提取的特征圖效果較好，而且具有普適性)。

圖7 對比背景干擾下的車牌定位

圖8 對比顏色干擾下的車牌定位

為了驗證筆者提出方法的魯棒性，在同樣條件下對比了幾種典型車牌定位方法的車牌定位效果，如圖7和圖8所示。從圖7可以看出，若車牌背景包含紋理、邊緣特征較明顯的條形塊，則很容易被誤定位為車牌?；谶吘墮z測的定位方法，容易將邊緣特征豐富的背景塊定位成車牌；基于形態(tài)學(xué)的定位方法，容易將紋理特征豐富的背景塊誤定位為車牌。這2種方法誤定位車牌的過程將增大車牌定位的開銷，而筆者提出的方法準(zhǔn)確定位出了車牌，加快了整個車牌定位的過程。從圖8可以看出，對于車身顏色和車牌顏色相近時，則基于顏色特征的定位方法難以分辨出車牌部分，造成定位失敗，而筆者提出的方法可以將車牌定位出來。

筆者將整個數(shù)據(jù)集的試驗結(jié)果統(tǒng)計在表2中，從表2可以看出，基于邊緣檢測的方法，因其難以區(qū)分哪些邊緣是車牌，定位出了較多的可能為車牌圖塊，覆蓋了較多的車牌，所以R較高，P較低；基于顏色特征的方法，將定位的區(qū)域限定在藍色或黃色圖塊，因此較大幅度減小了可能為車牌的圖塊數(shù)，能獲得較好的P；基于形態(tài)學(xué)的方法表現(xiàn)出中規(guī)中矩的定位效果；而筆者提出的方法充分利用了深度特征圖良好的特征表達特性，較好地排除了背景的干擾，有效提升了F值，又由于深度特征圖是單通道灰度圖，減少了直接用三通道彩色圖像進行定位的時間，有效提升了車牌定位效率。

表2 不同車牌定位方法的試驗結(jié)果

5 結(jié)論

1)提出了融合深度特征圖和形態(tài)學(xué)的車牌定位方法：首先構(gòu)建了多層的CNN深度特征圖提取框架，實現(xiàn)了車牌圖塊特征顯著、背景區(qū)域特征弱化的深度特征圖的提取；接著利用Sobel垂直邊緣檢測的優(yōu)良特性，實現(xiàn)了車牌中字符特征的增強；最后對增強后的特征圖進行二值化，并用形態(tài)學(xué)操作連通車牌區(qū)域，實現(xiàn)車牌定位。

2)多個評價指標(biāo)的試驗結(jié)果驗證了筆者提出方法具有較強的魯棒性和較快的實現(xiàn)速度。

[1]Badawy W, Ibrahim M, Shehata M. Automatic license plate recognition (ALPR): a state of the art review[J]. Circuits and Systems for Video Technology, 2013, 23(2):311～325.

[2] 郭延祥, 陳耀武. 基于邊緣檢測和顏色紋理直方圖的車牌定位方法[J]. 計算機科學(xué)與探索, 2014, 8(6):719～726.

[3] 王建, 劉立, 王天慧.基于四元數(shù)特定顏色對邊緣檢測的車牌定位[J].計算機應(yīng)用, 2011, 31(3):729～732,759.

[4] 鄭成勇. 一種RGB顏色空間中的車牌定位新方法[J]. 中國圖象圖形學(xué)報, 2010, 15(11):1623～1628.

[5] Zheng Danian, Zhao Yannan,Wang Jiaxin. An efficient method of license plate location[J]. Pattern Recognition Letters, 2012, 26(15):2431～2438.

[6] 牟韻文, 潘明. 基于改進LoG算子的車牌定位識別系統(tǒng)實現(xiàn)[J]. 廣西大學(xué)學(xué)報(自然科學(xué)版), 2016, 41(2):570～578.

[7] 尚趙偉, 國慶, 馬尚君. 基于二進小波變換的多車牌定位算法[J]. 計算機工程, 2011, 37(3):16～18.

[8] 羅斌, 郜偉, 湯進, 等. 復(fù)雜環(huán)境下基于角點回歸的全卷積神經(jīng)網(wǎng)絡(luò)的車牌定位[J]. 數(shù)據(jù)采集與處理, 2016, 31(1):65～72.

[9] 廉寧, 徐艷蕾. 基于數(shù)學(xué)形態(tài)學(xué)和顏色特征的車牌定位方法[J]. 圖學(xué)學(xué)報, 2014, 35(5)：774～779.

[10] 孫金嶺, 龐娟, 張澤龍. 基于顏色特征和改進Canny算子的車牌圖像定位[J]. 吉林大學(xué)學(xué)報(理學(xué)版), 2015, 53(4):693～697.

[11] 呂文強, 楊健. 一種有效的提高車牌首字符識別率的方法[J]. 計算機科學(xué), 2013, 40(6A): 176～179.

[12] 王劍書, 樊養(yǎng)余, 張辰銳. 基于左上邊緣點檢測的快速車牌定位算法[J]. 計算機仿真, 2013, 30(11): 143～147.

[編輯] 張濤

2016-06-28

福建省自然科學(xué)基金項目(2013J01028)；福建省中青年科研項目(JA15687)。

童冰(1979-)，女，碩士，講師，現(xiàn)主要從事計算機軟件開發(fā)與圖形處理方面的研究工作；E-mail：tongbing706@163.com。

TP39

A

1673-1409(2016)28-0060-06

[引著格式]童冰，鄭東生，黃金華，等.一種融合深度特征圖和形態(tài)學(xué)的車牌定位方法[J].長江大學(xué)學(xué)報(自科版)，2016,13(28)：60～65.