一種融合深度特征圖和形態(tài)學(xué)的車(chē)牌定位方法

童冰，鄭東生，黃金華

(漳州職業(yè)技術(shù)學(xué)院計(jì)算機(jī)工程系,福建 漳州 363000)

許沖

(閩南師范大學(xué)計(jì)算機(jī)學(xué)院, 福建 漳州 363000)

?

一種融合深度特征圖和形態(tài)學(xué)的車(chē)牌定位方法

童冰，鄭東生，黃金華

(漳州職業(yè)技術(shù)學(xué)院計(jì)算機(jī)工程系,福建 漳州 363000)

許沖

(閩南師范大學(xué)計(jì)算機(jī)學(xué)院, 福建 漳州 363000)

車(chē)牌定位是車(chē)牌識(shí)別的關(guān)鍵步驟。針對(duì)傳統(tǒng)車(chē)牌定位方法魯棒性差、定位時(shí)間長(zhǎng)等問(wèn)題，提出了一種融合深度特征圖和形態(tài)學(xué)的車(chē)牌定位方法。該方法首先利用深度結(jié)構(gòu)構(gòu)建深度特征圖產(chǎn)生框架，提取紋理特征豐富的車(chē)牌圖像特征圖，接著將車(chē)牌特征圖縮放到原始車(chē)牌圖像的尺寸，并對(duì)縮放后的圖像進(jìn)行Sobel運(yùn)算，增強(qiáng)車(chē)牌的邊緣特征，最后利用形態(tài)學(xué)中的閉操作, 對(duì)二值化后的圖像進(jìn)行先膨脹后腐蝕的形態(tài)學(xué)運(yùn)算，連通整個(gè)車(chē)牌圖塊，完成車(chē)牌定位。試驗(yàn)結(jié)果表明，該方法對(duì)包含紋理鮮明的背景條形圖塊、車(chē)身和車(chē)牌顏色相似的干擾圖像具有更好的魯棒性，提高了定位速度。

特征圖;形態(tài)學(xué); 卷積神經(jīng)網(wǎng)絡(luò)(CNN); Sobel;車(chē)牌定位

隨著生活水平的提高，與日俱增的機(jī)動(dòng)車(chē)數(shù)量給交通系統(tǒng)的監(jiān)管帶來(lái)了嚴(yán)峻的挑戰(zhàn)。智能交通監(jiān)控在交通系統(tǒng)中顯得越來(lái)越重要。而車(chē)牌識(shí)別是智能交通監(jiān)控系統(tǒng)中的關(guān)鍵技術(shù)，在停車(chē)管理、高速車(chē)速監(jiān)控、交通擁堵監(jiān)管等方面發(fā)揮著重要作用[1]。車(chē)牌識(shí)別主要分為2步：先車(chē)牌定位和再字符識(shí)別。只有準(zhǔn)確定位出車(chē)牌，才能進(jìn)行后續(xù)的字符識(shí)別。因此，車(chē)牌定位是車(chē)牌識(shí)別的關(guān)鍵環(huán)節(jié)。

車(chē)牌定位是對(duì)一個(gè)包含車(chē)牌的圖像進(jìn)行分析，最終截取出只包含車(chē)牌的一個(gè)圖塊。常用的車(chē)牌定位方法主要包括基于紋理特征定位、基于顏色特征定位、基于字符特征定位、基于頻域特征定位等?；诩y理特征的定位方法[2]主要根據(jù)車(chē)牌字符間連通的邊緣、較為一致的寬度、規(guī)則的字體等特性，實(shí)現(xiàn)對(duì)車(chē)牌的定位。對(duì)于車(chē)牌干凈、圖像清晰的圖像，該算法效果較好，但對(duì)于前景和背景區(qū)分性較差、背景復(fù)雜的圖像，則容易將背景誤定位為車(chē)牌?；陬伾卣鞯亩ㄎ环椒╗3,4]是根據(jù)車(chē)牌的顏色設(shè)定RGB圖像各通道的取值閾值，除去和車(chē)牌顏色差異較大的背景圖，留下車(chē)牌，實(shí)現(xiàn)定位。若背景顏色和車(chē)牌顏色不相似，則定位效果較好，但需要處理3個(gè)通道，實(shí)時(shí)性較差，而且在車(chē)身顏色和車(chē)牌顏色相近時(shí)算法失效。基于字符特征的定位方法[5,6]是根據(jù)車(chē)牌字符的跳變次數(shù)、字符大小、長(zhǎng)寬比例等特征實(shí)現(xiàn)車(chē)牌定位。該方法可以實(shí)現(xiàn)車(chē)牌定位，但需要考慮的字符特征信息較多，實(shí)現(xiàn)較復(fù)雜，而且對(duì)于車(chē)牌變形、污損的情況則難以保證定位效果。基于頻域特征的定位方法[7]是將原始車(chē)牌圖像轉(zhuǎn)換到頻域空間，并在此空間中對(duì)圖像進(jìn)行分析得到車(chē)牌的特征信息，從而實(shí)現(xiàn)車(chē)牌定位。但該方法計(jì)算量較大，往往還要結(jié)合多種方法才能實(shí)現(xiàn)較好的定位。

根據(jù)上述方法存在的問(wèn)題，筆者提出了一種融合深度特征圖和形態(tài)學(xué)的車(chē)牌定位方法，以提升車(chē)牌定位的魯棒性，并提高車(chē)牌定位的速度。

1 深度特征圖提取

卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network,CNN)是一種深度學(xué)習(xí)模型，其不僅能學(xué)習(xí)復(fù)雜、泛化能力強(qiáng)的結(jié)構(gòu)，還可以通過(guò)交替的卷積和采樣過(guò)程，從不同層面獲取原始圖像的特征，提升圖像特征信息的抽象能力。

為獲取車(chē)牌圖塊特征顯著的特征圖，構(gòu)建如圖1的CNN深度特征圖提取結(jié)構(gòu)。該深度結(jié)構(gòu)共12層，分別包含4個(gè)卷積層、4個(gè)采樣層、2個(gè)全連接層以及1個(gè)原始圖像輸入層和1個(gè)SoftMax層。4個(gè)卷積層的卷積核大小均為3×3，卷積核個(gè)數(shù)依次為64、128、256和512個(gè)。4個(gè)采樣層的采樣窗口大小為2×2，移動(dòng)步長(zhǎng)為2。輸入層為三通道RGB圖像原始像素輸入，SoftMax用于計(jì)算訓(xùn)練誤差以調(diào)整整個(gè)網(wǎng)絡(luò)的參數(shù)。

圖1 CNN深度特征圖提取結(jié)構(gòu)示意圖

當(dāng)整個(gè)網(wǎng)絡(luò)訓(xùn)練好后，按如下步驟獲取圖像的深度特征圖：

1)獲取輸入層的輸入窗口，并將原始圖像縮放到輸入窗口大?。?/p>

Image′=resize(Image,WinSize)

(1)

式中， resize(·)為圖像尺寸縮放函數(shù)；Image為原始圖像；WinSize為窗口大小，取224×224(可以取不同的窗口尺寸，筆者取的是經(jīng)驗(yàn)值，根據(jù)問(wèn)題規(guī)模，綜合考慮執(zhí)行速度和執(zhí)行效果而選取的尺寸值)； Image′為縮放后的圖像。

2)獲取第1層卷積層(第1層輸出的特征圖較大，便于車(chē)牌定位)的卷積核參數(shù)和偏置參數(shù)，并進(jìn)行卷積操作獲取特征圖：

FtrMapi=f(Ki?Image′+bi)

(2)

式中，Ki為第i個(gè)卷積核；bi為第i個(gè)卷積核對(duì)應(yīng)的偏置；?為卷積運(yùn)算； FtrMapi為計(jì)算得到的第i張?zhí)卣鲌D；f(·)函數(shù)定義如下：

f(x)=max(0,x)

(3)

2 特征強(qiáng)化和形態(tài)學(xué)

為了提升車(chē)牌定位的魯棒性，盡量減小非車(chē)牌區(qū)域被誤判為車(chē)牌的可能性，需要對(duì)提取到的特征圖做Sobel運(yùn)算，以將車(chē)牌中的字符和車(chē)身以及背景區(qū)分出來(lái)，為最后的形態(tài)學(xué)操作做好基礎(chǔ)。

圖2 Sobel運(yùn)算原理

Sobel算子的工作原理是對(duì)圖像近似求一階導(dǎo)數(shù)，包含水平和垂直2個(gè)方向，并根據(jù)導(dǎo)數(shù)的大小來(lái)判定圖像邊緣信息。Sobel使用卷積模板近似求解導(dǎo)數(shù)，即模板與圖像對(duì)應(yīng)點(diǎn)相乘并累加得到圖像對(duì)應(yīng)模板中間點(diǎn)的值。Sobel求解圖像導(dǎo)數(shù)的過(guò)程如圖2所示，原始圖像中間的紅色像素值，經(jīng)過(guò)卷積運(yùn)算(- 1×3+1×2-2×3+2×7-1×4+1×6=9)后，紅色像素值5變?yōu)?。

邊緣檢測(cè)算子有多種，將Sobel與Laplace和Scharr算子的檢測(cè)效果進(jìn)行對(duì)比，具體情況如圖3所示。圖3結(jié)果顯示，Laplace的檢測(cè)效果比較灰暗，車(chē)牌位置字符的邊緣不夠突顯；Scharr算子的檢測(cè)效果較為精細(xì)，容易將車(chē)牌邊緣多余的部分也檢測(cè)出來(lái)，但不利于后續(xù)的定位；Sobel算子得到的結(jié)果較為理想，既能增強(qiáng)車(chē)牌字符部分的邊緣特征，又不至于過(guò)于精細(xì)地提取車(chē)牌的邊緣特征導(dǎo)致下一步的形態(tài)學(xué)運(yùn)算效果不佳。因此，筆者選用Sobel算子進(jìn)行邊緣增強(qiáng)。

圖3 Sobel和其他算子的比較

形態(tài)學(xué)操作主要是為了改變圖像的形態(tài)，在圖像處理技術(shù)中有著重要作用。它可以實(shí)現(xiàn)將不連通的區(qū)域連通起來(lái)，也可以實(shí)現(xiàn)將連通的區(qū)域斷開(kāi)成不連通區(qū)域。經(jīng)過(guò)Sobel邊緣檢測(cè)后，車(chē)牌中字符的邊緣被明顯增強(qiáng)，并且字符間的間距很小。通過(guò)形態(tài)學(xué)操作可以將所有字符連成塊，形成車(chē)牌圖塊。

在圖像處理中，形態(tài)學(xué)操作包括腐蝕、膨脹、開(kāi)操作和閉操作。其中，開(kāi)操作和閉操作是由腐蝕和膨脹操作組合而成的。腐蝕產(chǎn)生的效果是細(xì)化圖像的邊緣。它通過(guò)一個(gè)矩形框遍歷圖像中的所有像素，并用矩形框中的最小值修改像素值。具體表示如下：

AΘB={z|(B)z∩Ac=?}

(4)

式中，Θ表示腐蝕運(yùn)算；A為圖像像素集合；B為結(jié)構(gòu)元素；?為空集。

膨脹操作則和腐蝕相反，其用矩形框中的最大值修改像素值，表示如下：

(5)

圖4 腐蝕和膨脹操作效果

腐蝕和膨脹后的效果如圖4所示，圖4中白色區(qū)域?yàn)榍熬?，黑色區(qū)域?yàn)楸尘?。?jīng)過(guò)腐蝕后，前景圖的邊緣被細(xì)化，即被腐蝕；經(jīng)過(guò)膨脹后，前景圖的邊緣被粗化，即被膨脹。

閉操作是對(duì)圖像先做膨脹操作后做腐蝕操作：

A?B=(A⊕B)ΘB

(6)

該操作可以將相鄰的小圖塊連成一個(gè)大的連通區(qū)域，剛好適用于車(chē)牌圖塊的連通，膨脹將車(chē)牌中的字符小圖塊連通起來(lái)，形成整個(gè)車(chē)牌的輪廓。接著腐蝕過(guò)程將被粗化的車(chē)牌邊緣重新細(xì)化，以確保車(chē)牌區(qū)域的準(zhǔn)確定位。閉操作后的效果如圖5所示，經(jīng)過(guò)閉操作，車(chē)牌中的字符被連成圖塊，整個(gè)車(chē)牌形成一個(gè)獨(dú)立的大圖塊，完成了車(chē)牌位置的定位。

圖5 閉操作效果

3 車(chē)牌定位框架

整個(gè)車(chē)牌定位的流程如圖6所示，主要包含2個(gè)大過(guò)程：

第1個(gè)過(guò)程是圖6中第1行所呈現(xiàn)的過(guò)程，主要涉及深度神經(jīng)網(wǎng)絡(luò)的構(gòu)建及深度特征圖的提取。為了方便后續(xù)形態(tài)學(xué)等相關(guān)運(yùn)算，要對(duì)式(2)獲得的最原始的FtrMap做進(jìn)一步的轉(zhuǎn)換，使FtrMap中每一個(gè)像素的取值限定在0～255。轉(zhuǎn)換后的FtrMap′的每個(gè)像素值按如式(7)計(jì)算：

(7)

式中，f(x,y)為FtrMap中坐標(biāo)為(x,y)的像素值；f(x,y)′則為FtrMap′對(duì)應(yīng)像素的像素值。

經(jīng)過(guò)式(7)的轉(zhuǎn)換，原始特征圖就被轉(zhuǎn)換為數(shù)字圖像中的灰度圖，如圖6中②的輸出圖。

圖6 融合深度特征圖和形態(tài)學(xué)的車(chē)牌定位流程

第2個(gè)過(guò)程是圖中第2行所呈現(xiàn)的過(guò)程，主要包含Sobel邊緣強(qiáng)化和閉操作連通字符區(qū)域。在進(jìn)行Sobel運(yùn)算之前需要將灰度特征圖縮放到原始圖像的尺寸，以保證后續(xù)的車(chē)牌提取能準(zhǔn)確定位到原始圖像?？s放過(guò)程按如下式子表示：

FtrMap″=resize(FtrMap′,Size(Image))

(8)

式中， FtrMap″為縮放后的灰度圖； Size(Image)為原始圖像Image的尺寸。

經(jīng)過(guò)Sobel運(yùn)算，車(chē)牌中字符的邊緣特征被增強(qiáng)，各字符緊密連在一起，結(jié)果如圖6第④步處理后的輸出圖。接著對(duì)強(qiáng)化后的灰度特征圖執(zhí)行膨脹操作，將緊密連在一起的字符連成塊，然后再用腐蝕操作細(xì)化車(chē)牌邊緣多余的像素，完成車(chē)牌圖塊的定位，結(jié)果如圖6第⑤步處理后的輸出圖。最后根據(jù)二值化的車(chē)牌圖塊，重新定位到原始圖像中的相關(guān)位置并提取車(chē)牌，最終的效果如圖6最后一步的輸出圖。

4 試驗(yàn)部分

筆者隨機(jī)選取256張交通路上抓拍的包含車(chē)牌的場(chǎng)景圖作為試驗(yàn)數(shù)據(jù)集。該數(shù)據(jù)集涉及閩、京、粵、浙等19個(gè)省市的藍(lán)、黃車(chē)牌，而且圖像涵蓋白天、黑夜、復(fù)雜路況等情況。

評(píng)價(jià)指標(biāo)包含查全率R、查準(zhǔn)率P、F值(該指標(biāo)用來(lái)平衡指標(biāo)R和P的，R過(guò)低或P過(guò)低都會(huì)導(dǎo)致F值偏低，即F值用以評(píng)價(jià)模型的綜合效果)和執(zhí)行時(shí)間等。查全率和查準(zhǔn)率按如下方法計(jì)算：

(9)

(10)

(11)

式中， #correct為準(zhǔn)確定位出的車(chē)牌數(shù)； #Plate為車(chē)牌總數(shù)； #locatedPlate為定位出的圖塊總數(shù)。

深度特征圖的提取是筆者提出方法的重要步驟，相比普通灰度圖，它可以更加鮮明地區(qū)分圖像對(duì)象的特征，以提升后續(xù)車(chē)牌定位的效果。隨機(jī)選取3張包含車(chē)牌的圖像進(jìn)行深度特征圖提取，并展示在表1中。從表1可以看出，特征圖有效弱化了圖像背景特征，并凸顯了車(chē)牌部分的特征，恰好適用于處理車(chē)牌定位問(wèn)題。

每一張圖像可以提取多張不同的特征圖，筆者統(tǒng)一提取第2通道的特征圖(第3層輸出的第2張?zhí)靥貓D)作為后續(xù)試驗(yàn)特征圖(因從該通道提取的特征圖效果較好，而且具有普適性)。

圖7 對(duì)比背景干擾下的車(chē)牌定位

圖8 對(duì)比顏色干擾下的車(chē)牌定位

為了驗(yàn)證筆者提出方法的魯棒性，在同樣條件下對(duì)比了幾種典型車(chē)牌定位方法的車(chē)牌定位效果，如圖7和圖8所示。從圖7可以看出，若車(chē)牌背景包含紋理、邊緣特征較明顯的條形塊，則很容易被誤定位為車(chē)牌?；谶吘墮z測(cè)的定位方法，容易將邊緣特征豐富的背景塊定位成車(chē)牌；基于形態(tài)學(xué)的定位方法，容易將紋理特征豐富的背景塊誤定位為車(chē)牌。這2種方法誤定位車(chē)牌的過(guò)程將增大車(chē)牌定位的開(kāi)銷(xiāo)，而筆者提出的方法準(zhǔn)確定位出了車(chē)牌，加快了整個(gè)車(chē)牌定位的過(guò)程。從圖8可以看出，對(duì)于車(chē)身顏色和車(chē)牌顏色相近時(shí)，則基于顏色特征的定位方法難以分辨出車(chē)牌部分，造成定位失敗，而筆者提出的方法可以將車(chē)牌定位出來(lái)。

筆者將整個(gè)數(shù)據(jù)集的試驗(yàn)結(jié)果統(tǒng)計(jì)在表2中，從表2可以看出，基于邊緣檢測(cè)的方法，因其難以區(qū)分哪些邊緣是車(chē)牌，定位出了較多的可能為車(chē)牌圖塊，覆蓋了較多的車(chē)牌，所以R較高，P較低；基于顏色特征的方法，將定位的區(qū)域限定在藍(lán)色或黃色圖塊，因此較大幅度減小了可能為車(chē)牌的圖塊數(shù)，能獲得較好的P；基于形態(tài)學(xué)的方法表現(xiàn)出中規(guī)中矩的定位效果；而筆者提出的方法充分利用了深度特征圖良好的特征表達(dá)特性，較好地排除了背景的干擾，有效提升了F值，又由于深度特征圖是單通道灰度圖，減少了直接用三通道彩色圖像進(jìn)行定位的時(shí)間，有效提升了車(chē)牌定位效率。

表2 不同車(chē)牌定位方法的試驗(yàn)結(jié)果

5 結(jié)論

1)提出了融合深度特征圖和形態(tài)學(xué)的車(chē)牌定位方法：首先構(gòu)建了多層的CNN深度特征圖提取框架，實(shí)現(xiàn)了車(chē)牌圖塊特征顯著、背景區(qū)域特征弱化的深度特征圖的提??；接著利用Sobel垂直邊緣檢測(cè)的優(yōu)良特性，實(shí)現(xiàn)了車(chē)牌中字符特征的增強(qiáng)；最后對(duì)增強(qiáng)后的特征圖進(jìn)行二值化，并用形態(tài)學(xué)操作連通車(chē)牌區(qū)域，實(shí)現(xiàn)車(chē)牌定位。

2)多個(gè)評(píng)價(jià)指標(biāo)的試驗(yàn)結(jié)果驗(yàn)證了筆者提出方法具有較強(qiáng)的魯棒性和較快的實(shí)現(xiàn)速度。

[1]Badawy W, Ibrahim M, Shehata M. Automatic license plate recognition (ALPR): a state of the art review[J]. Circuits and Systems for Video Technology, 2013, 23(2):311～325.

[2] 郭延祥, 陳耀武. 基于邊緣檢測(cè)和顏色紋理直方圖的車(chē)牌定位方法[J]. 計(jì)算機(jī)科學(xué)與探索, 2014, 8(6):719～726.

[3] 王建, 劉立, 王天慧.基于四元數(shù)特定顏色對(duì)邊緣檢測(cè)的車(chē)牌定位[J].計(jì)算機(jī)應(yīng)用, 2011, 31(3):729～732,759.

[4] 鄭成勇. 一種RGB顏色空間中的車(chē)牌定位新方法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2010, 15(11):1623～1628.

[5] Zheng Danian, Zhao Yannan,Wang Jiaxin. An efficient method of license plate location[J]. Pattern Recognition Letters, 2012, 26(15):2431～2438.

[6] 牟韻文, 潘明. 基于改進(jìn)LoG算子的車(chē)牌定位識(shí)別系統(tǒng)實(shí)現(xiàn)[J]. 廣西大學(xué)學(xué)報(bào)(自然科學(xué)版), 2016, 41(2):570～578.

[7] 尚趙偉, 國(guó)慶, 馬尚君. 基于二進(jìn)小波變換的多車(chē)牌定位算法[J]. 計(jì)算機(jī)工程, 2011, 37(3):16～18.

[8] 羅斌, 郜偉, 湯進(jìn), 等. 復(fù)雜環(huán)境下基于角點(diǎn)回歸的全卷積神經(jīng)網(wǎng)絡(luò)的車(chē)牌定位[J]. 數(shù)據(jù)采集與處理, 2016, 31(1):65～72.

[9] 廉寧, 徐艷蕾. 基于數(shù)學(xué)形態(tài)學(xué)和顏色特征的車(chē)牌定位方法[J]. 圖學(xué)學(xué)報(bào), 2014, 35(5)：774～779.

[10] 孫金嶺, 龐娟, 張澤龍. 基于顏色特征和改進(jìn)Canny算子的車(chē)牌圖像定位[J]. 吉林大學(xué)學(xué)報(bào)(理學(xué)版), 2015, 53(4):693～697.

[11] 呂文強(qiáng), 楊健. 一種有效的提高車(chē)牌首字符識(shí)別率的方法[J]. 計(jì)算機(jī)科學(xué), 2013, 40(6A): 176～179.

[12] 王劍書(shū), 樊養(yǎng)余, 張辰銳. 基于左上邊緣點(diǎn)檢測(cè)的快速車(chē)牌定位算法[J]. 計(jì)算機(jī)仿真, 2013, 30(11): 143～147.

[編輯] 張濤

2016-06-28

福建省自然科學(xué)基金項(xiàng)目(2013J01028)；福建省中青年科研項(xiàng)目(JA15687)。

童冰(1979-)，女，碩士，講師，現(xiàn)主要從事計(jì)算機(jī)軟件開(kāi)發(fā)與圖形處理方面的研究工作；E-mail：tongbing706@163.com。

TP39

A

1673-1409(2016)28-0060-06

[引著格式]童冰，鄭東生，黃金華，等.一種融合深度特征圖和形態(tài)學(xué)的車(chē)牌定位方法[J].長(zhǎng)江大學(xué)學(xué)報(bào)(自科版)，2016,13(28)：60～65.