基于圖像處理的車牌識(shí)別系統(tǒng)設(shè)計(jì)

查安秦

摘 要：本論文提出了一種基于圖像處理的車牌識(shí)別系統(tǒng)設(shè)計(jì)，系統(tǒng)分為三個(gè)部分，第一部分，對(duì)采集的圖像進(jìn)行灰度化，圖像平滑，邊緣檢測(cè)等操作以進(jìn)行預(yù)處理。第二部分，對(duì)預(yù)處理后的圖片進(jìn)行車牌定位，并作傾斜矯正。最后使用卷積神經(jīng)網(wǎng)絡(luò)，對(duì)車牌字符分割后提取出來(lái)單個(gè)字符的結(jié)果進(jìn)行識(shí)別。

關(guān)鍵詞：車牌檢測(cè) 圖像處理 圖像分類 卷積神經(jīng)網(wǎng)絡(luò)

1 引言

隨著智能交通系統(tǒng)的快速發(fā)展，車牌識(shí)別技術(shù)作為其中重要的一環(huán)，在交通管理、安全監(jiān)控等領(lǐng)域扮演著至關(guān)重要的角色。傳統(tǒng)的車牌識(shí)別方法在復(fù)雜場(chǎng)景下表現(xiàn)不穩(wěn)定，難以滿足日益增長(zhǎng)的高效、精確識(shí)別需求。本文分析了已有的車牌識(shí)別技術(shù)并將其結(jié)合。先對(duì)獲取的圖像進(jìn)行灰度化和邊緣檢測(cè)，其次對(duì)車牌進(jìn)行定位，并使用Hough變換來(lái)校正傾斜的車牌圖像。最后使用卷積神經(jīng)網(wǎng)絡(luò)，識(shí)別車牌。卷積神經(jīng)網(wǎng)絡(luò)避免了傳統(tǒng)算法中復(fù)雜的字符特征提取過(guò)程，提高了復(fù)雜環(huán)境下車牌字符識(shí)別的準(zhǔn)確性和穩(wěn)定性[1]。

2 圖像預(yù)處理與車牌定位

2.1 灰度化

本文所用的數(shù)據(jù)集為彩色圖像，擁有RGB三個(gè)通道。而灰度圖像只有一個(gè)通道，相比起彩色圖像的多個(gè)通道計(jì)算復(fù)雜度更低。此外，對(duì)于一些情況下，灰度圖像的噪聲影響會(huì)相對(duì)較小。本文使用加權(quán)平均法進(jìn)行灰度化處理，根據(jù)人的視覺(jué)系統(tǒng)對(duì)紅、綠、藍(lán)三種顏色的感知靈敏度，對(duì)紅，綠，藍(lán)三者的權(quán)值賦值分別為0.299、0.578和0.114，灰度化公式如式（2-1）所示：

Gray（i，j）=0.299*R（i，j）+0.578*G（i，j）+0.114*B（i，j）（2-1）

2.2 圖像平滑

圖像平滑是一種用于減少圖像中噪聲與細(xì)節(jié)的技術(shù)，平滑使得輸入圖像變得模糊，但同時(shí)凸顯了圖像的整體邊緣信息，為接下來(lái)的邊緣檢測(cè)打下鋪墊。本文使用了高斯濾波與中值濾波來(lái)進(jìn)行圖像平滑。

高斯濾波是一種常用的圖像平滑技術(shù)，其使用一個(gè)N*N的卷積核對(duì)圖像進(jìn)行卷積操作，越靠近卷積核中心的區(qū)域賦予的權(quán)重越重，而越遠(yuǎn)離卷積核中心的區(qū)域所賦予的權(quán)重就越輕。通過(guò)這種方式，減少圖像中高頻的部分來(lái)減少圖像細(xì)節(jié)，相對(duì)地突出圖片的邊緣和結(jié)構(gòu)信息，這樣做使得圖片更加平滑，但不至于丟失重要信息。

中值濾波是一種圖像處理中常用的非線性平滑技術(shù)，其使用統(tǒng)計(jì)的方式來(lái)降低圖像中的噪聲，并保留圖像的邊緣信息。其原理是對(duì)于圖像中的每個(gè)像素，將其周圍的一組像素（通常是一個(gè)滑動(dòng)窗口內(nèi)的像素）按照灰度值大小排序，然后選擇這組像素中的中間值作為當(dāng)前像素的新值。與高斯濾波相同，其在降噪的同時(shí)，使得圖像的邊緣信息得以相對(duì)突出。

在高斯濾波與中值濾波卷積核大小N的選擇上，本文嘗試使用了3*3，5*5，7*7，11*11與21*21的卷積核，通過(guò)觀察實(shí)驗(yàn)結(jié)果，發(fā)現(xiàn)過(guò)大的卷積核會(huì)導(dǎo)致汽車圖片的邊緣模糊，導(dǎo)致最終無(wú)法定位車牌。在現(xiàn)實(shí)場(chǎng)景中，拍攝車牌所用的攝影設(shè)備質(zhì)量參差不齊，較差的攝影設(shè)備所產(chǎn)生的源圖片本身就較為模糊，且在大多數(shù)拍攝情況下，車輛是移動(dòng)的，這樣拍攝圖片也會(huì)產(chǎn)生運(yùn)動(dòng)模糊。考慮到以上兩點(diǎn)。本文最終在高斯濾波與中值濾波的卷積核大小上，皆選用了3*3的卷積核。

經(jīng)過(guò)圖像平滑操作后，車牌定位的結(jié)果相對(duì)變得準(zhǔn)確，如圖為未經(jīng)過(guò)圖像平滑操作和經(jīng)過(guò)圖像平滑操作后的車牌輪廓篩選結(jié)果，由圖可見(jiàn)未經(jīng)過(guò)圖像平滑操作的汽車圖像在通過(guò)輪廓篩選車牌時(shí)會(huì)產(chǎn)生較多的矩形區(qū)域，對(duì)后續(xù)的定位產(chǎn)生一定干擾，而經(jīng)過(guò)圖像平滑操作的汽車圖像在通過(guò)輪廓篩選的結(jié)果會(huì)較為準(zhǔn)確。

2.3 邊緣檢測(cè)

邊緣檢測(cè)通過(guò)識(shí)別圖像中不同區(qū)域間的輪廓，來(lái)對(duì)圖像進(jìn)行分割，從而去除掉除車牌外的無(wú)用信息，以降低模型訓(xùn)練過(guò)程中的數(shù)據(jù)處理量。本文嘗試使用了Sobel算子對(duì)圖像進(jìn)行水平方向與垂直方向的雙卷積運(yùn)算，Sobel算子屬于梯度幅度檢測(cè)算子，其基本思想是用卷積模板對(duì)檢測(cè)邊緣的圖像進(jìn)行加權(quán)平均，再通過(guò)一階微分計(jì)算實(shí)現(xiàn)檢測(cè)圖像的邊緣。[2]

2.4 二值化

為了對(duì)圖像進(jìn)行下一步數(shù)學(xué)形態(tài)學(xué)處理，需要對(duì)圖像先進(jìn)性二值化，即在圖像中設(shè)立閾值，高于此閾值的像素點(diǎn)變?yōu)榘咨陀诖碎撝档南袼攸c(diǎn)變?yōu)楹谏?/p>

本文嘗試了三種方法設(shè)立閾值，一種是人為設(shè)立全局閾值。這種方法簡(jiǎn)單方便，計(jì)算量低，但可能會(huì)受到圖像中亮度與對(duì)比度的影響。

第二種為使用OTSU算法確立全局閾值，OTSU法是一種自動(dòng)閾值確定方法，通過(guò)將圖像分為背景和背景兩個(gè)部分，使得分割后得到的前景和背景與整幅圖像的類間方差最大。這種方法不需要手動(dòng)設(shè)定閾值，減少了人工干預(yù)的需求，較為方便。而且其不會(huì)受到亮度與對(duì)比度的影響，也擁有一定的穩(wěn)定性，但OTSU法對(duì)圖像中的噪點(diǎn)非常敏感，可能會(huì)導(dǎo)致在噪聲密集的區(qū)域中產(chǎn)生錯(cuò)誤的分割。

第三種為使用局部閾值處理，即通過(guò)計(jì)算圖像中像素點(diǎn)領(lǐng)域的高斯均值，或加權(quán)平均值來(lái)確定局部閾值而非全局閾值。在明暗差異較大，如光照不均勻的圖像中，使用局部閾值處理能有效地保留圖像的細(xì)節(jié)。但由于算法需要計(jì)算每一個(gè)小區(qū)塊的閾值，因此相對(duì)于上述兩種方法的計(jì)算開銷更大。

經(jīng)對(duì)比發(fā)現(xiàn)，對(duì)于清晰度不高的圖像，使用OTSU算法確立閾值與使用自適應(yīng)閾值處理均會(huì)在一定程度上保留噪點(diǎn)，這些噪點(diǎn)在后續(xù)的數(shù)學(xué)形態(tài)學(xué)處理上步驟上會(huì)被放大，從而影響車牌定位。因此最終本文使用了人為設(shè)立全局閾值的方法。

2.5 二值圖像基本形態(tài)學(xué)運(yùn)算

二值圖像基本形態(tài)學(xué)運(yùn)算包括圖像的腐蝕與膨脹，腐蝕的實(shí)現(xiàn)基于填充結(jié)構(gòu)元素的概念，它利用某種結(jié)構(gòu)元素對(duì)一個(gè)圖像進(jìn)行探測(cè)，以便找出在圖像內(nèi)部可以放下該結(jié)構(gòu)元素的區(qū)域。膨脹是腐蝕的對(duì)偶運(yùn)算，可定義為對(duì)圖像的補(bǔ)集進(jìn)行的腐蝕運(yùn)算[3]。通過(guò)一個(gè)類似卷積核的內(nèi)核遍歷圖像實(shí)現(xiàn)。將二值化圖像中的0表示背景，1表示前景。則腐蝕操作為當(dāng)內(nèi)核中的前景將內(nèi)核完全覆蓋時(shí)，將該內(nèi)核中心的單元格的像素置為1，否則置為0。而膨脹操作與此相反，只要內(nèi)核元素的任意部分與圖像中的前景重合，就將內(nèi)核中心單元格的置為1，否則置為0。腐蝕操作有著去除噪點(diǎn)和提取細(xì)節(jié)的作用，而膨脹有連接不連續(xù)物體，和放大物體的作用。

為了讓圖形的輪廓更為突出從而方便車牌的定位，本文將二值化后的圖像進(jìn)行了開閉處理，通過(guò)對(duì)圖像的反復(fù)腐蝕和膨脹，去除二值化后細(xì)小的噪點(diǎn)，并讓車牌區(qū)域的輪廓更加突出，方便后續(xù)的車牌定位。

3 車牌定位

3.1 車牌輪廓篩選

車牌一般為矩形，國(guó)標(biāo)普通轎車等車型，車牌尺寸為440*140mm，長(zhǎng)寬比為3.1，一般以藍(lán)色為底色。大型汽車的后車牌尺寸為440*220mm[6]，長(zhǎng)寬比為2，一般以黃色為底色。而摩托車車牌的前牌與后牌尺寸為220*95mm與220*140mm，長(zhǎng)寬比分別為2.3與1.5。一般以藍(lán)色或黃色為底色。此外，國(guó)內(nèi)部分外資企業(yè)專用汽車也會(huì)使用黑白底色的車牌。綜合以上信息。對(duì)于開閉處理后的二值圖像，本文先進(jìn)行輪廓查找，對(duì)于所有的圖像輪廓進(jìn)行篩選，尋找矩形輪廓。對(duì)所有尋找到的輪廓進(jìn)行篩查，考慮到拍攝角度會(huì)影響圖片中車牌的長(zhǎng)寬比，首先剔除掉長(zhǎng)寬比在1.5-5.5之外的輪廓，經(jīng)過(guò)一輪剔除后，如果有兩個(gè)或以上的矩形輪廓，則利用車牌的顏色特征，進(jìn)一步對(duì)剩下的矩形輪廓進(jìn)行篩查。

3.2 車牌傾斜校正

由于拍攝角度原因，部分車牌在被篩選后為傾斜的圖像，不利于后續(xù)字符分割與字符識(shí)別任務(wù)。本文使用了基于透視變換的傾斜矯正算法矯正定位后的車牌圖像。透視變換的本質(zhì)是將圖像投影至新的視平面[4]。在定位車牌后，可獲得車牌區(qū)域左上角，左下角，右上角，右下角的坐標(biāo)，再將獲取到的點(diǎn)映射到矩形圖像的四個(gè)角落點(diǎn)上，即可獲得傾斜校正后的車牌。

3.3 車牌分割

車牌分割是為了讓卷積神經(jīng)網(wǎng)絡(luò)的識(shí)別結(jié)果更準(zhǔn)確。對(duì)于識(shí)別一個(gè)完整的車牌上的字符，有直接使用卷積神經(jīng)網(wǎng)絡(luò)端對(duì)端的識(shí)別的方法，以及先將車牌分割成單個(gè)字符，再逐步識(shí)別單個(gè)分割字符后的結(jié)果。相對(duì)于直接識(shí)別，先將車牌分割后再逐步識(shí)別的方式準(zhǔn)確率更高，并且這種方式識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練成本也更低，因此本文使用了車牌字符分割技術(shù)對(duì)捕獲到的車牌進(jìn)行處理。

本文嘗試了兩種分割方式嘗試字符分割。一種是基于連通域的字符分割，一種是基于像素直方圖的字符分割。輸入的圖片是定位車牌后的二值化區(qū)域。

基于連通域的字符分割即尋找圖像中具有相同像素值且位置相鄰的組織，對(duì)于找到的每個(gè)連通區(qū)域輪廓，進(jìn)行篩選選掉不為車牌字符的區(qū)域，最終將每個(gè)區(qū)域的坐標(biāo)從小到大進(jìn)行排序，得到每一個(gè)含有字符的車牌區(qū)域。

基于像素直方圖的字符分割即通過(guò)對(duì)二值化后的圖像進(jìn)行水平投影和垂直投影，分別得到水平投影與垂直投影的直方圖。其中水平投影后的直方圖用于去除車牌上下的邊框?qū)ψ址崛〉母蓴_，而垂直投影可以去除左右邊框，并提供每個(gè)字符的位置信息從而進(jìn)一步進(jìn)行分割。

由于基于連通域的字符分割對(duì)噪聲比較敏感，本文最后采用了基于像素直方圖的字符分割方法。對(duì)于水平投影，分別從上下位置開始找最小波谷，上半部分找到的最小波谷，即為車牌字符區(qū)域的頂邊，下半部分找到的最小波谷，即為車牌字符區(qū)域的底邊。對(duì)于垂直投影，從左至右尋找直方圖的波谷，當(dāng)前面的波谷開始上升到某一閾值時(shí)，說(shuō)明當(dāng)前位置為車牌上某字符的開始，當(dāng)垂直投影中的像素個(gè)數(shù)下降到后一個(gè)波谷時(shí)，說(shuō)明當(dāng)前位置為車牌上某字符的結(jié)束位置。由此提取出的矩形區(qū)域即為車牌的字符。

4 卷積神經(jīng)網(wǎng)絡(luò)識(shí)別

傳統(tǒng)的圖像分類算法提取圖像的色彩、紋理和空間等特征，其在簡(jiǎn)單的圖像分類任務(wù)中表現(xiàn)較好，但在復(fù)雜圖像分類任務(wù)中表現(xiàn)不盡人意[10]。本文使用的卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network， CNN）是一種深度學(xué)習(xí)模型，其算法原理基于模仿生物視知覺(jué)機(jī)制構(gòu)建[5]。主要用于對(duì)圖像進(jìn)行分類，分割和識(shí)別。其核心思想是通過(guò)卷積層來(lái)自動(dòng)識(shí)別圖像中的特征。相比起普通的全連接神經(jīng)網(wǎng)絡(luò)，卷積神經(jīng)網(wǎng)絡(luò)擁有局部連接與權(quán)值共享的特征，使得訓(xùn)練模型時(shí)的參數(shù)量大大降低。從而提升了訓(xùn)練的效率，使得大規(guī)模的深層網(wǎng)絡(luò)更容易實(shí)現(xiàn)。卷積神經(jīng)網(wǎng)絡(luò)的主要組成部分為卷積層，池化層與全連接層。

4.1 卷積層

卷積層是卷積神經(jīng)網(wǎng)絡(luò)的核心組件，其單位是卷積核，主要負(fù)責(zé)對(duì)預(yù)處理過(guò)后的單個(gè)字符圖像進(jìn)行特征提取。通過(guò)卷積核在數(shù)據(jù)集的輸入圖像上從左至右，從上至下的移動(dòng)，來(lái)提取車牌數(shù)據(jù)集中文字或及數(shù)字的邊緣角點(diǎn)特征。通過(guò)在網(wǎng)絡(luò)中堆疊多個(gè)卷積層，卷積神經(jīng)網(wǎng)絡(luò)可逐步學(xué)到更高級(jí)的特征，以進(jìn)行復(fù)雜的分類任務(wù)。

4.2 池化層

池化層一般置于卷積層之后，其作用是將感受野中最重要的區(qū)域提取出來(lái)，同時(shí)減小特征圖的尺寸，進(jìn)一步篩選物體的特征，剔除不重要的數(shù)據(jù)信息[9]。有利于減輕神經(jīng)網(wǎng)絡(luò)的負(fù)擔(dān)并降低過(guò)擬合的概率，但由于其縮小了圖像的大小，可能會(huì)降低網(wǎng)絡(luò)的精確度。池化層通過(guò)在特征圖的局部區(qū)域進(jìn)行某種統(tǒng)計(jì)操作（如取最大值）來(lái)生成其輸出。

4.3 全連接層

全連接層的功能是將卷積層和池化層提取的數(shù)據(jù)進(jìn)行進(jìn)一步分析，并通過(guò)回歸函數(shù)進(jìn)行分類整理。圖像在經(jīng)過(guò)卷積層與池化層后，其輸出的特征會(huì)被打平并進(jìn)入全連接層，二維圖像結(jié)構(gòu)會(huì)展開變?yōu)橐痪S向量。全連接層與卷積層不同，其每個(gè)連接都有一個(gè)權(quán)重參數(shù)，總體的參數(shù)量較大。這也使得全連接層能夠捕捉到通過(guò)卷積層和池化層提取特征之間的復(fù)雜關(guān)系，進(jìn)行最終的分類操作。

4.4 訓(xùn)練結(jié)果

本文使用了從中國(guó)31個(gè)省份中收集到的車牌圖像，將其預(yù)處理并分割后得到共12020張20*20的二值化車牌字符數(shù)據(jù)集。按照9：1的比例分割為訓(xùn)練集與數(shù)據(jù)集。使用卷積神經(jīng)網(wǎng)絡(luò)，共訓(xùn)練20輪，最終在測(cè)試集上對(duì)單個(gè)字符的準(zhǔn)確率為0.96。

5 結(jié)語(yǔ)

本文采用了均值灰度化對(duì)圖像進(jìn)行處理，分別采用了高斯濾波和中值濾波平滑圖像，并對(duì)平滑后的圖像進(jìn)行了邊緣檢測(cè)，二值化和開閉處理來(lái)預(yù)處理圖像。通過(guò)形狀和顏色屬性篩選出車牌輪廓，并進(jìn)行車牌傾斜和分割。最后通過(guò)卷積神經(jīng)網(wǎng)絡(luò)對(duì)分割出來(lái)的字符進(jìn)行識(shí)別，提升了車牌識(shí)別的準(zhǔn)確性。

基金項(xiàng)目：廣州軟件學(xué)院科研項(xiàng)目（ky202220）。

參考文獻(xiàn)：

[1]楊金鑫，顏湘炎，王子寧.基于深度學(xué)習(xí)的復(fù)雜場(chǎng)景下車牌識(shí)別算法研究[J].智能計(jì)算機(jī)與應(yīng)用，2023，13（03）：33-38.

[2]薛文格，鄺天福.基于Sobel算子和灰色關(guān)聯(lián)分析的圖像邊緣檢測(cè)[J].楚雄師范學(xué)院學(xué)報(bào)，2023，38（03）：135-140.

[3]高薪，胡月，杜威等.腐蝕膨脹算法對(duì)灰度圖像去噪的應(yīng)用[J].北京印刷學(xué)院學(xué)報(bào)，2014，22（04）：63-65.

[4]王建明，毛一鳴，晏濤等.光場(chǎng)圖像透視變換算法[J].激光與光電子學(xué)進(jìn)展，2019，56（15）：73-80.

[5]余偉.基于卷積神經(jīng)網(wǎng)絡(luò)的車牌圖像識(shí)別技術(shù)實(shí)現(xiàn)[J].信息記錄材料，2022，23（05）：154-156.

[6]白明雷. 基于神經(jīng)網(wǎng)絡(luò)的車牌號(hào)識(shí)別方法研究[D].中國(guó)石油大學(xué)（華東），2018.

[7]曹文平，陳厚錦.一種基于輪廓特征的車牌定位算法[J].汽車實(shí)用技術(shù)，2023，48（12）：44-47.

[8]王世芳，李玉龍.基于卷積神經(jīng)網(wǎng)絡(luò)的車牌號(hào)碼識(shí)別方法[J].長(zhǎng)安大學(xué)學(xué)報(bào)（自然科學(xué)版），2023，43（04）：106-117.

[9]李磊.基于卷積神經(jīng)網(wǎng)絡(luò)的車輛特征識(shí)別技術(shù)研究[J].交通世界，2022（09）：4-5+12.

[10]張珂，馮曉晗，郭玉榮等.圖像分類的深度卷積神經(jīng)網(wǎng)絡(luò)模型綜述[J].中國(guó)圖象圖形學(xué)報(bào)，2021，26（10）：2305-2325.