畸變車(chē)牌定位與矯正方法研究

（武漢科技大學(xué) 機(jī)械自動(dòng)化學(xué)院 機(jī)械傳動(dòng)與制造工程湖北省重點(diǎn)實(shí)驗(yàn)室，武漢 430000）

0 引言

共享車(chē)庫(kù)實(shí)現(xiàn)了小區(qū)私有車(chē)庫(kù)共享，對(duì)改善城市交通以及改造老舊住宅小區(qū)具有重要意義。建立共享車(chē)庫(kù)首先需要一個(gè)完善的車(chē)牌識(shí)別系統(tǒng)（LPR），以實(shí)現(xiàn)車(chē)牌定位、字符分割和識(shí)別。采集車(chē)牌圖像時(shí)，由于拍攝角度、車(chē)型大小不一等原因常導(dǎo)致出現(xiàn)畸變，而畸變車(chē)牌難以快速定位、矯正，使得車(chē)牌字符分割、識(shí)別無(wú)法順利進(jìn)行。

學(xué)者余剛等對(duì)Hough檢測(cè)[1]方法在機(jī)器視覺(jué)中的應(yīng)用進(jìn)行研究，CNE Anagnostopoulos等[2]提出一種智能交通系統(tǒng)領(lǐng)空間的車(chē)牌識(shí)別算法，這些研究的對(duì)象均處在相對(duì)理想的環(huán)境下。為提高在多顏色車(chē)牌、非均勻光照條件等復(fù)雜場(chǎng)景下車(chē)牌識(shí)別準(zhǔn)確率，算法提出一種畸變車(chē)牌定位與矯正方法，實(shí)現(xiàn)車(chē)牌定位、畸變矯正與字符分割、識(shí)別。

1 圖像預(yù)處理

1.1 灰度增強(qiáng)

形態(tài)學(xué)處理（Morphological Processing）[3]需要將車(chē)牌RGB圖像轉(zhuǎn)變?yōu)榛叶葓D以加快處理速度，灰度化后對(duì)應(yīng)像素點(diǎn)灰度值x與RGB空間下對(duì)應(yīng)像素點(diǎn)R、G、B值關(guān)系：

將灰度值從[x1，y1]非線性擴(kuò)大到[x2，y2]，變換后灰度值：

取[x1，y1]=[0.3,0.7]，[x2，y2]=[0,1]，經(jīng)非線性灰度增強(qiáng)（Grayscale Enhancement）[4]后，灰度值飽和至最低和最高亮度，車(chē)牌區(qū)域得到有效增強(qiáng)，有利于處理非均勻光照條件下的車(chē)牌定位問(wèn)題?；叶仍鰪?qiáng)前后對(duì)比如圖1所示。

圖1 灰度增強(qiáng)對(duì)比圖

1.2 濾波處理

為保護(hù)車(chē)牌區(qū)域邊緣[5]信息，去除灰度增強(qiáng)后產(chǎn)生的高灰度值噪點(diǎn)，使用中值濾波法處理。中值濾波將數(shù)字圖像中一點(diǎn)的值用該點(diǎn)鄰空間各點(diǎn)的中值代替，序列x1，x2，x3，…，xn中值：

2 車(chē)牌定位

算法定位車(chē)牌優(yōu)先使用形態(tài)學(xué)處理獲得車(chē)牌粗定位結(jié)果，之后調(diào)用改進(jìn)的定位子算法對(duì)車(chē)牌區(qū)域進(jìn)行精確定位；若無(wú)法獲得粗定位結(jié)果，則直接調(diào)用定位子算法對(duì)車(chē)牌進(jìn)行定位，大幅提升車(chē)牌定位成功率。

2.1 形態(tài)學(xué)方法粗定位

2.1.1 邊緣檢測(cè)

圖像的邊緣包含了用于識(shí)別的有用信息，圖像的其他特征可以由邊緣基本特征推導(dǎo)出來(lái)。算法使用Roberts算子實(shí)現(xiàn)邊緣檢測(cè)，原理為檢測(cè)函數(shù)的偏導(dǎo)數(shù)，對(duì)應(yīng)圖像中水平和垂直梯度：

其中f(x,y)是輸入圖像，gx、gy是對(duì)應(yīng)梯度，發(fā)生梯度階躍的點(diǎn)即為圖像的邊緣輪廓，邊緣檢測(cè)結(jié)果如圖2所示。

圖2 邊緣檢測(cè)

邊緣檢測(cè)后二值圖像存在很多與車(chē)牌區(qū)域無(wú)關(guān)的邊緣信息，需要進(jìn)一步處理。

2.1.2 形態(tài)學(xué)處理

形態(tài)學(xué)處理主要通過(guò)腐蝕、膨脹與閉運(yùn)算等操作逐步過(guò)濾無(wú)關(guān)信息，形態(tài)學(xué)（Morphology）[6]定義了腐蝕（Erosion）[7]與膨脹（Dilation）兩種基本運(yùn)算，其它運(yùn)算都由這兩種基本運(yùn)算復(fù)合而成。

為處理邊緣檢測(cè)后多余邊緣信息，首先對(duì)邊緣檢測(cè)圖像進(jìn)行腐蝕處理。腐蝕是將與結(jié)構(gòu)元接觸的背景點(diǎn)排除出圖元，定義為：

A被結(jié)構(gòu)元B腐蝕的結(jié)果是所有使B平移z后仍在A中的z的集合，算法使用結(jié)構(gòu)元se1=[1；1；1]。腐蝕操作后，車(chē)牌邊緣特征會(huì)被削弱，為不影響車(chē)牌定位，需使用閉運(yùn)算進(jìn)行平滑邊緣輪廓處理。

閉運(yùn)算由同一結(jié)構(gòu)元對(duì)圖像先腐蝕、后膨脹操作復(fù)合而成，膨脹操作定義為：

其中?是空集，A被B膨脹的結(jié)果是所有滿足結(jié)構(gòu)元素B平移z后，(B)z擊中A的點(diǎn)集合，得閉運(yùn)算定義：

2.2 定位子算法

2.2.1 HSV顏色空間變換

HSV[8]空間中H和S分量代表色彩信息，應(yīng)用于指定顏色分割時(shí)，HSV空間所包含顏色信息多于RGB空間，故算法在HSV顏色空間下對(duì)車(chē)牌圖像進(jìn)行處理。通過(guò)如下變換將車(chē)牌圖像從RGB顏色空間轉(zhuǎn)換為HSV顏色空間：

2.2.2 車(chē)牌定位

設(shè)HSV模型三個(gè)參數(shù)閾值向量p，當(dāng)滿足：

可提取到圖像中目標(biāo)顏色像素點(diǎn)，記y,x為車(chē)牌圖像最大行、列索引，運(yùn)用像素點(diǎn)統(tǒng)計(jì)和行列掃描方法[9]定位車(chē)牌區(qū)域：

1）逐行統(tǒng)計(jì)目標(biāo)像素點(diǎn)數(shù)，并保存在y×1列矩陣中，記為Bluey，查找Bluey最大值對(duì)應(yīng)的行索引MaxY。

2）記By=MaxY，滿足Bluey(By)≥5時(shí)，將By減去1，繼續(xù)判斷Bluey(By)是否滿足條件，滿足條件時(shí)，循環(huán)執(zhí)行By減去1并判斷，逐行索引得車(chē)牌區(qū)域豎直方向的臨界行標(biāo)PY1；同理By加1情況下可得滿足要求的臨界行標(biāo)PY2，故目標(biāo)車(chē)牌區(qū)域在豎直方向PY1、PY2范圍之間。

3）逐列統(tǒng)計(jì)目標(biāo)像素點(diǎn)數(shù)，并保存在1×x行矩陣中，記為Bluex，查找Bluex最大值對(duì)應(yīng)的列索引MaxX。

4）同2）中方法可得目標(biāo)車(chē)牌區(qū)域在PX1、PX2之間。

2.2.3 精定位子算法

在HSV模型定位算法中，H、S、V分量范圍分別為（0，180），（0，255），（0，255），經(jīng)多次實(shí)驗(yàn)得到我國(guó)車(chē)牌常見(jiàn)幾種色彩對(duì)應(yīng)的HSV模型各分量如表1所示。

表1 色彩對(duì)應(yīng)分量范圍

每一個(gè)閾值向量p對(duì)應(yīng)特定顏色的車(chē)牌，本定位子算法在HSV模型定位算法基礎(chǔ)上，通過(guò)設(shè)置多個(gè)閾值向量p，實(shí)現(xiàn)檢測(cè)多種顏色車(chē)牌。

p=[0.56 0.69 0.17 10.171]時(shí)，檢測(cè)的是藍(lán)色信息，對(duì)上述粗定位得到的車(chē)牌RGB圖像使用定位子算法進(jìn)行精定位。粗定位之后精定位效果如圖3所示。

圖3 車(chē)牌粗定位與精定位

子算法在克服傳統(tǒng)方法只能識(shí)別單一顏色車(chē)牌的限制的同時(shí)，可以對(duì)粗定位結(jié)果進(jìn)行精定位，提高車(chē)牌定位精度。

傳統(tǒng)HSV模型定位方法無(wú)法正確定位藍(lán)色車(chē)身的藍(lán)色車(chē)牌并且只能識(shí)別單一顏色車(chē)牌，而該車(chē)牌定位算法結(jié)合了形態(tài)學(xué)處理和基于顏色信息定位車(chē)牌方法的優(yōu)點(diǎn)，經(jīng)預(yù)處理可以排除圖片中車(chē)身藍(lán)色對(duì)車(chē)牌定位的影響，使得形態(tài)學(xué)方法能夠直接定位藍(lán)色車(chē)身車(chē)牌，之后由定位子算法進(jìn)行精定位處理。

3 畸變車(chē)牌矯正

標(biāo)準(zhǔn)Hough變換只能處理車(chē)牌圖像水平傾斜矯正，而無(wú)法處理本算法需要矯正的復(fù)雜畸變車(chē)牌，算法應(yīng)用多次Huogh變換提取車(chē)牌相關(guān)信息，結(jié)合數(shù)學(xué)方法對(duì)畸變車(chē)牌進(jìn)行快速矯正。

3.1 Hough變換

Hough變換可以用于檢測(cè)圖像中車(chē)牌的邊框直線，一條直線可以描述為極坐標(biāo)形式：

θ是x軸與從原點(diǎn)到線上點(diǎn)(x,y)的垂直線之間的角度，ρ是垂直線的長(zhǎng)度。從圖像空間到Hough[10]空間的映射如圖4所示。

圖4 霍夫變換原理

3.2 水平傾斜矯正

水平傾斜矯正需要尋找車(chē)牌對(duì)應(yīng)水平傾斜角，圖像空間中點(diǎn)(xj,yj)對(duì)應(yīng)Hough空間中一條曲線，將定位后車(chē)牌圖像轉(zhuǎn)化到Hough空間 對(duì)應(yīng)曲線由下式給出：

Hough變換將參數(shù)空間設(shè)為一個(gè)累加器，將通過(guò)點(diǎn)(ρ, θ)的曲線數(shù)記錄在累加器中，當(dāng)-90°≤θ≤90°，θ精度為1°時(shí)，設(shè)H(ρ, θ)初始值為0，對(duì)車(chē)牌圖像中所有點(diǎn)依次進(jìn)行如下計(jì)算：

當(dāng)N條H o u g h空間曲線經(jīng)過(guò)點(diǎn)(ρ, θ)時(shí)，有H(ρ, θ)=N。累加矩陣最大值對(duì)應(yīng)的極坐標(biāo) ( ρ0,θ0)即為車(chē)牌最長(zhǎng)邊框所在直線，θ0為車(chē)牌水平傾斜角。對(duì)車(chē)牌圖像逆時(shí)針旋轉(zhuǎn)θ0=8°并重新定位。

3.3 車(chē)牌端點(diǎn)獲取

對(duì)水平矯正后車(chē)牌圖像再次進(jìn)行Hough變換，利用累加器可以檢測(cè)出某一θ角對(duì)應(yīng)線段上端點(diǎn)坐標(biāo)等信息。算法如下：

1）將Hough變換后圖像所有前景色像素點(diǎn)(xj, yj)保存在數(shù)組Tp中。

Ht表示圖像的高，Wt表示圖像的寬。

4）對(duì)所有Tp中像素點(diǎn)，計(jì)算ρ=xjcosθbest+yjsinθbest，若ρ=ρbest， 則將該點(diǎn)存放在另一個(gè)數(shù)組Tp1中。

算法執(zhí)行完后， 數(shù)組Tp1中保存了車(chē)牌下長(zhǎng)邊框像素點(diǎn)(xj，yj)。以此方法，依次從1）開(kāi)始執(zhí)行，排除掉3）中最大值max(H[ρ1][θ1])后，找到次最大值對(duì)應(yīng)(ρ,θ)，得車(chē)牌圖像上長(zhǎng)邊框?qū)?yīng)數(shù)組Tp2。將車(chē)牌邊框四個(gè)端點(diǎn)從左向右、從上到下記為p1，p2，p3，p4。

3.4 垂直傾斜矯正

記M，N為水平矯正并定位后車(chē)牌像素矩陣的行、列最大索引，分別提取目標(biāo)車(chē)牌區(qū)域四個(gè)端點(diǎn)p1，p2，p3，p4橫縱坐標(biāo)得：x=[p1(1)p2(1)p3(1)p4(1)，y=[p1(2)p2(2)p3(2)p4(2)。

矯正后四個(gè)頂點(diǎn)坐標(biāo)對(duì)應(yīng)區(qū)域組成矩陣B=[X(1)Y(1)X(2)Y(2)X(3)Y(3)X(4)Y(4)]，車(chē)牌變換關(guān)系矩陣：

計(jì)算f=A-1×B，得變換系數(shù)：a=f(1)；b=f(2)；c=f(3)；d=f(4)；e=f(5)；f=f(6)；g=f(7)；h=f(8)；全局系數(shù)矩陣：r=[d e f; a b c; g h1]，得矯正后的車(chē)牌四個(gè)端點(diǎn)坐標(biāo)依次為：

從而得到畸變矯正后的車(chē)牌圖像。

4 分割與識(shí)別

對(duì)上述矯正后車(chē)牌圖像進(jìn)行分割與識(shí)別操作，以檢驗(yàn)該車(chē)牌畸變矯正結(jié)果的正確性。

4.1 車(chē)牌圖像全局二值化

用Ostu法對(duì)畸變矯正后車(chē)牌灰度圖二值化，原理如下：記t為目標(biāo)像素與背景的分割閾值，目標(biāo)像素?cái)?shù)占圖像比例為ω0，平均灰度為μ0；背景像素?cái)?shù)占圖像比例為ω1，平均灰度為μ1。圖像的總平均灰度為：μ=ω0(t)μ0(t)+ω1(t)μ1(t)，從最小灰度值到最大灰度值遍歷t，使得值g=ω0(μ0-μ)2+ω1(μ1-μ)2最大時(shí)的t即為最佳分割閾值。

對(duì)車(chē)牌圖像二值化：

其中，BW為二值化后對(duì)應(yīng)像素點(diǎn)灰度值，g(i,j)為該像素點(diǎn)在灰度圖中灰度值，t為最佳閾值。

4.2 字符分割

使用投影法統(tǒng)計(jì)豎直方向灰度值為1的像素點(diǎn)，數(shù)量記為xn，車(chē)牌像素矩陣對(duì)應(yīng)列索引向量R=[x1，x2，…，xn]，對(duì)R進(jìn)行歸一化，當(dāng)xn＞1時(shí)，令該點(diǎn)值xn=1，從左向右逐列掃描R，記錄xn值發(fā)生0、1轉(zhuǎn)換的列索引，將這樣的索引值依次記為y1，y2，…，yn，得向量YT=[y1，y2，…，yn]為車(chē)牌字符分割點(diǎn)，其中每一個(gè)字符區(qū)域向量為Y=[y2n-1，y2n]，其中n≥1，當(dāng)y2n-y2n-1≤5排除掉該區(qū)域。

對(duì)YT進(jìn)行遍歷精確分割車(chē)牌后，效果如圖5所示。

圖5 字符分割

4.3 字符識(shí)別

我國(guó)標(biāo)準(zhǔn)車(chē)牌是由漢字、英文字母和阿拉伯?dāng)?shù)字組成，車(chē)牌字符組合規(guī)則：

1）車(chē)牌第一個(gè)字符是漢字。

2）字符中沒(méi)有字母“I”，避免與數(shù)字“1”產(chǎn)生視覺(jué)錯(cuò)誤。

3）車(chē)牌第二個(gè)字符必須是字母，并且字母“O”只能出現(xiàn)在第二個(gè)字符位置且數(shù)字“0”不會(huì)出現(xiàn)在該位置。

根據(jù)以上規(guī)則，算法使用模板匹配法對(duì)進(jìn)行字符識(shí)別，建立圖6中字符大小為M×N的標(biāo)準(zhǔn)字符模板。

字符識(shí)別步驟如下：

1）將分割后車(chē)牌字符歸一化為M×N二進(jìn)制矩陣。

2）根據(jù)式(17)計(jì)算輸入字符和模板字符二維矩陣之間的相似度D。其中Iij代表輸入車(chē)牌字符，T代表模板字符，(i,j)表示矩陣中像素索引。

圖6 模板

通過(guò)模板匹配得到正確的車(chē)牌號(hào)碼，證明該算法能夠正確定位與矯正畸變車(chē)牌。

5 結(jié)束語(yǔ)

該算法結(jié)合數(shù)學(xué)形態(tài)學(xué)方法解決了傳統(tǒng)定位算法無(wú)法準(zhǔn)確定位藍(lán)色車(chē)牌的弊端，同時(shí)提出一種可以識(shí)別多種顏色車(chē)牌的定位方法，并創(chuàng)新性地使用多次Hoguh變換提取所需車(chē)牌信息，借助數(shù)學(xué)方法對(duì)畸變車(chē)牌進(jìn)行準(zhǔn)確矯正，提高了車(chē)牌分割、識(shí)別準(zhǔn)確率。

經(jīng)實(shí)驗(yàn)分析，所實(shí)現(xiàn)畸變車(chē)牌定位與矯正方法研究可以有效應(yīng)用在多顏色車(chē)牌、非均勻光照條件等復(fù)雜場(chǎng)景下，能夠準(zhǔn)確定位并矯正多種畸變車(chē)牌，具有較大的實(shí)用價(jià)值。