基于低秩紋理特征的車牌傾斜校正方法*

楊 鵬

（浙江工貿(mào)職業(yè)技術(shù)學(xué)院，浙江溫州325003）

基于低秩紋理特征的車牌傾斜校正方法*

楊 鵬

（浙江工貿(mào)職業(yè)技術(shù)學(xué)院，浙江溫州325003）

針對(duì)傳統(tǒng)的基于直線檢測的車牌傾斜校正方法對(duì)車牌邊緣以及噪聲較為敏感，并且不能同時(shí)檢測車牌在水平和垂直方向的傾斜角度的問題，提出了一種基于低秩紋理特征的車牌傾斜校正方法。車牌圖像的低秩先驗(yàn)信息是指對(duì)車牌圖像，當(dāng)車牌在圖像中處于水平或垂直時(shí)，該圖像對(duì)應(yīng)的矩陣的秩是最小的。利用該低秩先驗(yàn)，采取一定的步長對(duì)車牌圖像進(jìn)行仿射變換，通過尋找最小秩對(duì)應(yīng)的變換參數(shù)就可以獲取車牌的傾斜參數(shù)，進(jìn)而對(duì)車牌進(jìn)行傾斜校正。實(shí)驗(yàn)結(jié)果表明，該方法能夠準(zhǔn)確快速地對(duì)車牌進(jìn)行水平和垂直方向的傾斜校正，對(duì)車牌邊緣、光照、噪聲和分辨率等不敏感，具有一定的實(shí)用性。

車牌；傾斜校正；低秩

0 引言

車牌的自動(dòng)識(shí)別是智能交通系統(tǒng)中的一個(gè)重要環(huán)節(jié)。車牌識(shí)別主要包含三個(gè)環(huán)節(jié)：車牌定位，字符分割以及字符識(shí)別。實(shí)際的應(yīng)用場景中，攝像機(jī)的位置通常是固定的，由于車輛姿態(tài)的任意性和隨機(jī)性，得到的車牌圖像可能存在車牌傾斜的情況，這樣，即使能夠準(zhǔn)確得到車牌的位置，但也不能準(zhǔn)確地對(duì)車牌的字符進(jìn)行分割，進(jìn)而也就不能準(zhǔn)確地對(duì)車牌進(jìn)行識(shí)別了。因此，對(duì)車牌進(jìn)行傾斜校正的預(yù)處理操作是提高車牌識(shí)別率的一個(gè)重要步驟。傾斜車牌校正的準(zhǔn)確率將直接影響車牌字符分割的準(zhǔn)確率，進(jìn)而影響車牌的識(shí)別率。

根據(jù)文獻(xiàn)[1]所述，車牌傾斜主要有三種模式：水平方向、垂直方向和混合方向上(水平和垂直方向上的綜合)的。現(xiàn)有的對(duì)車牌傾斜進(jìn)行校正的算法主要有四類[2]：直線檢測法、投影最值法、角點(diǎn)檢測法和主方向分析法。其中最常用的就是直線檢測法，該類方法是利用Hough變換或Radom變換來檢測車牌邊框的兩條最長的平行線，然后計(jì)算該平行線與水平線的夾角，最后根據(jù)該夾角度數(shù)對(duì)車牌進(jìn)行傾斜校正，比如賈曉丹等提出的基于Radom變換的車牌傾斜校正算法[3]，王少偉等提出的基于RGB色彩空間和Hough變換的車牌校正定位算法[4]。該類方法對(duì)車牌的邊緣依賴較大，當(dāng)檢測出來的車牌的邊緣寬度不一致或者不平滑時(shí)，該類方法檢測得到的傾斜角度往往并不是車牌的真實(shí)傾斜角度，并且該類方法僅僅在水平方向?qū)崿F(xiàn)了對(duì)車牌的傾斜校正。吳麗麗[5]和劉威[6]分別提出了利用Radom變換來檢測車牌在水平和垂直兩個(gè)方向的傾斜角度，最后在不同方向上分別對(duì)車牌進(jìn)行傾斜校正，但該方法仍然對(duì)車牌的邊緣依賴性很強(qiáng)，對(duì)噪聲也較為敏感。投影最值法[7,8]是利用車牌在傾斜方向上的投影具有特殊最值的特征，通過一定步長旋轉(zhuǎn)圖像來找到對(duì)應(yīng)該特征的旋轉(zhuǎn)角度，該角度即車牌的傾斜角度。角點(diǎn)檢測法[9]是通過尋找車牌區(qū)域的四個(gè)角點(diǎn)來定位車牌，進(jìn)而對(duì)車牌進(jìn)行傾斜校正。主方向分析法[10]則是利用主成分分析等工具尋找邊緣點(diǎn)在最小均方誤差意義下的特征直線來計(jì)算車牌的傾斜角度，進(jìn)而對(duì)車牌進(jìn)行傾斜校正。

上述這些方法雖然在一定的條件下都能獲得較好的校正效果，但是都依賴于車牌的邊緣信息。當(dāng)存在遮擋、污跡以及光線較暗等情況時(shí)，這些方法不能獲得滿意的校正效果。為了進(jìn)一步提高傾斜車牌校正的準(zhǔn)確性和魯棒性，本文結(jié)合低秩紋理和低秩先驗(yàn)的概念，提出了一種基于低秩紋理特征的車牌傾斜校正算法。該算法首先假定原始未傾斜的車牌圖像是一個(gè)低秩紋理，在該假定條件下首先在旋轉(zhuǎn)變換意義上對(duì)車牌圖像傾斜校正，即采用一定的步長對(duì)圖像進(jìn)行旋轉(zhuǎn)變換，并計(jì)算變換后的圖像的秩，然后找出秩最小的圖像對(duì)應(yīng)的透射變換參數(shù)，并利用該參數(shù)來對(duì)車牌進(jìn)行傾斜校正。在旋轉(zhuǎn)變換完成后，采用同樣的方法在錯(cuò)切變換意義上對(duì)車牌進(jìn)行傾斜校正，這樣就得到了最后的傾斜校正結(jié)果。實(shí)驗(yàn)結(jié)果表明，該方法不依賴于圖像的邊緣信息，在遮擋、污跡以及光線較暗等情況下仍然能夠準(zhǔn)確對(duì)車牌進(jìn)行傾斜校正。

1 低秩紋理和低秩先驗(yàn)

紋理是圖像的一個(gè)重要特征，它能很好地描述圖像的外部輪廓和內(nèi)部細(xì)節(jié)，在計(jì)算機(jī)視覺領(lǐng)域具有舉足輕重的地位。文獻(xiàn)[11]提出了一種全新的紋理表達(dá)方式，稱為低秩紋理（Low-Rank Textures），公式定義為：

r=dim(span{I(x,y0)|y0∈R})≤k （1）

其中I(x,y)是給定平面空間R2上的一個(gè)2D紋理圖像，{I(x,y0)|y0∈R}表示該圖像對(duì)應(yīng)的一維函數(shù)族生成的空間，span{V}表示空間V的一個(gè)低維線性子空間，即空間V的最大線性無關(guān)組，dim表示空間的維數(shù)，此處也就是空間V的最大線性無關(guān)組的個(gè)數(shù)。當(dāng)r存在，并且k足夠小時(shí)，則稱I是一個(gè)秩為r的紋理。

文獻(xiàn)[12]提出了低秩先驗(yàn)的概念，該文指出，大部分自然圖像或人工圖像中的某一個(gè)小塊，如果沿著該塊對(duì)應(yīng)的特征方向旋轉(zhuǎn)，總是能夠形成一個(gè)低秩紋理。

2 仿射變換

仿射變換是一種特殊的投影映射，即將一個(gè)圖片投影到一個(gè)新的平面，但是該投影映射是一種線性變換，即直線經(jīng)過仿射變換之后依然是直線，平行線經(jīng)過仿射變換之后依然是平行線。仿射變換與平移、旋轉(zhuǎn)等簡單的線性變換不同，它是一種組合變換，即通過一系列的簡單變換來實(shí)現(xiàn)，這些簡單的變換包括：平移，縮放，旋轉(zhuǎn)，翻轉(zhuǎn)和錯(cuò)切。

投影映射通用的變換公式如下：

其中[u,v]是變換前的坐標(biāo)，[x′,y′]是變換后的坐標(biāo)，T是變換矩陣。變換矩陣是由四部分組成的，其中為線性變換，包含了縮放、旋轉(zhuǎn)和錯(cuò)切。具體變換結(jié)構(gòu)如下：

T2=為平移變換矩陣，為透視變換矩陣。

1時(shí)，變換矩陣T就成了仿射變換中的一個(gè)基本變換矩陣了。

3 車牌傾斜矯正的流程

傳統(tǒng)的車牌傾斜校正的方法一般為：首先檢測車牌，然后提取車牌的邊緣特征，并根據(jù)車牌的邊緣特征計(jì)算出車牌在水平和垂直方向的傾斜角度，最后根據(jù)傾斜角度對(duì)車牌進(jìn)行傾斜矯正。流程圖如圖1所示。

圖1 車牌傾斜校正流程圖

4 基于低秩紋理的車牌傾斜矯正

結(jié)合低秩紋理的定義以及低秩先驗(yàn)的概念，可以得到一個(gè)重要結(jié)論，那就是一個(gè)具有規(guī)則對(duì)稱結(jié)構(gòu)的圖像通常具有很明顯的低秩紋理特征。我國對(duì)車牌的外廓尺寸大小以及車牌內(nèi)字符的間隔大小等有著嚴(yán)格的定義，因此，車牌圖像可以近似認(rèn)為是一個(gè)具有規(guī)則對(duì)稱結(jié)構(gòu)的圖像，也就是說車牌圖像在不傾斜的情況下，自身就是一個(gè)低秩紋理?；谠摷僭O(shè)，本文提出一種基于低秩紋理特征的車牌傾斜校正的方法，具體實(shí)現(xiàn)步驟如下：

（1）首先進(jìn)行旋轉(zhuǎn)變換意義上的傾斜校正：構(gòu)造一個(gè)1×41大小的變換矩陣組，矩陣組中的每一個(gè)矩陣大小為3×3的矩陣，即變換矩陣T，其中a11=a12=…=a32=a33=1。僅僅改變旋轉(zhuǎn)矩陣中元素的大小即可實(shí)現(xiàn)旋轉(zhuǎn)變換，具體取值為：

（2）然后進(jìn)行錯(cuò)切變換意義上的傾斜校正：構(gòu)造一個(gè)2×21大小的變換矩陣組，矩陣組中的每一個(gè)矩陣大小為3×3的矩陣，即變換矩陣T，其中a11=a12=…=a32=a33=1。僅僅改變錯(cuò)切矩陣中元素的大小即可實(shí)現(xiàn)旋轉(zhuǎn)變換，具體取值為：

由公式（4）和公式（5）可以看出，由于參數(shù)會(huì)按一定的步長進(jìn)行改變，因此，對(duì)于一幅輸入圖像，每一次的變換都會(huì)產(chǎn)生一系列的結(jié)果圖像。每一個(gè)結(jié)果圖像實(shí)際就是一個(gè)矩陣，也就對(duì)應(yīng)一個(gè)秩，即每一次的變換都會(huì)產(chǎn)生一系列的秩。通過尋找最小秩對(duì)應(yīng)的圖像就能夠得到當(dāng)前次變換的最佳變換圖像，該圖像也就是下一次變換的輸入圖像。通過旋轉(zhuǎn)和錯(cuò)切變換后，原來的傾斜車牌圖像就能夠在水平和垂直方向都得到傾斜校正。

5 實(shí)驗(yàn)結(jié)果和分析

為了驗(yàn)證該分割方法的準(zhǔn)確性，在Pentium 3.2 GHz，內(nèi)存16 GB的PC上利用MATLAB-R2014a軟件進(jìn)行實(shí)驗(yàn)。實(shí)驗(yàn)首先對(duì)衣服車牌圖片進(jìn)行人工的透視變換得到傾斜的車牌圖像后，然后再利用本文的算法對(duì)該傾斜車牌圖像進(jìn)行傾斜校正，以此來驗(yàn)證本文算法的可行性。

圖2a是原始的不存在傾斜的車牌圖像，圖2b是人工對(duì)該車牌圖像進(jìn)行旋轉(zhuǎn)和錯(cuò)切變換后的圖像，圖3a是利用基于邊緣特征的方法得到的校正結(jié)果，圖3b是利用本文方法得到的結(jié)果。

由圖3可以看出，基于邊緣特征的方法在垂直方向能夠?qū)嚺胚M(jìn)行準(zhǔn)確的校正，但是在水平方向不能夠進(jìn)行傾斜校正。而基于低秩紋理的方法能夠在水平和垂直方向同時(shí)對(duì)車牌進(jìn)行傾斜校正，得到的校正結(jié)果也較為準(zhǔn)確。

圖2 原始車牌及其傾斜圖像

圖3 基于邊緣特征與基于低秩紋理的傾斜校正結(jié)果

為了進(jìn)一步驗(yàn)證本文算法對(duì)實(shí)際檢測得到的各種傾斜車牌的校正準(zhǔn)確性，實(shí)驗(yàn)選取10幅大小各不相同的車牌圖片來進(jìn)行進(jìn)一步的測試，測試圖片如圖4所示。

圖4 實(shí)際車牌圖像

首先，為了驗(yàn)證算法對(duì)真正車牌區(qū)域的傾斜校正的適用性，通過人工選取車牌區(qū)域的左上點(diǎn)和右下點(diǎn)來確定車牌區(qū)域，然后利用該算法對(duì)車牌進(jìn)行傾斜校正，結(jié)果如圖5所示。

圖5 人工截取車牌區(qū)域后的校正結(jié)果

通過圖5可以發(fā)現(xiàn)，該算法能夠準(zhǔn)確對(duì)車牌進(jìn)行傾斜校正。但是實(shí)際檢測出來的車牌區(qū)域不一定也很難恰好就是車牌的真實(shí)區(qū)域，可能存在一定的擴(kuò)展區(qū)域，就如圖4所示，為了驗(yàn)證該算法對(duì)這種情形的車牌傾斜校正的適用性，本文利用該算法直接對(duì)上述的車牌圖像進(jìn)行傾斜校正，結(jié)果如圖6所示。

圖6 自動(dòng)校正結(jié)果

通過圖6可以看到，該算法的校正結(jié)果不依賴于車牌的真實(shí)區(qū)域，具有很強(qiáng)的魯棒性。

6 結(jié)束語

在實(shí)際檢測的環(huán)境中，由于遮擋、污跡以及光線的原因，車牌邊框與車身的顏色有可能較為類似，這樣基于邊緣特征的傾斜角度檢測就會(huì)失效或出現(xiàn)偏差。同時(shí)，傳統(tǒng)的車牌傾斜校正僅僅對(duì)車牌圖像進(jìn)行仿射變換意義上的傾斜校正，但在實(shí)際環(huán)境中，由于攝像機(jī)拍攝角度的不同，車牌可能存在透視變換意義上的傾斜，因此，傳統(tǒng)的車牌傾斜校正的方法存在一定的不足?；诘椭燃y理的車牌傾斜校正方法不依賴于圖像的邊緣信息，在遮擋、污跡以及光線較暗等情況下仍然能夠準(zhǔn)確對(duì)車牌進(jìn)行傾斜校正，具有一定的應(yīng)用價(jià)值。

[1]薛迎衛(wèi).基于小波變換與支持向量機(jī)的車牌識(shí)別[D].北京化工大學(xué),2009.

[2]李建春,楊星,劉偉,等.車牌傾斜校正研究綜述[J].科技創(chuàng)新導(dǎo)報(bào),2013(1):252-253.

[3]賈曉丹,李文舉,王海姣.一種新的基于Radon變換的車牌傾斜校正方法[J].計(jì)算機(jī)工程與應(yīng)用,2009,44(3):245-248.

[4]王少偉,尚媛園,丁輝,等.一種改進(jìn)的RGB Hough車牌校正定位算法[J].光學(xué)技術(shù),2014(1):9.

[5]吳麗麗,余春艷.基于Sobel算子和Radon變換的車牌傾斜校正方法[J].計(jì)算機(jī)應(yīng)用,2013,33(A01):220-222.

[6]劉威.車牌傾斜校正算法研究[J].制造業(yè)自動(dòng)化,2014,36(22):85-87.

[7]吳一全,丁堅(jiān).基于邊緣點(diǎn)投影方差最小的車牌傾斜校正方法[J].系統(tǒng)仿真學(xué)報(bào),2008,20(21):5829-5832.

[8]吳一全,張金礦.基于投影坐標(biāo)p次方差及粒子群的車牌傾斜檢測[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào),2010,22(1):114-120.

[9]張美多,郭寶龍.車牌識(shí)別系統(tǒng)關(guān)鍵技術(shù)研究[J].計(jì)算機(jī)工程,2007,33(16):186-188.

[10]吳一全,丁堅(jiān).基于K-L展開式的車牌傾斜校正方法[J].儀器儀表學(xué)報(bào),2008,29(8):1690-1694.

[11]Zhang Z.,Liang X.,Ganesh A.,et al.TILT:Transform Invariant Low-Rank Textures[M]Computer Vision-ACCV 2010.Springer Ber?lin Heidelberg,2011:314-328.

[12]Wang R.,Pakleppa M.,Trucco E.Low-Rank Prior in Single Patches for Nonpointwise Impulse Noise Removal[J].Image Processing, IEEE Transactions on,2015,24(5):1485-14.

（責(zé)任編輯：潘修強(qiáng)）

Vehicle License Plate Tilt CorrectionApproach Based on Low-rank Textures

YANG Peng
(Zhejiang Industry&Trade Vocational College,Wenzhou,325003,China)

The traditional license plate tilt correction methods were sensitive to plate edges and noise,and cannot gain the license plate tilt angles in the direction of the horizontal and vertical at the same time.To solve this problem,the paper proposed a license plate tilt correction method based on low-rank texture character.The low rank priori information of a license plate image is that the rank of the image is the smallest when the license plate in the image lies in a horizontal or a vertical state.According to the low rank priori,we can take a certain step size to operate the affine transform for the license plate image,and the tilt parameters can be gained by the corresponding transformation parameters which let the rank of transformation result be the minimum one,therefore we can use the method to correct the license plate tilt.The experimental results show that the method can accurately and fast correct the license plate tilt in horizontal and vertical direction,and is not sensitive to the license plate edge,light,noise and resolution,and then has a certain practical value.

licence plate;tilt correction;low-rank

TP391.41

A

1672-0105(2017)01-0040-04

10.3969/j.issn.1672-0105.2017.01.010

2017-01-10

浙江工貿(mào)職業(yè)技術(shù)學(xué)院2016年度第一期教師科技創(chuàng)新活動(dòng)計(jì)劃項(xiàng)目“車牌傾斜矯正算法研究”(G160107)

楊鵬，男，碩士，浙江工貿(mào)職業(yè)技術(shù)學(xué)院講師，主要研究方向：計(jì)算機(jī)應(yīng)用、教學(xué)管理。