基于最小二乘法和Radon變換的車牌校正算法

陳 航，李曉東，李云紅，田冀達

（西安工程大學 電子信息學院，陜西 西安710048）

0 引 言

作為智能交通系統(tǒng)的重要組成部分，車牌識別系統(tǒng)的實現(xiàn)一般包括車牌定位、字符分割和字符識別3部分.車牌校正屬于車牌定位的一部分.在對車牌進行粗定位后，由于粗定位圖像有傾斜且還包括邊框等其他不屬于車牌字符的區(qū)域，不適合直接分割字符，需要先將粗定位圖像進行傾斜校正，然后對校正后的圖像進行精確定位，找到車牌字符部分圖像，為下一步字符分割打下基礎.

車牌識別算法經(jīng)過多年來的研究和發(fā)展，取得很多進展和成果［1－3］.車牌校正是對車牌字符部分的傾斜和形變進行校正［4］.現(xiàn)階段校正方法主要分為以下幾類，一種是基于主成分分析的校正，它的核心思想主要是將圖像信號進行降維操作，將二維信號通過投影到主成分方向變?yōu)橐痪S信號，求取一維信號的離散度最大的投影方向，也就是方差最大的方向，即為主成分的方向，然后可以將傾斜圖像轉(zhuǎn)換到校正圖像；另外一種方法利用Radon變換，遍歷一定的角度范圍，并對變換后的結(jié)果求一階導數(shù)絕對值的累加和，累加和的最大值對應的角度即為傾斜角，從而得到傾斜圖像的水平傾斜角和垂直剪切角，然后得到轉(zhuǎn)換矩陣，進而求得校正圖像［5－11］；而采用Hough變換主要為檢測圖像中直線，其中最長直線的傾斜角度即為字符傾斜角［12］.這些方法都有各自的優(yōu)點和缺點，基于主成分分析的校正方法計算復雜度要明顯小于基于Radon變換的校正方法，校正速度快，有利于車牌識別的實時性，但是主成分分析法根據(jù)算法原理來看，它只適用于有水平傾斜角，而沒有垂直剪切形變的車牌圖像，而車牌往往不能避免垂直剪切形變，且易受干擾，所以限制了主成分分析的應用范圍.Rough變換主要是通過檢測直線求取傾斜角，但是易受干擾，誤差較大.本文采用最小二乘法，針對字符特征信息點進行擬合，可有效去除一些干擾信息，提高擬合精確度，減少計算復雜度，能夠很好地得出水平傾斜角；在垂直方向采用Radon變換能解決主成分分析法和Hough變換所不能解決的問題，且抗干擾能力強.

1 車牌的傾斜模型

通過圖像采集設備得到的待識別圖像，在排除車牌本身的物理形變外，由于拍攝方向及拍攝角度的問題而使圖像產(chǎn)生傾斜形變，其數(shù)學模型可表示為一張正常的車牌圖像經(jīng)過一次垂直剪切形變和一次水平傾斜形變而得到.而要校正傾斜的車牌圖像，只需要進行此過程的逆操作即可.

首先如圖1（a）所示，對傾斜車牌圖像進行水平校正.此過程相當于將車牌的每個點繞原點逆時針方向轉(zhuǎn)動水平傾斜角度α.設傾斜車牌中一個點為P（x，y），水平校正后的對應點為P′（x′，y′），其變換公式可表示為

水平校正完畢后，進行垂直校正，垂直方向一般是剪切形變，只需要進行剪切變換即可.如圖1（b）所示，y坐標不變，x坐標發(fā)生變化，變換公式為

綜合以上可得，校正算法的本質(zhì)在于在校正圖像與傾斜圖像的像素之間建立了一個映射P″＝AP，再通過插值算法即可得到校正圖像.

2 校正算法的實現(xiàn)

車牌校正算法的目標在于求得變換矩陣A，將校正圖像與傾斜圖像的像素建立對應關系.由前述可得，矩陣A可由Radon變換、Hough變換或者主成分分析法等得到.文中將綜合應用最小二乘法和Radon變換完成車牌校正.

首先采用最小二乘法來對車牌進行水平校正，再利用Radon變換求得垂直剪切角，然后進行剪切變換，最后得到校正圖像.這樣既可改善主成分分析應用局限的問題，又改進了傳統(tǒng)Radon變換求兩個角度方法的實時性.

圖1 校正原理Fig.1 The correction principle

2.1 車牌字符特征點提取

由于主要考慮字符的傾斜角度，所以直接對字符特征點進行數(shù)據(jù)處理，不僅減小了數(shù)據(jù)量，也避免了車牌非字符部分的干擾，也使得所求結(jié)果更為精確.字符特征點的提取方法有基于車牌邊緣信息法和車牌字符區(qū)域邊緣顏色對法等.

其中基于車牌邊緣信息法可以從求垂直和水平差分來得到.首先得到車牌區(qū)域圖像，將其灰度化，逐行求其差分，即左右相鄰兩列像素值相減，可得水平差分圖，然后設定一個閾值，差分值小于閾值的點置0，大于閾值的點置1.

基于車牌字符邊緣顏色對的方法主要是將彩色圖像從RGB空間轉(zhuǎn)換到HSV空間，這樣可避免亮度的干擾，可以在HSV空間通過設定閾值確定像素的顏色.以最為常見的藍白車牌為例，如果一個像素為藍色，而其相鄰像素存在白色，或者反過來，那么這個像素點可確定為字符特征點.

2.2 最小二乘法求水平傾斜角度

求得字符特征點后，將所有特征點放到一個直角坐標系，所有特征點沿著某一個特定方向呈延伸狀，于是通過最小二乘法擬合一條直線，直線的斜率即代表車牌的傾斜角度.

假設擬合直線可表示為φ（x）＝a＋bx，只需要求得a，b即可.根據(jù)最小二乘法原理可知，需要求的函數(shù)為

目標為求得式（3）最小值，其中m為特征點的個數(shù).分別對a，b求偏導數(shù)，令偏導數(shù)為零即可得

用矩陣形式表達

2.3 Radon變換求垂直傾斜角度

可用函數(shù)f（x，y）表示一幅圖像，其中x代表行，y代表列，f為其像素值.而圖像函數(shù)在任意順時針角度θ上的Radon變換定義為

由Radon變換在二維圖像上的實際意義及先驗知識可得，當圖像正常時，列投影的差分絕對值和最大，由此即可求出圖像的垂直傾斜角度.

3 結(jié)果與討論

3.1 求特征點

基于字符邊緣信息得到車牌區(qū)域圖像中的字符特征點.首先將圖2（a）原始圖像轉(zhuǎn)換為灰度圖，由于車牌字符的信息主要集中在垂直方向，所以只需求得水平差分圖，即將圖像的每一列像素與其前一列像素相減.主要算法過程如下：

（1）首先將目標車牌圖像灰度化；

（2）將灰度圖像矩陣的每一列減去與之相鄰的前一列，得到水平差分圖；

（3）設定閾值，將差分圖二值化，得到字符特征圖.實驗結(jié)果如圖2（b）所示.

3.2 水平校正

提取特征圖像中所有的白色像素點，置于直角坐標系中，其中行坐標看作坐標系中的縱坐標，列坐標看作橫坐標，所有白色像素點在坐標系中組成一個數(shù)據(jù)集，采用的最小二乘法擬合算法過程如下：

（1）將得到的特征點移入直角坐標系，其中特征點的列標記為x值，行標記為y值，組成特征數(shù)據(jù)集.

（2）將坐標系中的數(shù)據(jù)集均值歸零化，即用每個點的坐標值減去數(shù)據(jù)集的平均值.

圖2 提取特征前后對比Fig.2 Comparison of feature before and after extraction

（4）根據(jù)得到的傾斜角度，旋轉(zhuǎn)原圖像即可得到校正圖像.校正結(jié)果如圖3（a）所示.

3.3 垂直校正

將水平校正圖像去除上下邊框，然后將垂直校正完畢的圖3（a）進行從［－30°，30°］的Radon變換，找到水平剪切角度，再進行剪切變換得到校正圖像圖3（b）.具體算法步驟如下：

（1）首先將垂直校正完畢的圖像在［－30°，30°］的范圍內(nèi)，以1°為步長對圖像進行Radon變換.

（2）對于每次Radon變換的結(jié)果求一階差分絕對值的累加和.

（3）所以每個角度對應一個差分累加和，找出累加和最大值對應的角度即為車牌字符垂直傾斜角度.

圖3 校正結(jié)果Fig.3 The correction results

3.4 分析與比較

通過實驗過程，可以看到特征點的選取對于水平校正起著關鍵的作用.特征點提取的好壞直接關系著最小二乘法的擬合，需要選擇與車牌字符傾斜方向相關度最大的特征點，同時盡量去除過多的無關特征點，否則會引入噪聲，導致水平校正失敗.

圖4（a），圖4（b）分別采用不同特征點進行校正.其中圖4（a）中特征點擬合的角度為4.24°，圖4（b）為2.00°，同時采用 Radon變換的結(jié)果為4°，而Radon變換的誤差范圍為1°，可知水平傾斜角度為3°～5°，由此可知水平差分特征點擬合結(jié)果最佳.

由上面的實驗結(jié)果以及式（3）可得，它的擬合條件是垂直方向的，與水平差分所表現(xiàn)的特征一致，并且相關性最大.所以選擇水平差分點作為字符傾斜方向特征點是合理的.而且水平校正的準確度與特征點的選取密切相關.

在垂直校正部分，選擇Radon變換求取垂直剪切角，在［－30°，30°］范圍內(nèi)以1°為步長進行的Radon變換，所以誤差為1°，當垂直剪切較小時，可能出現(xiàn)如圖3（b）的第二張校正圖像的情況.

對比最小二乘法和Radon變換，最小二乘法只需要計算矩陣A和B，再求A的逆陣與B相乘即可得到水平傾斜角，而Radon變換法則需要在［－30°，30°］的范圍逐個計算Radon變換，且Radon變換的特征點不會小于最小二乘法，其每個角度Radon變換的計算復雜度比最小二乘法要高，可知Radon變換算法的計算復雜度比最小二乘法要高2～3個量級.

采用Matlab軟件在個人計算機上編程實現(xiàn)算法，并對一個包含200幅測試圖像的圖像集進行算法測試，測試結(jié)果表明有效校正率可達到96%，且相比于Radon變換法，最小二乘法進行水平校正能縮小校正算法運行的平均時間，滿足車牌校正的適用性和實時性的要求.

圖4 根據(jù)不同特征點校正結(jié)果Fig.4 Correction results according to the different features

4 結(jié)束語

校正傾斜圖像一般分為水平傾斜校正和垂直剪切校正.在進行水平校正時，首先通過求圖像的水平差分并設定閾值，確定車牌字符水平傾斜的相關特征點，然后通過水平特征點擬合直線來代表字符水平傾斜角度.在垂直剪切校正時，第二部分通過在［－30°，30°］范圍內(nèi)以1°為步長進行Radon變換尋找到剪切角，最后校正圖像.本文闡述了特征點的選取原則，同時傾斜角度的求取是基于傾斜方向相關特征點的，所以具有很強的抗干擾性.同時也發(fā)現(xiàn)了一些不足，即在垂直剪切校正時，存在校正精度與算法復雜度相矛盾的問題.文中綜合最小二乘法和Radon變換對傾斜車牌進行校正，并通過對特征點選取原則的闡述，為圖像傾斜快速校正提供了一種新思路和方法.

［1］于明，李延果，于洋.融合 Hough與 Radon變換的車牌傾斜校正算法［J］.控制工程，2013，20（6）：1014－1017.YU Ming，LI Yanguo，YU Yang.A license plate tilt correction algorithm combined Hough and Radon transform［J］.Control Engineering of China，2013，20（6）：1014－1017.

［2］劉威.車牌傾斜校正算法研究［J］.制造業(yè)自動化，2014，36（11）：85－87；92.LIU Wei.Study on a novel tilt correction approach of license plate［J］.Manufacturing Automation，2014，36（11）：85－87；92.

［3］陳玲，李熙瑩，盧林.車牌傾斜校正算法研究與改進［J］.計算機與現(xiàn)代化，2013，12：91－97.CHEN Ling，LI Xiying，LU Lin.Research and modification of license plate tilt correction algorithms［J］.Computer and Modernization，2013，12：91－97.

［4］黃驥，吳一全.基于顏色對特征點主成分分析的車牌校正方法［J］.中國圖象圖形學報，2008，13（4）：642－645.HUANG Ji，WU Yiquan.Slant correction of vehicle license plate based on color pair principal component analysis［J］.Journal of Image and Graphics，2008，13（4）：642－645.

［5］吳麗麗，余春艷.基于Sobel算子和 Radon變換的車牌傾斜校正方法［J］.計算機應用，2013，33（增刊）：220－222.WU Lili，YU Chunyan.Tilt correction method of license plate based on Sobel operator and Radon transform［J］.Journal of Computer Applications，2013，33（Suppl）：220－222.

［6］籍美蘋.車牌定位算法的研究［D］.重慶：重慶大學，2014：45－49.JI Meiping.Research on the algorithm of license plate location［D］.Chongqing：Chongqing University，2014：45－49.

［7］杜曉剛.車牌識別系統(tǒng)中牌照定位、傾斜校正及字符分割技術(shù)的研究［D］.太原：中北大學，2013：26－35.DU Xiaogang.License plate recognition system of license plate location and tilt correction and character segmentation technology research［D］.Taiyuan：North University of China，2013：26－35.

［8］ROBERT Jenssen.Kernel entropy component analysis［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2010，32（5）：847－860.

［9］向榮，周慧娟.一種基于數(shù)字圖像處理的精確車牌識別系統(tǒng)［J］.武漢理工大學學報：交通科學與工程版，2013，37（1）：213－215.XIANG Rong，ZHOU Huijuan.A precise digital image processing－based LPR recognition system［J］.Journal of Wuhan University of Technology：Transportation Science ＆ Engineering，2013，37（1）：213－215.

［10］王洪亞.一種改進的 Radon傾斜校正方法［J］.大慶師范學院學報，2013，33（6）：18－21.WANG Hongya.Improved method for Radon tilt correction［J］.Journal of Daqing Normal University，2013，33（6）：18－21.

［11］孫學彬，莫林，張福元.基于垂直線條密度質(zhì)心法的車牌傾斜校正［J］.計算機技術(shù)與發(fā)展，2014，24（8）：161－164.SUN Xuebin，MO Lin，ZHANG Fuyuan.Vehicle license plate tilt correction based on density centroid method of vertical lines［J］.Computer Technology and Development，2014，24（8）：161－164.

［12］王少偉，尚媛園，丁輝，等.一種改進的 RGB Hough車牌校正定位算法［J］.光學技術(shù)，2014，40（1）：35－39.WANG Shaowei，SHANG Yuanyuan，DING Hui，et al.An improved license plate correction and localization algorithm based on RGB Hough［J］.Optical Technique，2014，40（1）：35－39.