L1和L2混合范式超分辨率重建的車牌識別

張　奇　呂曉琪　李銀輝　于荷峰　候　賀　任國印

(內蒙古科技大學信息工程學院　內蒙古 包頭 014010)

?

L1和L2混合范式超分辨率重建的車牌識別

張奇呂曉琪*李銀輝于荷峰候賀任國印

(內蒙古科技大學信息工程學院內蒙古 包頭 014010)

摘要針對視頻中低分辨率圖像的車牌識別準確率低的問題，提出一種結合L1和L2混合范式的序列圖像超分辨率重建的車牌識別技術。首先對序列低分辨率圖像進行L1和L2混合范式超分辨率重建，其次對重建后得到的一幀高分辨率圖像進行基于HSV顏色模型車牌定位，然后對分割出的字符采用方向梯度直方圖和支持向量機相結合的方法進行車牌識別。實驗結果顯示提出的算法對車牌中的字符識別效率高達96%，對比于傳統(tǒng)的基于特征匹配和BP神經(jīng)網(wǎng)絡的車牌識別算法對字符的識別有明顯的改善。結果表明，通過L1和L2混合范式的超分辨率重建處理，將方向梯度直方圖和支持向量機相結合的識別方法對車牌中的字符有較好的識別效果。

關鍵詞L1范式L2范式超分辨率重建方向梯度直方圖支持向量機車牌識別

0引言

車牌識別技術在智能交通管理系統(tǒng)中占有至關重要的地位。在交通管理系統(tǒng)中起到維持道路交通安全運行的重要作用。它的一般處理流程是：車牌定位，字符分割，車牌字符識別。然而，隨著監(jiān)控系統(tǒng)的迅速普及也伴隨著大量不同分辨率圖像的產(chǎn)生，車牌識別系統(tǒng)的發(fā)展速度遠跟不上攝像頭數(shù)目的增加速度。大多數(shù)監(jiān)控采集視頻后，因分辨率較低而無法進行深層的處理也不能得到更多有用的信息。海量監(jiān)控視頻數(shù)據(jù)的有效利用變得可望而不可即。為了降低設備成本，大多數(shù)攝像頭采集的圖像分辨率過低。低分辨率的圖像無法滿足車牌識別中對圖像細節(jié)信息的清晰度要求，使得現(xiàn)有絕大多數(shù)車牌識別系統(tǒng)無法正常識別。所以對序列低分辨率圖像的車牌識別技術研究就變得尤為重要。

常見的車牌識別技術中定位方法有：基于邊緣檢測的方法[1,2]、基于數(shù)學形態(tài)學的定位方法[3,4]、基于小波分析定位的方法[5]和基于圖像顏色信息的方法[6]。文獻[7]提出的邊緣檢測方法，先將圖像進行區(qū)域增強，再通過提取垂直邊緣，將車牌區(qū)域分割出來。其優(yōu)點是計算簡單、速度快，對清晰的和場景較簡單的圖像識別效果較好。腐蝕和膨脹運算是數(shù)學形態(tài)學中的基礎運算，通過數(shù)學形態(tài)學運算可抑制噪聲并有助于圖像分割[8]。然而對低分辨率圖像進行膨脹腐蝕運算得到的定位和識別效果也不理想。文獻[3]在實驗中利用形態(tài)學進行精確定位時先平滑邊緣再利用Sobel進行邊緣增強。二維小波變換主要是濾除圖像背景噪聲，對清晰圖像的邊緣信息影響不大，但當圖像分辨率下降時，會影響到對圖像邊緣的確定，對車牌定位造成一定影響。傳統(tǒng)的字符識別方法主要有特征匹配和BP神經(jīng)網(wǎng)絡。雖然特征匹配方法識別速度較快，但它對字符的識別準確率不高，其根本原因是特征匹配利用既定的一組數(shù)值對字符進行識別，然而實際條件下完成字符分割后得到的字符不是理想條件下的標準字符，這樣對特征的提取就可能造成誤判，從而導致字符的識別錯誤。對于BP神經(jīng)網(wǎng)絡，識別效率相比特征匹配法精準度有較大改善，但識別速度緩慢，且容易出現(xiàn)震蕩現(xiàn)象而導致神經(jīng)網(wǎng)絡無法收斂，使得識別效率受到較大影響。文獻[5]利用的小波變換針對車牌定位消除了光照不均造成的影響。

在字符識別方面常用的算法是特征匹配和BP神經(jīng)網(wǎng)絡，單一的應用一種識別機制不能有效識別車牌信息。文獻[9]提出的BP神經(jīng)網(wǎng)絡結合模板匹配方法實現(xiàn)了較好的識別效率，實驗中訓練字符清晰度在40×20像素，分割后字符利用歸一化變?yōu)橛柧氉址笮?。這樣對圖片本身分辨率也有了一定的要求，這可能使得識別效果受到一定影響。

序列圖像的超分辨率重建可以從根本上提高序列低分辨率圖像的車牌識別效率，因此對圖像的超分辨率重建SR(Super-resolution reconstruction)就變得尤為重要。序列圖像的超分辨率重建算法通過采集序列低分辨率圖像間的互補信息能夠得到一幀高分辨率圖像。首先利用HSV(Hue色調，Saturation飽和度，Value亮度)顏色空間上結合大津法對車牌進行定位。其次，利用垂直投影法對定位出的車牌進行字符分割，得到單個字符。最后，利用字符的梯度方向直方圖HOG(Histograms of Oriented Gradients)特征信息訓練得到的支持向量機SVM(Support vector machine)對分割出的字符進行識別，得出車牌字符串。

1車牌識別技術與設計

車牌識別技術實現(xiàn)流程如圖1所示。

圖1　車牌識別流程圖

由于攝像設備和拍攝環(huán)境的影響，連續(xù)的序列圖像中部分幀受到噪聲和環(huán)境影響較大，所以應對序列圖像進行預處理。預處理的目的是挑選序列圖像中的合格幀。合格幀的條件是：每幀的背景信息基本一致、受到噪聲和環(huán)境影響相對較小。對這些幀進行超分辨率重建，容易利用這些幀之間的互補信息來提高圖像分辨率。選擇出合格幀后，采用高斯濾波對其進行去噪處理。

對視頻中序列圖像預處理后進行序列圖像超分辨率重建。HSV車牌定位根據(jù)車牌的顏色信息，將圖像中的無關顏色信息排除，利用最大類間方差(大津法)進行車牌分割。根據(jù)車牌長寬比及待選區(qū)域車牌橫向跳變數(shù)決定最終車牌區(qū)域，對定位出的車牌區(qū)域進行二值化處理，然后結合垂直投影法得到分割后的單個字符。最后，對分割后單個字符進行歸一化處理成與樣本集圖像大小相同的圖像，計算字符的方向梯度直方圖信息，此信息送入訓練好的分類器進行分類并輸出對應字符，完成車牌識別。

1.1超分辨率重建

監(jiān)控設備硬件的限制因素是獲取的車牌圖像分辨率較低的根本原因，直接更換設備則會帶來巨大的開銷。而且更換了高清設備，對于圖像中景深較大的車牌相對分辨率較低的問題依然是提高車牌識別效率不可逾越的門檻。因此，在車牌識別系統(tǒng)中對圖像進行的超分辨率重建預處理就變得尤為重要。雙邊全變分正則化[10]方法計算效率高，并且邊緣細節(jié)信息保持得較好。雙邊濾波器是一種保邊去噪的濾波器，輸出像素值依賴于鄰域像素值的加權組合，權值大小與像素灰度值之間的差以及像素之間的空間距離有關。BTV正則化函數(shù)為式(1)所示：

(1)

(2)

(3)

其中λ是正則化系數(shù)，平衡保真項和正則項。從計算速度上講，式(3)中的第一項為平方的形式，由于圖像在計算機中是以矩陣的形式存儲，所以平方運算會降低計算速度，而式(2)中的第一項是各個元素絕對值之和，相對于L2范式的平方運算速度明顯加快。

從效果上講，L1范式對拉普拉斯噪聲模型可以很好地保持圖像邊緣細節(jié)，L2范式針對高斯噪聲模型可以平滑圖像。通常在現(xiàn)實的圖像序列中，既有加性高斯噪聲也有脈沖拉普拉斯噪聲，兩種噪聲具有不同的概率密度分布函數(shù)，不能只運用一種濾除噪聲的方法。為了更好地在重建圖像中去除噪聲以及保持圖像邊緣細節(jié)，結合L1范式和L2范式的優(yōu)點，使用混合范式結合BTV正則化算法對序列圖像進行超分辨率重建。

通常情況下圖像中存在多種噪聲，如果圖像中既存在高斯噪聲又存在脈沖噪聲，需要平衡L1范式和L2范式濾除噪聲，所以要選擇合適的參數(shù)。高斯噪聲的概率密度函數(shù)服從正態(tài)分布，脈沖噪聲服從拉普拉斯分布。采用L1和L2混合范式模擬保真項，使得保真項誤差達到最小?；旌戏妒降腂TV正則化函數(shù)如式(4)所示：

3.3 突出學生魅力風格 主動發(fā)揮學生的創(chuàng)新意識與想象力，個性特征與主題相融，增添民族特色的舞蹈元素，充分利用身體動作的不同層次、不同形式及不同軌跡來表現(xiàn)動作連接的過程美；利用器械動作是身體的延伸，根據(jù)各項器械的典型特點，增加器械運用的動作元素，創(chuàng)編不同身體部分，不同方向的器械動作運用來展現(xiàn)動作連接的多維空間效果。鼓勵學生在進行動作時敢于展現(xiàn)自己，淋漓盡致的表現(xiàn)在成套動作的每一細膩環(huán)節(jié)之中，有助于樹立學生自信心，增強學生的表現(xiàn)欲望。

(4)

其中，X是待估計高分辨率圖像，μ是L1范式和L2范式的調節(jié)參數(shù)。要選用合適的參數(shù)μ，使得式(4)的第一項最小，即原始低分辨圖像yk與模擬低分辨率圖像DBMkX之間的差最小。解決這種最優(yōu)化的辦法是采用迭代算法，這里利用梯度下降法，即最速下降法，在圖像重建迭代過程，沿著負梯度的方向收斂到目標函數(shù)的極小值。L1和L2混合范式的保真項梯度函數(shù)和BTV正則項梯度函數(shù)為式(5)：

(5)

式(5)的展開式如式(6)所示：

(6)

實際條件下，由于車輛的光照條件不同，車輛背景信息復雜等因素，單一運用某種方法很難準確定位出車牌區(qū)域。研究采用的圖像數(shù)據(jù)是真彩圖像RGB(Red Green Blue)。由于，HSV模型是根據(jù)顏色直觀特性創(chuàng)造的顏色空間，所以基于HSV的顏色模型與通常見到的RGB圖像對比，能夠更為直接地表示圖像顏色屬性。H代表[0，360)之間的一個角度，0°代表紅色，120°代表綠色，240°代表藍色；S是[0,1]之間的數(shù)值，代表顏色的濃淡程度，0代表該色調的最淡顏色即為白色，1代表該色調的最深顏色；V是[0,1]之間的值，0代表最暗，1代表最亮。RGB模型轉換為HSV模型時，設(r，g，b)為某圖像紅、綠、藍顏色坐標，它們的值是在0到1之間的實數(shù)；(h，s，v)為變換得到的HSV模型坐標。設max等價于r、g和b中的最大者，設min等于這些值中的最小者。RGB到HSV的轉換[11]關系式如式(7)所示：

(7)

由于車牌的顏色信息相對明顯，特別是在車牌圖像的分辨率較低時，在各類噪聲、背景信息復雜、設備條件有限等影響下，采用基于車牌顏色信息的車牌定位方法，并結合車牌的長寬比，以及定位區(qū)域二值圖像的橫向跳變數(shù)等信息對預處理之后的車牌圖像進行定位，能夠達到較好的定位效果。

1.3車牌字符識別

方向梯度直方圖描述子是一種在計算機視覺和圖像處理中用來進行物體檢測的特征描述子。該方法使用圖像本身的梯度方向特征，是由法國計算機技術和控制研究所(INRIA)的Navneet Dalal[12]等提出的，他們最初將該算法應用于靜態(tài)行人檢測。

HOG算法原理在圖像規(guī)定的塊區(qū)域及單元區(qū)域中是利用圖像的梯度特征信息作為參數(shù)，對圖像進行特異性區(qū)別的算法。算法中函數(shù)f(x,y)，在其坐標(x,y)上的梯度通過梯度模板來計算水平和垂直方向的梯度：

Gh(x,y)=f(x+1,y)-f(x-1,y)?x,y

(8)

Gv(x,y)=f(x,y+1)-f(x,y-1)?x,y

(9)

式(8)和式(9)分別表示該像素點的水平和垂直梯度值。該像素點的梯度值(梯度強度)以及梯度方向為：

(10)

θ(x,y)=arctan(Gh(x,y)/Gv(x,y))

(11)

對于梯度方向的范圍限定，一般采用無符號的范圍，故梯度方向如式(12)所示：

(12)

HOG表示的是邊緣(梯度)的結構特征，因此可以描述局部的形狀信息；位置和方向空間的量化在一定程度上可以抑制平移和旋轉帶來的影響；采取在局部區(qū)域歸一化直方圖，可以部分抵消光照變化帶來的影響。由于在一定程度忽略了光照顏色對圖像造成的影響，使得圖像所需要的表征數(shù)據(jù)的維數(shù)得到降低。而且由于它這種分塊分單元的處理方法，也使得圖像局部像素點之間的關系可以很好地得到表征。

支持向量機是一種分類器，所做實驗中要進行分類的字符至少有34個類別。故其核函數(shù)的目的是將訓練樣本映射到更有利于可線性分割的樣本集。映射的結果是增加了樣本向量的維度，這一過程通過采用高斯徑向基函數(shù)內核RBF(Radial basis function kernel)來完成。徑向基函數(shù)內核是支持向量機分類中最為常用的核函數(shù)[8]。

關于兩個樣本x和x′的RBF核可表示為某個“輸入空間”的特征向量，它的定義如式(13)所示。 設一個新的參數(shù)γ，其表達式為γ=-1/2σ2：

(13)

(14)

2實驗結果與分析

據(jù)實際測試，把44×14像素點的車牌區(qū)域(車牌矩形是440 mm×140 mm)作為現(xiàn)今視頻中的低分辨率的車牌區(qū)域。驗證使用單純得將圖像同比例放大的方法使得車牌區(qū)域為88×28像素點是同樣無法進行識別的，必須采取序列圖像超分辨率重建方法對圖像有效信息增強。對于序列圖像進行L1和L2混合范式的超分辨率重建后得到的高分辨率圖像，噪聲得到濾除，識別起來相對容易。

車牌識別的關鍵技術是對HOG梯度方向的計算。如圖2中的虛線框區(qū)域內所示。

圖2　字符訓練流程圖

從表1可以看出，L1和L2混合范式的超分辨率重建得到圖像相比于L1范式及L2范式單一的超分辨率重建算法得到的圖像峰值信噪比分別提高了10.7%和18.3%。得到最大的峰值信噪比圖像進行車牌識別時能更好地利用圖像的有效信息。

表1　不同圖像峰值信噪比　　　　　單位：DB

實驗中采用的實驗數(shù)據(jù)是交通路口監(jiān)控拍攝圖像序列低分辨率圖像，低分辨率圖像大小為寬度128像素，高度128像素。超分辨率重建后圖像大小為寬度512像素，高度512像素。實驗環(huán)境，Windows 7操作系統(tǒng)，VS2010開發(fā)平臺。

序列低分辨率圖像和L1范式超分辨率重建圖像，L2范式超分辨率重建圖像，L1和L2混合范式超分辨率重建效果圖對比如圖3所示。

圖3　原始序列低分辨率圖像和三種重建方法效果對比圖

圖3中(a)圖為序列低分辨率圖像其中四幀圖像車牌部位截圖，(b)圖為L1范式超分辨率重建圖像車牌部位截圖，(c)圖為L2范式超分辨率重建圖像車牌部位截圖，(d)圖為L1和L2混合范式超分辨率重建圖像車牌部位截圖?？梢钥闯觯琇1和L2混合范式超分辨率重建圖像更加清晰；分析圖像的峰值信噪比如表1所示，可以看出L1和L2混合范式超分辨率重建圖像的峰值信噪比最高，較高的峰值信噪比也能夠提高車牌定位和字符分割效率。

提出的車牌識別技術中定位算法與傳統(tǒng)車牌定位方法效果對比，如圖4所示。

圖4　不同方法對SR圖像定位效果對比

由圖4中為不同定位算法對SR圖像定位效果的對比；(a)為Canny邊緣檢測算法定位效果，車牌部位邊緣信息復雜易造成干擾；(b)為數(shù)學形態(tài)學算法定位效果，在腐蝕和膨脹運算時可能丟掉或者多出部分車牌信息造成定位不理想；(c)為小波變換時定位效果，采用以個基函數(shù)導出的小波函數(shù)難以在不同尺度上準確地逼近局部信號特征，因此降噪預處理時的重構信號會丟失原有的時域特征；(d)為本文算法，基于HSV顏色模型的車牌定位效果圖，由于顏色信息明顯，再車牌特有信息能夠更好定位出車牌區(qū)域。

車牌初定位之后，在字符分割之前采用圖像的歸一化處理，使得定位后的車牌區(qū)域擁有相對較少無關像素。然后，采用垂直投影和水平投影的方法進行字符分割出單個字符。該方法效率較高準確性好。分割過程如圖5所示。

圖5　水平投影和垂直投影效果圖

車牌字符識別的準備工作是得到較高準確率的SVM分類器。圖6是對SVM進行訓練的訓練集和測試集的部分字符。字符的大小選擇的是的大小是16×32像素的二值字符圖像。利用3400個車牌字符圖像(1000個數(shù)字字符，2400個字母字符，每個字符的訓練集是100個)進行HOG特征提取并送入SVM進行字符訓練，得到在車牌字符識別過程中所用的分類器。最后再利用測試集字符樣本對分類器進行測試，得到字符識別正確率，從而評價分類器的好壞。如表2所示。

圖6　部分訓練集所用的字符

訓練字符種類訓練集個數(shù)測試集個數(shù)字符正確率10個數(shù)字1000100098.2%24個字母2400240097.6%

利用垂直投影法得到的單個字符有序地送入訓練好的分類器中進行識別，分類器依次輸出識別后對應的字符，得到最終車牌字符。HOG和SVM相結合的算法與其他算法的識別效果對比，如表3所示。

表3　字符識別數(shù)據(jù)統(tǒng)計

通過表3可知，L1和L2混合范式的序列圖像超分辨率重建算法得到的字符識別率明顯優(yōu)于單獨利用其中任何一種范式的超分辨率重建算法得到的字符識別率。而利用HOG和SVM相結合的字符識別方法所得到的字符識別了也優(yōu)于單獨利用特征匹配或BP神經(jīng)網(wǎng)絡所得到的字符識別率。從數(shù)據(jù)上可以看出HOG和SVM的字符識別方法結合L1和L2混合范式的序列圖像超分辨率重建算法對序列低分辨率圖像中車牌字符的識別準確率最高。

實驗證明，結合L1和L2混合范式的超分辨率重建的車牌識別方法能夠準確有效地識別出低分辨率圖像中車牌的字符。

3結語

車牌識別技術在智能交通系統(tǒng)中占有著不可或缺的關鍵地位，采用基于HSV顏色模型的車牌定位方法對超分辨率重建后的車牌進行精確定位，比較了結合L1和L2混合范式的序列圖像超分辨率重建的HSV顏色模型定位的優(yōu)點。分析了傳統(tǒng)字符識別算法的優(yōu)缺點，對傳統(tǒng)的特征匹配方法和BP神經(jīng)網(wǎng)絡做了調試實驗并與HOG和SVM相結合的算法的識別效果進行了比較。實驗證明，提出的車牌識別算法序列低分辨率圖像中的車牌字符進行有效識別，能夠達到良好的識別效果，使得字符識別的準確率進一步得到提高，有很好的應用價值。

參考文獻

[1] 劉濛,吳成東,樊玉泉,等.復雜背景圖像中的車牌定位算法[J].中國圖象圖形學報,2010,15(9):1357-1362.

[2] 王磊,王瀚漓,何良華.基于雙邊檢測的車牌識別算法[J].計算機工程與應用,2013,49(8):169-173.

[3] 郭航宇,景曉軍,尚勇.基于小波變換和數(shù)學形態(tài)法的車牌定位方法研究[J].計算機技術與發(fā)展,2010,20(5):13-16.

[3] 韓麗萍,藥春暉,張文格,等.基于小波變換和形態(tài)學的車牌定位方法[J].測試技術學報,2006,20(1):46-49.

[5] 馬永一,宋錚,丁勇.小波變換在車牌定位算法中的應用[J].交通與計算機,2008,26(1):65-68.

[6] 鄭成勇.一種RGB顏色空間中的車牌定位新方法[J].中國圖象圖形學報,2010,15(11):1623-1628.

[7] Zheng D,Zhao Y,Wang J.An efficient method of license plate location[J].Pattern Recognition Letters,2012,26(15):2431-2438.

[8] 戴青云,余英林.數(shù)學形態(tài)學在圖像處理中的應用進展[J].控制理論與應用,2001,18(4):478-482.

[9] 咼潤華,蘇婷婷,馬曉偉.BP神將網(wǎng)絡聯(lián)合模板匹配的車牌識別系統(tǒng)[J].清華大學學報:自然科學版,2013,53(9):1221-1226.

[10] Zeng X,Yang L.A robust multi-frame super-resolution algorithm based on half-quadratic estimation with modified BTV regularization[J].Digital Signal Processing,2013,23(1):98-109.

[11] 袁奮杰,周曉,丁軍,等.基于FPGA的RGB和HSV色空間轉換算法實現(xiàn)[J].電子器件,2010,33(4):493-497.

[12] Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection[J].Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,4(14):671-679.

[13] Vert J,Tsuda K,Sch?lkopf B.A primer on kernel methods.Kernel Methods in Computational Biology[M].MIT Press,2004:50-63.

[14] Smola A,Vishwanathan S.Introduction to Machine Learning[M].Cambridge University press,2009:150-153.

[15] Xiaoxuan Chen,Chun Qi.A Super-resolution method for recognition of license plate character using LBP and RBF[J].IEEE International Workshop on Machine Learning for Signal Processing,2011,9(10):8-21.

收稿日期：2014-12-27。國家自然科學基金項目(61179019)；內蒙古科技大學創(chuàng)新基金項目(2014QDL045)。張奇，碩士生，主研領域：圖像處理。呂曉琪，教授。李銀輝，碩士生。于荷峰，碩士生。候賀，碩士生。任國印，講師。

中圖分類號TP391.41

文獻標識碼A

DOI:10.3969/j.issn.1000-386x.2016.07.041

LICENSE PLATE RECOGNITION SYSTEM WITH MIXED L1AND L2NORM SUPER-RESOLUTION RECONSTRUCTION

Zhang QiLü Xiaoqi*Li YinhuiYu HefengHou HeRen Guoyin

(SchoolofInformationEngineering,InnerMongoliaUniversityofScienceandTechnology,Baotou014010,InnerMongolia,China)

AbstractFocusing on the problem of low recognition accuracy of license plate in low resolution video images, we put forward a license plate recognition technology which is based on sequence image super-resolution reconstruction with mixed norm combining L1 and L2. First, we made super-resolution reconstruction using mixed L1 and L2 norm on sequence low resolution image. Secondly, on a high-resolution image derived from the reconstruction we located the license plate based on HSV colour model, and then identified the license plate by applying the method of combining orientation gradient histogram and support vector machine on the segmented characters. Experimental results showed that the recognition efficiency of the proposed algorithm on the characters in licence plates was as high as 96%, and had a significant improvement in character recognition compared with the traditional feature matching-based algorithm and BP neural network licence plate recognition algorithm. The result demonstrated that through the processing of mixed L1 and L2 norm super-resolution reconstruction, the recognition method combining the orientation gradient histogram and support vector machine has better recognition effect on license plate characters.

KeywordsL1 normL2 normSuper-resolution reconstructionHistogram of orientation gradientSupport vector machine (SVM)License plate recognition