一種用于車牌識別的圖像超分辨率重建技術(shù)

劉芳華 倪 浩 阮若林 王建峰

1(湖北科技學(xué)院電子與信息工程學(xué)院 湖北 咸寧437100)2(湖北科技學(xué)院生物醫(yī)學(xué)工程學(xué)院 湖北 咸寧437100)3(湖北科技學(xué)院網(wǎng)絡(luò)管理中心 湖北 咸寧 437100)

?

一種用于車牌識別的圖像超分辨率重建技術(shù)

劉芳華1倪 浩1阮若林2*王建峰3

1(湖北科技學(xué)院電子與信息工程學(xué)院 湖北 咸寧437100)2(湖北科技學(xué)院生物醫(yī)學(xué)工程學(xué)院 湖北 咸寧437100)3(湖北科技學(xué)院網(wǎng)絡(luò)管理中心 湖北 咸寧 437100)

獲取的車牌圖像因分辨率過低、過量模糊和噪聲等原因會導(dǎo)致其圖像質(zhì)量較低，影響了車牌識別的準(zhǔn)確率。為了提高車牌識別的準(zhǔn)確率，采用基于學(xué)習(xí)的超分辨率重建算法增強(qiáng)低質(zhì)車牌圖像。引入在線字典學(xué)習(xí)方法訓(xùn)練超完備字典，并制作適合于車牌超分的訓(xùn)練圖集，根據(jù)低質(zhì)車牌圖像重建高分辨率車牌，按照既定的模板匹配方法進(jìn)行車牌識別。實驗表明，超分方法的PSNR和SSIM比經(jīng)典的SCSR(Sparse Coding Super-Resolution)法都有明顯提升，車牌識別率也比SCSR提高了5.0%?？梢?，所提出的算法較好地增強(qiáng)了低質(zhì)車牌的圖像質(zhì)量，有效地提高了識別率。

超分辨率 車牌識別 在線字典學(xué)習(xí) 稀疏編碼

0 引 言

車牌識別技術(shù)主要采用數(shù)字圖像處理技術(shù)對車輛進(jìn)行分析，提取車輛牌照，確定車牌信息。實際應(yīng)用中，受分辨率、環(huán)境光線、污損程度等因素的影響，一些交通視頻監(jiān)控設(shè)備拍攝到的車牌圖像質(zhì)量較低，無法滿足車牌識別等后續(xù)處理的需要，影響車牌識別的準(zhǔn)確率?？衫贸直媛仕惴▽D像質(zhì)量較低的車牌進(jìn)行圖像增強(qiáng)，提高車牌識別的準(zhǔn)確率。

圖像超分辨率重建技術(shù)主要有三種：基于插值的方法、基于重建的方法和基于學(xué)習(xí)的方法?；诓逯档姆椒ɡ靡阎碾x散樣本點去估計未知的中間值，最典型的為雙三次(Bicubic)插值方法。算法簡單快速，但生成的高分圖像過于平滑，振鈴較嚴(yán)重?；谥亟ǖ姆椒ㄍㄟ^數(shù)學(xué)模型來預(yù)測重構(gòu)出高分圖像，典型方法有迭代反向投影、最大后驗概率、凸集投影等。操作簡便，能較好地利用先驗信息，效果比插值法好；但算法復(fù)雜，且解不夠穩(wěn)定，當(dāng)放大倍數(shù)較大時，重構(gòu)圖像質(zhì)量會快速下降。基于學(xué)習(xí)的方法通過一系列訓(xùn)練圖像來學(xué)習(xí)低分圖像和高分圖像之間的關(guān)系，從輸入的低分圖像重建所需的高分圖像。它充分運用了圖像固有的先驗知識，對圖像細(xì)節(jié)恢復(fù)較好，能有效保持邊緣的銳度；但訓(xùn)練樣本的選擇非常重要，重構(gòu)圖像邊緣偽影較明顯，且運算速度較慢。典型的算法有基于實例的方法[1]、鄰域嵌入[2]法、稀疏編碼超分方法SCSR[3]等。字典學(xué)習(xí)方法是基于學(xué)習(xí)的超分方法的關(guān)鍵，Marial提出的在線字典學(xué)習(xí)ODL方法生成的超完備字典比較精確，且適用于大規(guī)模、不確定的訓(xùn)練集，在圖像復(fù)原中的應(yīng)用效果較好[4]。

1 用于車牌識別的超分率重建

車牌識別中運用恰當(dāng)?shù)某炙惴梢暂^好地抑制圖像降質(zhì)因素，增強(qiáng)車牌圖像質(zhì)量，提高車牌識別的準(zhǔn)確率。

1.1 車牌識別流程

基于超分辨率重建的圖像增強(qiáng)技術(shù)可以從原始含車牌圖像或車牌檢測后獲取的低分車牌圖像入手。超分放大原始含車牌圖像時，較大面積的車體和背景區(qū)域圖像也增強(qiáng)了，超分速度就大幅降低了。對于一些超分效果較好但速度相對較慢的基于學(xué)習(xí)的超分算法應(yīng)用到實時車牌識別中時，識別速度難以達(dá)到要求。因此，同時考慮到超分速度和超分效果，文中只對有效區(qū)域即車牌檢測后獲取的低分車牌圖像進(jìn)行超分辨率重建[5](如圖1所示)。由于所處理的車牌圖像為低分辨率車牌，總像素數(shù)在1000左右，文中選擇基于學(xué)習(xí)的超分算法來進(jìn)行圖像增強(qiáng)。一方面保證圖像質(zhì)量，另一方面在超分耗時上不會增加太多，不會影響車牌識別系統(tǒng)的實時性能。

圖1 車牌識別流程圖

將監(jiān)控、相機(jī)拍攝到的彩色車牌圖像轉(zhuǎn)換為灰度圖，用roberts算子進(jìn)行邊緣檢測，確定車牌顏色后轉(zhuǎn)換至HSV空間進(jìn)行車牌定位和校正，獲取彩色低分車牌圖像[6]。再利用超分算法放大，獲取高分彩色車牌圖像后進(jìn)行灰度轉(zhuǎn)換、二值化、均值濾波、腐蝕、膨脹等預(yù)處理操作。然后對得到的車牌索引圖像進(jìn)行字符分割以從中分離出組成車牌號碼的單個字符圖像，對分割出來的字符進(jìn)行預(yù)處理(二值化、歸一化)。最后利用支持向量機(jī)[7]、小波變換[8]等方法，對分割出的字符圖像進(jìn)行分析提取，識別給出文本形式的車牌號碼[9]。

1.2 基于學(xué)習(xí)的超分辨率重建

根據(jù)稀疏表示理論，不同信號可以表示為不同基元的線性組合；利用基元組合的結(jié)構(gòu)，可以保持甚至增強(qiáng)原始信號的局部信息。單幅圖像的超分辨率算法就是通過輸入低分圖像局部區(qū)域的低頻信號找出恢復(fù)目標(biāo)高分圖像細(xì)節(jié)信息的一組基元的過程。而這些基元中，大多數(shù)基元的系數(shù)為0或接近于0，只有少數(shù)非0的系數(shù)在圖像表示中起著關(guān)鍵作用[10]。基于稀疏表示的超分辨率重建模型將高分和低分圖像在空間中分別劃分為圖像塊后，假設(shè)高分辨率空間和低分辨率空間的稀疏表示相同：

xh≈Dhα xl≈Dlα

(1)

式中xh表示高分圖像塊，xl為相應(yīng)的低分圖像塊。根據(jù)拉格朗日乘子式，圖像超分問題可以描述為[3]:

(2)

根據(jù)給定的低分圖像塊yl和已解出的低分字典Dl，可以通過求解下式中的稀疏表示問題得到用于圖像重建的稀疏系數(shù)α：

(3)

則重建的高分圖像塊可以表示為：

yh=Dhα

(4)

把這些圖像塊結(jié)合起來形成目標(biāo)高分圖像Yh0。為了得到較精確的超完備字典，文中引入Marial提出的ODL方法進(jìn)行車牌超分辨率重建。

2 基于ODL的字典訓(xùn)練方法

低分車牌超分辨率重建算法包括字典訓(xùn)練和圖像重建兩部分，前者通過訓(xùn)練得到超完備字典，后者根據(jù)字典和低分車牌圖像重建高分車牌圖像[13]。

2.1 ODL字典學(xué)習(xí)算法流程

第一步，初始化。利用隨機(jī)矩陣、離散余弦變換或標(biāo)準(zhǔn)稀疏編碼方法訓(xùn)練得到初始字典D0∈Ru×k，將At和Bt的初始值設(shè)為A0←0，B0←0。

第二步，稀疏編碼。用最小角回歸法計算：

(5)

采用確定大小的訓(xùn)練集來訓(xùn)練生成稀疏字典。

第三步，更新At和Bt。為了加速算法的收斂，每次迭代選擇了η>1個信號。因此，第t次迭代所選擇的信號可以表示為xt,1,xt,2,…,xt,η，通過迭代更新At和Bt：

(6)

第四步，更新Dt。用Dt-1作為熱啟動，根據(jù)式(5)計算并更新Dt：

(7)

(8)

(9)

其中I為單位矩陣。矩陣At是對稱的，所以：

D = BtAt-1

(10)

其中，t=1,2,…,T為迭代次數(shù)，總迭代次數(shù)T次迭代完成后返回DT，生成最終的稀疏字典。高分字典Dh和低分字典Dl均按照上述步驟分別生成。

2.2 字典更新方法

相對于傳統(tǒng)的基于稀疏編碼的字典學(xué)習(xí)方法，ODL方法的字典根據(jù)其上一數(shù)據(jù)更新，適用于不確定和大規(guī)模訓(xùn)練集[4]。由于式(10)中的全局求解不滿足式(2)中的約束條件，因此必須對字典進(jìn)行逐列更新?？刹捎门ｎD迭代法來更新字典的每一列，則字典更新問題轉(zhuǎn)化為：

(11)

將上式與牛頓迭代法結(jié)合起來得到：

(12)

再進(jìn)行歸一化處理，使其滿足式(2)中的約束條件：

(13)

3 基于ODL的車牌超分辨率重建

根據(jù)上述ODL法生成超完備字典的方法，為得到更為準(zhǔn)確的用于車牌識別的高分車牌圖像，需選擇合適的訓(xùn)練圖集并設(shè)計更為精確的重建算法。

3.1 制作車牌訓(xùn)練圖集

與普通的彩色自然圖像相比，車牌具有特定的圖像結(jié)構(gòu)，如顏色構(gòu)成相對較少、車牌字符邊界等高頻部分的頻率范圍相對較集中等。如果仍然利用自然圖像作為訓(xùn)練圖集，一方面會造成學(xué)習(xí)過程中的誤差累積從而導(dǎo)致最終所學(xué)習(xí)到的超完備字典不夠準(zhǔn)確，另一方面也會增加計算量從而使字典訓(xùn)練過程耗時較長。

圖2 部分車牌訓(xùn)練圖集

因此，本文根據(jù)中國車牌標(biāo)準(zhǔn)圖像制作了車牌訓(xùn)練圖集(如圖2所示)，其中中文字符36個，大小為43×73，英文字符26個，數(shù)字字符10個，大小均為24×46。另外，考慮到完整車牌結(jié)構(gòu)，還制作了1副標(biāo)準(zhǔn)的車牌圖像“京A·F0236”，大小為288×70。由于中國車牌圖像為7位，前1位為中文字符，后6位為英文或數(shù)字，所有車牌都是這72個字符按不同順序重復(fù)排列。因此，在訓(xùn)練過程中，為了得到足夠多的訓(xùn)練圖像塊，提高字典學(xué)習(xí)的精度，文中將上述圖集復(fù)制32份，形成一個足夠大的訓(xùn)練集用于字典訓(xùn)練。訓(xùn)練過程中，根據(jù)既定的超分放大倍數(shù)，圖集中所有圖像均插值縮小相應(yīng)倍數(shù)得到相應(yīng)的低分訓(xùn)練集，形成訓(xùn)練圖像對。字典訓(xùn)練的過程即找出訓(xùn)練集中高分、低分圖像對之間對應(yīng)關(guān)系的過程。

3.2 車牌重建算法

利用ODL方法生成超完備字典對(Dh,Dl)后，由空間鄰域之間的關(guān)系，可以根據(jù)稀疏先驗找到每個局部圖像塊的稀疏表示，即對輸入的低分車牌圖像由式(3)求解重建用的稀疏系數(shù)α，再由式(4)重建生成高分圖像塊yh[14]。這里引入包含4個濾波器的特征提取操作數(shù)F提取車圖像中的高頻部分特征。

(14)

重建后得到的高頻圖像塊重疊一定像素，組合起來形成一副目標(biāo)高分車牌圖像的高頻部分。重疊區(qū)域的重建像素值由幾個預(yù)測值取平均值得到。目標(biāo)圖像的低頻部分由低分輸入車牌圖像簡單插值放大后劃分得到，如Bicubic法、雙線性插值法或最鄰近區(qū)域法等。車牌圖像的高頻、低頻部分相加后得到最終預(yù)測的超分車牌圖像Yh0。

此外，由于存在噪聲，上述稀疏表示方法得到的高分目標(biāo)圖像可能不會嚴(yán)格滿足稀疏約束。因此，文中將Yh0投影到SHX=Y解的空間中來計算，并引入全局約束進(jìn)行優(yōu)化：

(15)

上式可以通過反向投影法求解，可轉(zhuǎn)換為：

(16)

式中的兩項分別為重建約束項和稀疏超分正則項。這個重建框架可以通過梯度遞減的方式進(jìn)行迭代計算：

(17)

重建算法中的這些正則項可以減少重建誤差，使重建圖像更接近原始高分圖像。

4 實驗結(jié)果及分析

車牌檢測和識別對車牌識別的準(zhǔn)確率都有非常大的影響，而本文引入的超分算法是在車牌檢測之后進(jìn)行的。因此，為了盡量把車牌檢測的影響降到最低，只考慮超分算法對最終識別率產(chǎn)生的影響。文中的車牌檢測算法由人工裁剪代替，實驗所用的低分車牌圖像是已裁剪好的車牌圖像。車牌放大倍數(shù)取s=3，相應(yīng)在訓(xùn)練時采用3×3的低分圖像塊和9×9的高分圖像塊。圖像重建時重疊2像素，特征提取操作數(shù)F在Bicubic插值放大2倍后再提取特征；且只對彩色車牌圖像中人眼較為敏感的的亮度部分使用超分算法。

4.1 訓(xùn)練集的影響及PSNR對比

實驗中將輸入低分車牌圖像放大3倍，分別采用Bicubic、SCSR、ODL和本文改進(jìn)算法ODL-Plate，輸入的低分實驗圖像平均尺寸約為75×18。ODL法采用與SCSR相同的自然圖像訓(xùn)練集，應(yīng)用ODL進(jìn)行字典訓(xùn)練后，超分效果較SCSR方法有小幅提升。這是因為SCSR法雖然對車牌字符邊緣銳度恢復(fù)較好，但會產(chǎn)生較為明顯的偽影，而ODL字典學(xué)習(xí)算法對偽影的抑制相對較好。ODL-Plate法采用文中制作的標(biāo)準(zhǔn)車牌訓(xùn)練集代替自然圖像訓(xùn)練集，設(shè)置與SCSR法和ODL法相同的采樣圖像塊數(shù)，n=50 000。從表1中可以看出，ODL-Plate超分法在絕大多數(shù)車牌超分中效果最好，PSNR值比SCSR法平均提升0.22 dB，比ODL法也平均提升了0.13 dB,同時SSIM值最高。雖然在“蘇E·UK722”中PSNR值比ODL法低0.10 dB,但其SSIM卻提高了0.022，表明其圖像結(jié)構(gòu)恢復(fù)較好，這有利于后期的識別操作。

表1 低分車牌超分放大結(jié)果對比

4.2 低質(zhì)車牌識別結(jié)果

表1中的5幅低分車牌圖像，經(jīng)過ODL-Plate超分放大后的圖像通過后續(xù)識別算法均能準(zhǔn)確地識別出來。由于ODL法和SCSR法無法克服字符“H”右上方車牌鉚釘?shù)母蓴_，它們將“京H·G9175”中的“H”錯誤地識別為“R”。雖然Bicubic法插值得到的高分圖像與原圖差距較大，但其輪廓與字符模板匹配較好，5幅測試車牌中字符識別準(zhǔn)確率與SCSR法相當(dāng)。

圖3 車牌識別結(jié)果對比

實驗中除上述已知高分圖像的低質(zhì)車牌用作PSNR和SSIM對比外，還有部分只有低質(zhì)車牌的測試圖像。如圖3中尺寸為47×11的“浙A·A9S87”，四行圖像從上至下超分方法和識別結(jié)果依次為：Bicubic(浙AA95B7)；SCSR(津AA9SB7)；ODL(青AA9SB7)；ODL-Plate(浙AA9S87)。雖然Bicubic法插值的預(yù)處理圖像“浙”字細(xì)節(jié)損失最大，但識別算法仍然可以根據(jù)其輪廓準(zhǔn)確地識別出來；但它后面的“S”和“8”分別被錯誤地識別成形狀相近的字符“5”和“B”。SCSR法和ODL法“浙”中恢復(fù)的細(xì)節(jié)較Bicubic更多，但受偽影等因素的影響，預(yù)處理后形成字符斷點，導(dǎo)致識別錯誤。而ODL-Plate法超分后“浙”和“8”的預(yù)處理輪廓最接近原始字符，因此整幅車牌都能夠準(zhǔn)確識別。

4.3 識別準(zhǔn)確率

為進(jìn)一步統(tǒng)計超分算法對后續(xù)識別操作的影響，文中隨機(jī)在網(wǎng)上選取了80幅車牌圖像，共含560個字符。裁剪成待識別的低分車牌，其中大多數(shù)為模糊和含噪的低質(zhì)圖像，圖像尺寸最小為47×11，最大為108×23。將表1和表2結(jié)合起來看，整體上超分效果越好，車牌識別率和字符識別率越高。SCSR法比Bicubic法稍高，但提升有限，其超分后雖然大部分PSNR有所提升，但超分圖像中的偽影對車牌預(yù)處理算法中的濾波、形態(tài)學(xué)運算等處理產(chǎn)生了干擾，最終影響了識別率。應(yīng)用ODL訓(xùn)練超完備字典后，抑制了超分圖像的偽影，識別率有較大幅度的提升，車牌識別率約提高2.5%。文中ODL-Plate法的車牌識別率最高，比SCSR法提高了約5.0%，字符識別率也相應(yīng)提高了2.1%。

表2 不同超分方法低質(zhì)車牌識別準(zhǔn)確率對比

5 結(jié) 語

以基于在線字典學(xué)習(xí)的超分辨率重建為基礎(chǔ)，本文制作了適合于車牌超分的訓(xùn)練圖集，并引入ODL訓(xùn)練超完備字典，由單幅低分車牌圖像重建高分辨率車牌。按照既定的模板匹配方法進(jìn)行車牌識別后，文中的超分算法能有效地增強(qiáng)低分車牌的圖像質(zhì)量，提高識別率。但文中所涉及到的低分車牌主要定量討論了低分辨率因素，而對于其他的模糊、噪聲等因素只在實驗中與低分圖像一起進(jìn)行了定性的分析。因此，后續(xù)研究中將定量地分析多種降質(zhì)因素對車牌識別算法的影響，結(jié)合圖像去噪和去模糊處理，進(jìn)一步改善用于低質(zhì)車牌識別的圖像增強(qiáng)算法。

[1] Freeman W T,Jones T R,Pasztor E C.Example-based Super-Resolution [J].IEEE Computer Graphics and Applications,2002,22(2):56-65.

[2] Chang H,Yeung D Y,Xiong Y M.Super-Resolution through Neighbor Embedding[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2004,1:275-282.

[3] Yang J C,Wright J,Huang T S,et al.Image Super-Resolution via Sparse Representation [J].IEEE Transactions on Image Processing,2010,19(11):2861-2873.

[4] Mairal J,Bach F,Ponce J,et al.Online Learning for Matrix Factorization and Sparse Coding [J].Journal of Machine Learning Research,2010,11(1):19-60.

[5] 姚振杰，易衛(wèi)東.一種用于車牌識別的圖像超分辨率算法[J].中國科學(xué)院研究生院學(xué)報，2013,30(1):137-143.

[6] 謝永祥，董蘭芳.復(fù)雜背景下基于HSV空間和模板匹配的車牌識別方法研究[J].圖學(xué)學(xué)報，2013,35(4):585-589.

[7] Aghaie M,Shokri F,Tabari M Y Z.Automatic Iranian Vehicle License Plate Recognition System Based on Support Vector Machine (SVM) Algorithms[J].Computer Applications in Engineering Education,2013,2(1):161-174.

[8] Yu S Y,Li BP,Zhang Q,et al.A Novel License Plate Location Method Based on Wavelet Transform and EMD Analysis [J].Pattern Recognition,2015,48(1):114-125.

[9] Uijlings J R,Sande K E,Gevers T,et al.Selective Search for Object Recognition [J].International Journal of Computer Vision,2013,104(2):154-171.

[10] Zeyde R,Elad M,Protter M.On Single Image Scale-Up Using Sparse-Representations [C]//Curves and Surfaces,the 7th International Conference on.Springer,2012:711-730.

[11] Lee H,Battle A,Raina R,et al.Efficient sparse coding algorithms[C]//Advances in neural information processing systems.Nips,2006:801-808.

[12] Michal Aharon,Michael Elad,Alfred Bruckstein.K-SVD:an algorithm for designing of overcomplete dictionaries for sparse representation [J].IEEE Transactions on signal processing,2006,54(11),4311-4322.

[13] Shuyuan Y,Min W,Yiguang C,et al.Single-Image Super-Resolution Reconstruction via Learned Geometric Dictionaries and Clustered Sparse Coding [J].IEEE Transactions on Image Processing,2012,21(9):4016-4028.

[14] Purkait P,Chanda B.Image Upscaling Using Multiple Dictionaries of Natural Image Patches [C]//Computer Vision-ACCV 2012. Springer,2013:284-295.

IMAGE SUPER-RESOLUTION RECONSTRUCTION FOR LICENCE PLATES RECOGNITION

Liu Fanghua1Ni Hao1Ruan Ruolin2*Wang Jianfeng3

1(School of Electronic and Information Engineering,Hubei University of Science and Technology,Xianning 437100,Hubei,China)2(School of Biomedical Engineering,Hubei University of Science and Technology,Xianning 437100,Hubei,China)3(Center of Network Management，Hubei University of Science and Technology,Xianning 437100,Hubei,China)

Some captured license plate images are low-quality because of the low-resolution,blur and noise which affects the recognition accuracy.In order to prove the recognition accuracy,the proposed method employs the sample-based super-resolution to enhance the low-quality licence plate images.It produces the training image set which is suitable for plate recognition and introduces Online Dictionary Learning to get the over complete dictionaries.After the reconstruction of the high-resolution plate image from a low-quality one,the defined template matching method recognizes the plate numbers well.The experiments show that the PSNRs and SSIMs of the proposed method are better than the classical SCSR.The percentage of the plate recognition accuracy is 5.0% higher than SCSR.So the proposed method can enhance the low-quality images and prove the recognition accuracy effectively.

Super-resolution License plate recognition Online dictionary learning Sparse coding

2015-09-05。國家自然科學(xué)基金項目(61271256);湖北省高等學(xué)校優(yōu)秀中青年科技創(chuàng)新團(tuán)隊計劃項目(T201513);湖北省自然科學(xué)基金項目(2015CFB452);湖北省教育廳科研計劃指導(dǎo)性項目(B2015080);湖北科技學(xué)院校級科研項目(KY13048)。劉芳華，講師，主研領(lǐng)域：計算機(jī)教育，圖像處理。倪浩，講師。阮若林，副教授。王建峰，高工。

TP391.9

A

10.3969/j.issn.1000-386x.2016.11.049