車牌圖像污損區(qū)域的提取和修復方法

楚天鴻，唐瑞尹，翟電杰

(1.華北理工大學 電氣工程學院，河北 唐山 063210；2.北華航天工業(yè)學院 電子與控制工程學院，河北 廊坊 065000)

0 引 言

在現(xiàn)實中，車牌會受到污損，讓車牌識別系統(tǒng)不能識別出正確的結(jié)果。目前，對污損車牌的研究還不多。唐盈[1]提出將車牌圖像的大塊破損區(qū)域和小塊破損區(qū)域分開，分別使用Criminisi算法和CDD模型修復，但難以對大面積的劃痕進行修復；李強等[2]提出一種應(yīng)用模板匹配的方法來識別車牌，卻只能識別出污損區(qū)域較小的車牌字符。

污損車牌圖像的破損區(qū)域能夠被提取出并形成掩膜圖像，再應(yīng)用圖像修復技術(shù)，將車牌圖像恢復到字符清晰可辨的程度，以此來提高車牌識別系統(tǒng)的正確率。

圖像修復技術(shù)是對圖像中受到損壞的區(qū)域進行重建，或去除圖像中多余物體的一門技術(shù)[3]。其中，最具代表性的是Criminisi等提出的Criminisi算法[4]?；诖朔N算法，大量學者對其不足進行了改進。齊玲等[5]引入調(diào)節(jié)因子對優(yōu)先權(quán)進行改進；陶兆勝等[6]提出將局部特征與邊緣紋理分辨相結(jié)合的分段修復算法。劉永等[7]經(jīng)過研究，說明除了優(yōu)先權(quán)、匹配塊等影響因素，待修復區(qū)域的標記也對Criminisi算法的修復效果有一定影響。

本文主要針對藍白色小型汽車車牌的污損區(qū)域，結(jié)合FCM圖像分割算法和區(qū)域生長法進行污損區(qū)域提取，生成掩膜圖像。根據(jù)圖像的特點，對Criminisi算法進行改進，應(yīng)用改進后的Criminisi算法對不同類型圖像的污損區(qū)域進行修復。并采取對比實驗的方法驗證本文算法的可行性和有效性。

1 車牌圖像污損區(qū)域提取

對于車牌圖像污損區(qū)域的提取，大多采用區(qū)域生長法，或是根據(jù)破損區(qū)域與原始圖像的顏色差異進行提取。但對于車牌劃痕來說，劃痕區(qū)域常與車牌字符的顏色相近，無法根據(jù)圖像顏色的差異分割出劃痕，并且若直接對其采用區(qū)域生長法會導致破損區(qū)域與字符連接到一起，提取到錯誤的區(qū)域。因此，上述的方法不能通用于所有車牌的污損情況。

本文將改進后的FCM圖像色彩分割算法與區(qū)域生長法相結(jié)合，對車牌的污損區(qū)域進行提取。

1.1 傳統(tǒng)FCM算法

模糊C均值聚類(FCM)算法是由Bezdek提出的一種基于劃分的聚類方法，通過最優(yōu)化一個模糊目標函數(shù)來實現(xiàn)聚類。現(xiàn)已廣泛應(yīng)用于數(shù)據(jù)挖掘、模式識別、圖像處理等領(lǐng)域[8]。

傳統(tǒng)的FCM算法通過反復迭代來更新隸屬度和聚類中心，其中，目標函數(shù)為

(1)

式中：m是模糊加權(quán)系數(shù)，值大于1；C是預設(shè)聚類數(shù)目；N為樣本數(shù)目；d(xi,vj)表示的是第i個數(shù)據(jù)點與聚類中心vj的歐式距離；uij是第i個數(shù)據(jù)點屬于第j類的隸屬度。為了求含有約束條件的目標函數(shù)的極值，F(xiàn)CM算法中引入了拉格朗日因子，從而構(gòu)造出新的目標函數(shù)

(2)

由式(2)對uij求偏導，就可得到隸屬度值，即

(3)

1.2 污損區(qū)域提取

獲取污損車牌圖像后需對其進行預處理操作，即車牌圖像的定位和校正，具體方法將在實驗驗證時介紹，在此不再贅述。在車牌圖像的污損區(qū)域提取中，應(yīng)用到改進后的FCM算法，用其對污損車牌圖像的色彩進行分割，可輕松地分辨出污損區(qū)域，尤其在車牌圖像劃痕區(qū)域的分辨方面有更高的實用性。之后采用區(qū)域生長法對污損區(qū)域進行選點提取，生成掩膜圖像。

傳統(tǒng)的模糊C均值聚類(FCM)算法需要給定聚類數(shù)目，而彩色圖像分割的效果很大程度上取決于此，若預設(shè)的聚類數(shù)目不準確，分割的結(jié)果就難以保證，從而使后續(xù)的工作受到影響。Asoke K.Nandi等[9]將形態(tài)學處理和中值濾波器加入到FCM算法中，實現(xiàn)了圖像的色彩分割，但在程序運行之前，仍然需要人為地設(shè)定聚類數(shù)目。因此本文在文獻[9]的基礎(chǔ)上，提出了一種自適應(yīng)聚類數(shù)目的FCM圖像色彩分割算法。

首先，對預處理之后的污損車牌圖像用式(4)進行主成分分析(PCA)，得到新的圖像樣本z(i)

z(i)=WTx(i)

(4)

其中，x(i)為原始樣本，WT為原始樣本的協(xié)方差矩陣進行分解后得到的特征值所對應(yīng)的特征向量矩陣。同時獲取第一主成分z(1)的直方圖信息h(1)。圖1為圖像經(jīng)過主成分分析后的效果，圖2為第一主成分的直方圖。

圖1 主成分分析

圖2 第一主成分直方圖

其次，對第一主成分的直方圖利用式(5)進行高斯平滑

(5)

G(x)是高斯函數(shù)，σ=1是其分布參數(shù)。高斯平滑后的直方圖如圖3所示。

圖3 高斯平滑直方圖后圖像

之后，求出直方圖的峰值點數(shù)目。直方圖的每一個峰值點都對應(yīng)著一個區(qū)域，所以峰值點數(shù)目即為聚類數(shù)目[10]。最后，將求出的聚類數(shù)目帶入到文獻[9]的方法中，對圖像進行色彩分割。

污損區(qū)域提取的方法總體步驟如下：

步驟1 獲取車牌圖像并進行定位、校正等預處理工作；

步驟2 對預處理后的污損車牌圖像進行PCA變換，獲取第一主成分的直方圖；

步驟3 利用高斯函數(shù)平滑在步驟2獲取的直方圖；

步驟4 求直方圖峰值點數(shù)目，即確定聚類數(shù)目；

步驟5 對原始圖像進行形態(tài)學重構(gòu)生成圖像，利用新的目標函數(shù)Fm分割圖像，其中

(6)

(7)

(8)

(9)

式中：uil的定義同傳統(tǒng)算法中的uij；是對原圖像f進行形態(tài)學閉操作Rc之后的重構(gòu)圖像，即=RC(f)；l表示灰度級；q為中包含的灰度級數(shù)目；式(9)中的uil為求得的隸屬度值。

步驟6 用中值濾波器對uil進行過濾，得到最終的隸屬度值，生成色彩分割后的圖像；

步驟7 區(qū)域生長法提取污損區(qū)域，即選中圖像污損部分的一點，由此點開始根據(jù)預定規(guī)則進行8鄰域擴展生長，當像素點不符合預定規(guī)則時生長停止，生成掩膜圖像。

經(jīng)過實驗，該方法可輕松區(qū)分出污損區(qū)域，從而準確地提取車牌的劃痕、污漬等污損區(qū)域。

2 污損車牌圖像修復

對于車牌圖像污損區(qū)域的處理，本文將采用圖像修復相關(guān)的算法對污損區(qū)域進行修補，使圖像中的字符恢復到可以識別的程度。

2.1 Criminisi算法

Criminisi算法是一種依據(jù)圖像的紋理信息進行圖像修復的算法，主要由優(yōu)先權(quán)計算、匹配塊搜索、置信度更新3個步驟組成。

(1)優(yōu)先權(quán)計算

圖4為算法原理。圖中I是待修復的破損圖像，Ω是破損區(qū)域，δΩ是破損區(qū)域的邊界部分，Ф是已知圖像區(qū)域。其中I=Ф+Ω。

圖4 Criminisi 算法原理

以邊界上的任意一點p為中心的待修復塊Ψp，其優(yōu)先權(quán)定義為置信度項和數(shù)據(jù)項的乘積

P(p)=C(p)D(p)

(10)

(11)

(2)匹配塊搜索

(12)

(13)

(3)置信度更新

置信度C(p)的更新方法為

(14)

不斷循環(huán)以上步驟，直到破損區(qū)域被填充完整時結(jié)束。

2.2 Criminisi算法存在的問題及改進

首先，在Criminisi算法的第一個步驟中，計算優(yōu)先權(quán)采取置信度項和數(shù)據(jù)項置信度項和數(shù)據(jù)項乘積的方式，這種計算方式讓C(p)的值在修復過程中驟降，使得P(p)的值也隨之降低并趨于0，這會導致優(yōu)先權(quán)計算的結(jié)果錯誤。所以，乘積的方式并不穩(wěn)妥。

其次，Criminisi算法中的匹配塊大小是預先設(shè)定的，而不同大小的匹配塊會直接影響到圖像修復的效果。并且已設(shè)定的匹配塊大小只有一個數(shù)值，在圖像的修復過程中不可更改，但同一幅圖像的不同區(qū)域的信息是不同的，因此可能會出現(xiàn)大的匹配塊填充小區(qū)域或小匹配塊填充大區(qū)域的狀況，導致過度修復或錯誤修復圖像。

改進問題1：針對上述所提出的Criminisi的第一個問題，本文在傳統(tǒng)算法的基礎(chǔ)上，構(gòu)造了新的優(yōu)先權(quán)計算公式。將優(yōu)先權(quán)計算公式的相乘改為相加，引入權(quán)重系數(shù)μ和β，且μ和β的值均在0到1之間。同時將置信度改為指數(shù)函數(shù)eC(p)，這樣可以減緩置信度項的下降趨勢，減少對P(p)的影響。

改進后的優(yōu)先權(quán)計算公式如式(15)

P(p)=μ×eC(P)+(1-μ)×(β×D(p)+1-β)

(15)

改進問題2：圖像梯度可反應(yīng)圖像中的紋理和特征信息。因此，為解決匹配塊大小唯一且需要提前設(shè)定的問題，根據(jù)圖像在不同區(qū)域的結(jié)構(gòu)特征，結(jié)合圖像的局部梯度變化，預設(shè)多個匹配塊大小的數(shù)值，在圖像修復的過程中，就可以根據(jù)不同區(qū)域的具體情況選取合適大小的匹配塊，從而實現(xiàn)自適應(yīng)調(diào)節(jié)匹配塊的大小，改善修復后圖像的效果。具體的改進方法敘述如下。

首先，計算灰度圖像I的梯度值

(16)

其次，計算梯度的均值和方差，同時相除得到g′。式(17)中，pi為像素點

(17)

(18)

最后，根據(jù)車牌圖像破損區(qū)域的特點，利用下列式子選定適合的匹配塊的大小psz

(19)

psz值的設(shè)定可根據(jù)圖像的像素大小以及污損區(qū)域的具體情況進行改動，初始值為9。

改進后的Criminisi圖像修復算法流程如下：

步驟1 尋找破損區(qū)域的待修復邊界δΩ；

步驟2 利用式(15)計算優(yōu)先權(quán)；

步驟4 利用式(19)確定匹配塊的大?。?/p>

步驟7 重復步驟1至步驟6，直至破損區(qū)域被填充完整時結(jié)束。

3 實驗及分析

本文的實驗操作在IntelI CoreI i5-4200U CPU@1.60 GHz 2.3 GHz，內(nèi)存8 GB，win8.1 64位操作系統(tǒng)的PC機上完成，通過MATLAB 2018a軟件平臺編寫程序?qū)崿F(xiàn)本文敘述的所有方法。

為驗證方法的效果，選取光照均勻條件下的藍底白字的污損車牌圖像，其中包括帶有大面積劃痕、泥點等具有代表性的污損車牌圖像。本文實驗均是在車牌圖像定位和校正之后進行操作的。車牌圖像的定位和校正方法如下：

利用車牌底色為藍色的特征，采用基于顏色空間的方法對車牌進行定位。首先將彩色圖像進行色彩空間轉(zhuǎn)換，過濾出藍色信息的區(qū)域，然后對所獲取的區(qū)域進行形態(tài)學處理，根據(jù)車牌的長寬比設(shè)定閾值，進行候選區(qū)域的篩選。最終裁剪出車牌圖像，完成車牌的定位工作。由于車牌圖像會有傾斜的情況，所以應(yīng)用投影法對定位后的車牌圖像進行校正工作。至此，完成對車牌圖像的預處理工作。

3.1 污損區(qū)域提取實驗

實驗中分別采取原始方法和本文方法對30幅不同類型的污損車牌圖像進行污損區(qū)域的提取，本文方法的準確率可達到95%。原始方法對污損區(qū)域的要求較高，只能在對面積小、污漬形態(tài)簡單、污漬與車牌顏色相差較大的污損區(qū)域提取時較為準確，且準確率不達30%。經(jīng)過比較，原始方法經(jīng)常出現(xiàn)提取錯誤的情況，本文方法較原始辦法更為準確有效。尤其對帶有劃痕和復雜污漬的車牌進行污損區(qū)域提取時，效果更為顯著。

選取部分實驗效果圖展示如下。泥點車牌圖像的污損提取如圖5所示。劃痕車牌圖像的污損提取效果如圖6所示。圖7和圖8分別為污跡車牌圖像和涂畫車牌圖像的污損區(qū)域提取效果。

圖5 泥點區(qū)域提取

圖6 劃痕區(qū)域提取

圖7 污跡區(qū)域提取

圖8 涂畫區(qū)域提取

展示的實驗結(jié)果圖中，圖(b)、圖(c)為應(yīng)用原始方法處理圖像的過程及結(jié)果，圖(d)、圖(e)為本文算法。由圖5(c)可見，未進行FCM色彩分割的掩膜圖像在從左至右的第一個污點處有多余的小線條出現(xiàn)；圖6(c)的掩膜圖像帶有完整的車牌字符，且另幾處的污損區(qū)域沒有提取到，錯誤十分明顯；圖7(c)雖沒有提取到車牌字符，但是提取到了非污損區(qū)域，使一半不需要修復的車牌背景圖像都被選中；圖8(c)的長條狀涂畫中出現(xiàn)了多余的毛刺。相比之下，經(jīng)過對待修復圖像進行自動確定聚類數(shù)目的FCM圖像色彩分割，圖5(e)、圖6(e)、圖7(e)和圖8(e)掩膜圖像的白色像素區(qū)域與污損車牌的污損區(qū)域均有很好的對應(yīng)，沒有明顯的錯誤。由此可以看出，本文方法十分有效，具有很強的可行性。

3.2 圖像修復實驗

為驗證改進后的Criminisi算法修復效果的提高，分別利用改進后的算法與傳統(tǒng)Criminisi算法對污損圖像進行修復，將修復后的圖像質(zhì)量進行比較。其中，傳統(tǒng)Criminisi算法的匹配塊大小設(shè)置為9。

由于在實際應(yīng)用時無法獲取車牌受到污損之前的圖像，所以應(yīng)用無參考圖像質(zhì)量評價NIQE(natural image quality evaluator)對修復后的圖像質(zhì)量進行打分。

NIQE是由德克薩斯大學提出的一種圖像質(zhì)量評價算法。該質(zhì)量評價模型不需要原始圖像的主觀評價分數(shù)[11]，通過圖像像素歸一化、獲取顯著圖像塊的特征、計算圖像的質(zhì)量等步驟，利用廣義高斯分布模型GGD(generalized gaussian distribution)以及多元高斯MVG(multivariate Gaussian)模型進行建模，計算相關(guān)參數(shù)，參數(shù)的數(shù)值越大，說明與自然圖像的差距越大，質(zhì)量越差。因此，NIQE的分值越小，說明修復后圖像的質(zhì)量越好。

圖9為本文方法與傳統(tǒng)算法分別對污損車牌圖像進行修復后的圖像效果對比。

修復后車牌圖像的NIQE值見表1。

圖9 污損車牌修復效果對比

表1 修復后車牌圖像NIQE值對比

經(jīng)過多次實驗，最終選取μ=0.1，β=0.9。

由展示的實驗結(jié)果可以看出，使用傳統(tǒng)Criminisi算法修復后的車牌圖像都會出現(xiàn)較為嚴重的錯誤：“甘D”中“3”的下半部分出現(xiàn)了筆畫的向上延伸；“豫K”中字符“3”出現(xiàn)了斷裂，“5”的末尾處有多余的白點；“蘇K”不僅存在殘留的涂畫痕跡，而且字符“0”和“8”出現(xiàn)了黏連，不利于后續(xù)的字符分割工作。剩下的兩幅圖像中都有殘余的涂畫痕跡沒有去除。而且，改進后算法的NIQE分值與傳統(tǒng)算法相比均有所降低。

為了說明本文改進的Criminisi算法具有通用性，除了上述對污損車牌圖像的修復實驗，又選取了多幅受損的自然景觀、靜物圖像進行修復，并對修復后的自然景觀等圖像進行評價打分。

PSNR是一種常用的圖像質(zhì)量評價標準，利用原圖像與修復后圖像的均方差值進行相關(guān)的計算，能夠客觀地對修復后的圖像質(zhì)量進行打分。PSNR計算的分值越大，說明圖像的質(zhì)量越好。為了更準確地驗證本文圖像修復算法的有效性和修復后圖像質(zhì)量的改善，本次采取PSNR(peak signal-to-noise ratio) 峰值信噪比和NIQE兩種圖像質(zhì)量評價標準分別進行打分。

在此展示部分實驗效果圖，如圖10所示。

圖10 自然景觀等圖像修復效果對比

如圖10所示，受損的黃花圖像經(jīng)過傳統(tǒng)Criminisi算法的處理，原受損區(qū)域出現(xiàn)了不應(yīng)存在的花蕊(如圖10(b)中方框選中區(qū)域所示)；粉花圖像經(jīng)過傳統(tǒng)方法的修復，花瓣上出現(xiàn)了多余的黑色條紋狀雜物；在Criminisi算法修復后的桃子圖像中，第一個桃子上方的葉柄被填充到第二個桃子的果肉部分。而應(yīng)用本文方法修復后的圖像中沒有出現(xiàn)明顯錯誤，紋理和顏色方面在視覺上得到了很大的改善。

表2和表3分別展示了修復后景觀圖像的NIQE值和PSNR值。由表中數(shù)據(jù)可知，應(yīng)用本文提出的算法修復后的圖像NIQE值比改進之前的算法下降了0.1-0.4左右，PSNR值提高了4 dB-8 dB。

表2 修復后景觀圖像NIQE值對比

表3 修復后景觀圖像PSNR值對比

上述實驗結(jié)果表明，本文提出的改進后的Criminisi算法具有通用性，不僅對污損車牌圖像，而且對自然景觀、靜物等其它破損圖像均可適用。與此同時，無論是通過人眼的主觀評價還是圖像質(zhì)量評價標準的評分，都可說明本文方法在修復的效果方面較傳統(tǒng)Criminisi算法有很大的提高。

4 結(jié)束語

本文提出了一種車牌圖像污損區(qū)域的提取及修復方法。一方面，為解決車牌圖像污損區(qū)域難以獲取的問題，提出可以自動確定聚類數(shù)目的FCM算法，將其與區(qū)域生長法結(jié)合使用，提取出污損區(qū)域的掩膜圖像。準確率可達到95%。

另一方面，針對傳統(tǒng)Criminisi圖像修復算法對破損圖像的修復效果差的問題，對Criminisi算法進行相應(yīng)改進，改進后的Criminisi算法可以使車牌字符恢復到更加完整的效果，使其它圖像有更好的視覺效果，且計算修復后圖像的NIQE值同傳統(tǒng)Criminisi算法相比更低，PSNR值更高，可知改進后的算法獲得了更佳的效果。