一種編解碼結(jié)構(gòu)的車牌圖像超分辨率網(wǎng)絡(luò)

徐勝軍,鄧博文,史亞,孟月波,劉光輝,韓九強(qiáng)

(1.西安建筑科技大學(xué)信息與控制工程學(xué)院,710055,西安; 2.西安市建筑制造智動(dòng)化技術(shù)重點(diǎn)實(shí)驗(yàn)室,710055,西安;3.西安交通大學(xué)電子與信息學(xué)部,710049,西安)

車牌識(shí)別技術(shù)作為智能交通系統(tǒng)的重要組成部分,其主要任務(wù)是利用采集的車輛圖像提取車牌相關(guān)特征信息,并有效對(duì)車輛進(jìn)行身份識(shí)別。因此,準(zhǔn)確的車牌識(shí)別技術(shù)在智能交通管理系統(tǒng)中顯得尤為重要[1],然而室外場景下捕獲的車牌圖像存在各種復(fù)雜干擾因素,主要包括:①惡劣天氣如濃霧、雨、雪等環(huán)境因素導(dǎo)致車牌成像模糊、污損等問題;②攝像機(jī)拍攝角度導(dǎo)致車牌成像存在較大扭曲、傾斜等問題,這些問題為車牌的準(zhǔn)確識(shí)別帶來很大的挑戰(zhàn)[2]。

車牌圖像重構(gòu)是解決模糊、污損、扭曲、傾斜車牌圖像準(zhǔn)確識(shí)別問題的重要途徑之一。隨著計(jì)算機(jī)視覺的發(fā)展,越來越多的研究人員對(duì)圖像重構(gòu)問題進(jìn)行了深入的研究[3-4]，車牌重構(gòu)的研究方法主要分為基于傳統(tǒng)機(jī)器學(xué)習(xí)的車牌重構(gòu)方法、基于圖像超分辨率的車牌重構(gòu)方法和基于深度學(xué)習(xí)的車牌重構(gòu)方法。

基于傳統(tǒng)機(jī)器學(xué)習(xí)的車牌重構(gòu)方法主要通過機(jī)器學(xué)習(xí)算法將扭曲、傾斜的車牌圖像進(jìn)行還原和恢復(fù),這些方法主要包括霍夫變換法、色域模型法、投影變換法等[5-8]?；舴蜃儞Q法對(duì)圖像邊界的變形較為敏感且受超參數(shù)較大,在對(duì)含噪聲較大的車牌圖像,如車牌邊框成像不清晰或車牌邊框有遮擋時(shí),會(huì)造成邊緣誤檢從而導(dǎo)致矯正效果較差。色域模型法主要是利用車牌圖像的顏色信息對(duì)車牌邊緣進(jìn)行檢測,在圖像背景顏色與車牌顏色相近時(shí)效果較差。投影變化法存在的主要缺陷是對(duì)于不同旋轉(zhuǎn)角度的車牌時(shí)難以確定投影變換矩陣,如果利用傳統(tǒng)方法確定投影矩陣參數(shù)同樣會(huì)導(dǎo)致車牌矯正效果較差,需要根據(jù)不同車牌圖像動(dòng)態(tài)確定投影矩陣參數(shù)?；趥鹘y(tǒng)圖像處理算法的雖然車牌矯正運(yùn)算速度較快,但是傳統(tǒng)算法存在泛化能力差、設(shè)計(jì)復(fù)雜等缺點(diǎn),難以解決真實(shí)復(fù)雜環(huán)境下車牌的矯正問題。

基于圖像超分辨率的車牌重構(gòu)方法在車牌重構(gòu)領(lǐng)域也得到了廣泛關(guān)注。Irani等[9]提出了迭代反投影法(iterative back-projection,IBP),對(duì)于圖像重構(gòu)有著速度快和計(jì)算量小的優(yōu)點(diǎn)。Rasti等[10]基于迭代反投影法引入了雙三次插值和雙三次降采樣方法,平滑各個(gè)連續(xù)幀中的脈沖誤差,減少每次迭代中的均方誤差,從而完成高分辨幀的生成。He等[11]基于空間變換網(wǎng)絡(luò)(STNet)獲取投影變換矩陣的6個(gè)主要參數(shù),將投影矩陣坐標(biāo)系的坐標(biāo)位置映射到原圖的基空間并建立了車牌矯正的投影矩陣。Lin等[12]提出基于生成對(duì)抗網(wǎng)絡(luò)的車牌圖像重建方法,該方法引入殘差密集網(wǎng)絡(luò)并采用漸進(jìn)上采樣的方法在車牌圖像的超分辨重構(gòu)上取得了一定的效果,但是模糊車牌圖像信息缺失的問題并沒有得到改善,因此對(duì)于模糊情況較為嚴(yán)重的車牌圖像重構(gòu)效果不佳。Liu等[13]提出一種基于漸進(jìn)式車輛搜索和域先驗(yàn)GAN的多車牌超分辨率識(shí)別方法,利用域先驗(yàn)GAN實(shí)現(xiàn)對(duì)車牌圖像的重構(gòu)任務(wù),但是該方法并沒有關(guān)注到傾斜車牌對(duì)于生成器的特征提取網(wǎng)絡(luò)的影響。Zhang等[14]提出了一種多任務(wù)GAN框架用于對(duì)車牌圖像進(jìn)行超分辨率與識(shí)別,所提方法較好解決了常規(guī)車牌圖像的重構(gòu)問題,但是同樣未能有效解決扭曲、傾斜車牌的重構(gòu)問題。

綜上所述,雖然基于深度學(xué)習(xí)的車牌圖像重構(gòu)任務(wù)中已經(jīng)取得了顯著研究成果,但在實(shí)際場景中由于原始車牌圖像存在模糊、污損、扭曲、傾斜的問題造成車牌字符關(guān)鍵信息缺失,造成深度特征提取網(wǎng)絡(luò)難以準(zhǔn)確提取車牌識(shí)別的關(guān)鍵特征,此問題導(dǎo)致常規(guī)基于深度學(xué)習(xí)的車牌重構(gòu)方法效果較差。

1 車牌圖像超分辨率網(wǎng)絡(luò)

1.1 網(wǎng)絡(luò)結(jié)構(gòu)

常規(guī)的基于深度學(xué)習(xí)的車牌超分辨率重建網(wǎng)絡(luò)主要是利用CNN或GAN模型[15]研究高清圖像(HR)和低清圖像(LR)的非線性映射關(guān)系,并利用該映射關(guān)系實(shí)現(xiàn)LR車牌的分辨率恢復(fù),然而此類方法沒有考慮實(shí)際車牌圖像存在的模糊、污損、扭曲、傾斜等干擾信息,這些強(qiáng)干擾信息常導(dǎo)致重構(gòu)網(wǎng)絡(luò)特征提取的困難,對(duì)于這些干擾信息所造成的車牌識(shí)別關(guān)鍵特征信息缺失問題,單純?cè)黾榆嚺茍D像分辨率并不能有效恢復(fù)車牌原始圖像。為解決這些問題,提出了一種編解碼結(jié)構(gòu)的車牌圖像超分辨率網(wǎng)絡(luò)。

所提網(wǎng)絡(luò)由基于關(guān)鍵點(diǎn)回歸的車牌矯正網(wǎng)絡(luò)和基于生成對(duì)抗網(wǎng)絡(luò)的車牌圖像超分辨率重建網(wǎng)絡(luò)兩部分組成?；陉P(guān)鍵點(diǎn)回歸的車牌矯正網(wǎng)絡(luò)利用VGG16提取車牌的4個(gè)關(guān)鍵點(diǎn)特征,然后基于投影變換原理對(duì)4個(gè)車牌圖像關(guān)鍵點(diǎn)空間坐標(biāo)進(jìn)行回歸預(yù)測,建立扭曲、傾斜車牌圖像的投影變換矩陣,實(shí)現(xiàn)車牌圖像的空間矯正;基于生成對(duì)抗網(wǎng)絡(luò)的車牌圖像超分辨率重建網(wǎng)絡(luò)由基于編解碼結(jié)構(gòu)的生成器網(wǎng)絡(luò)和基于多層卷積塊的判別器網(wǎng)絡(luò)組成。生成器網(wǎng)絡(luò)由基于殘差塊連接的車牌特征提取網(wǎng)絡(luò)與基于反卷積塊連接的車牌分辨率恢復(fù)網(wǎng)絡(luò)組成。車牌特征提取網(wǎng)絡(luò)捕獲輸入的LR車牌圖像的紋理、字符等特征;車牌分辨率恢復(fù)網(wǎng)絡(luò)對(duì)模糊、污損的車牌特征圖進(jìn)行超分辨率車牌圖像重建。判別器網(wǎng)絡(luò)由卷積塊組成,主要對(duì)生成器網(wǎng)絡(luò)的生成圖像進(jìn)行質(zhì)量評(píng)估。為了增強(qiáng)車牌生成器網(wǎng)絡(luò)對(duì)車牌圖像語義特征的表征能力,在損失網(wǎng)絡(luò)中引入了對(duì)抗損失與CTC[16]損失。本文設(shè)計(jì)的網(wǎng)絡(luò)模型整體結(jié)構(gòu)如圖1所示。

圖1 網(wǎng)絡(luò)整體結(jié)構(gòu)圖Fig.1 Schematic ofwhole network

1.1.1 車牌矯正網(wǎng)絡(luò)

由于車牌圖像扭曲、傾斜的程度越大,車牌圖像特征提取效果越差[17],進(jìn)一步導(dǎo)致了車牌重構(gòu)能力效果變差。為了提升扭曲、傾斜的車牌圖像重構(gòu)效果,基于VGG16網(wǎng)絡(luò)提出一種基于關(guān)鍵點(diǎn)回歸的車牌圖像矯正網(wǎng)絡(luò)。該網(wǎng)絡(luò)由基于VGG16的車牌特征提取模塊與車牌投影變換模塊兩部分組成,網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示。

基于VGG16車牌特征提取模塊由6個(gè)階段組成,第1、2階段主要提取車牌圖像空間細(xì)節(jié)特征,如傾斜車牌頂角的空間特征與背景特征等;第3到第6階段提取車牌圖像的中、高級(jí)特征,如車牌的全局語義特征等。基于VGG16的車牌特征提取網(wǎng)絡(luò)描述如下

Fo=σ(Wo*X+bo)

(1)

式中:X表示特征提取網(wǎng)絡(luò)的輸入車牌圖像;Fo表示網(wǎng)絡(luò)輸出的車牌特征;σ為帶泄露線性整流激活函數(shù);*表示卷積操作;Wo為卷積核;bo為偏置數(shù)。

為提升分類器對(duì)車牌圖像空間維度以及車牌圖像邊沿信息的感知能力,基于VGG16的車牌特征提取模塊利用寬卷積層代替VGG16網(wǎng)絡(luò)的全連接層,并構(gòu)造車牌關(guān)鍵點(diǎn)分類器,然后對(duì)車牌頂角空間坐標(biāo)進(jìn)行分類預(yù)測,最后利用反歸一化獲得車牌四頂角坐標(biāo)位置信息。分類器層可描述為

fpred{[sx,i,sy,i]}=h(Fo)

(2)

式中:h(Fo)為模型對(duì)車牌左上、右上、左下、右下4個(gè)頂角點(diǎn)的分類預(yù)測結(jié)果;[sx,i,sy,i]分別為每個(gè)頂角點(diǎn)的空間坐標(biāo);h(·)為該網(wǎng)絡(luò)的分類器層。

車牌投影變換模塊主要基于投影變換原理構(gòu)造投影變換矩陣,完成車牌圖像坐標(biāo)空間的變換,實(shí)現(xiàn)傾斜、扭曲車牌圖像的矯正。由VGG16車牌特征提取模塊可得車牌圖像中車牌的4個(gè)頂角點(diǎn),然后輸入車牌圖像中原始頂角點(diǎn)與矯正后頂角點(diǎn)的位置信息,通過構(gòu)建投影變換矩陣對(duì)傾斜車牌進(jìn)行坐標(biāo)空間變換,從而得到車牌矯正圖像。車牌投影變換過程示意圖如圖3所示。

圖3 車牌投影變換示意圖Fig.3 Schematic of license plate projection transformation

令X表示輸入的車牌圖像,其大小為M×N。設(shè)VGG16車牌分類器模塊輸出的車牌圖像4個(gè)頂角點(diǎn)坐標(biāo)為[sx,1,sy,1]、[sx,2,sy,2]、[sx,3,sy,3]、[sx,4,sy,4]，分別代表車牌左上、右上、左下、右下4個(gè)頂角點(diǎn)，假定投影變換后的對(duì)應(yīng)像素點(diǎn)的空間位置為[s′x,1,s′y,1]、[s′x,2,s′y,2]、[s′x,3,s′y,3]、[s′x,4,s′y,4]，則根據(jù)投影變換公式可得

(3)

式中:T為變換參數(shù)矩陣;mij為第i行第j列的變換矩陣參數(shù)。

由式(3)可知,根據(jù)每對(duì)坐標(biāo)點(diǎn)構(gòu)造4組方程即可求解出變換參數(shù)矩陣T,從而得到投影變換后像素點(diǎn)的空間位置坐標(biāo)[s′x,i,s′y,i],求解過程為

(4)

1.1.2 基于生成對(duì)抗網(wǎng)絡(luò)的車牌圖像超分辨率重構(gòu)網(wǎng)絡(luò)

針對(duì)車牌成像的模糊、污損等干擾信息給車牌識(shí)別帶來的挑戰(zhàn),設(shè)計(jì)了一種基于生成對(duì)抗網(wǎng)絡(luò)的車牌圖像超分辨率重構(gòu)網(wǎng)絡(luò)。所提網(wǎng)絡(luò)由基于編碼器-解碼器的車牌生成器網(wǎng)絡(luò)和基于語義監(jiān)督的車牌判別器網(wǎng)絡(luò)這兩部分組成?；谏蓪?duì)抗網(wǎng)絡(luò)的車牌圖像超分辨率重建網(wǎng)絡(luò)的結(jié)構(gòu)圖如圖4所示。

圖4 基于生成對(duì)抗網(wǎng)絡(luò)的車牌圖像超分辨率重建網(wǎng)絡(luò)示意圖Fig.4 Schematic of super resolution reconstruction network for license plate image based on generative adversarial network

(1)基于編碼器-解碼器的車牌生成器網(wǎng)絡(luò)?；赗esNet的特征提取模塊的淺層階段主要對(duì)車牌圖像的空間細(xì)節(jié)特征進(jìn)行提取,ResNet網(wǎng)絡(luò)的淺層特征受車牌復(fù)雜背景干擾噪聲影響,難以提取更多的車牌語義特征,而ResNet網(wǎng)絡(luò)的深層階段主要對(duì)車牌圖像的高級(jí)語義特征進(jìn)行提取,深層特征包含的背景噪聲較少,因此能夠提取到更多的車牌字符全局特征。為盡可能保留字符語義特征,消除復(fù)雜背景干擾噪聲影響,所構(gòu)造的反卷積結(jié)構(gòu)只針對(duì)特征提取網(wǎng)絡(luò)的最后1層(ResBlock4)進(jìn)行重構(gòu)。同時(shí)為了消除轉(zhuǎn)置卷積造成的棋盤效應(yīng),本文采用使用雙線性插值填充元素,再進(jìn)行卷積的策略完成對(duì)特征圖的分辨率恢復(fù)任務(wù)。構(gòu)造的車牌生成器網(wǎng)絡(luò)的殘差塊數(shù)均為2,殘差塊中卷積層數(shù)為2,卷積核大小為3×3。反卷積塊的反卷積層數(shù)均為1,前3層反卷積層的卷積核為3×3,然后增加1個(gè)ReLu激活層,最后1層反卷積層的卷積核為2×2,其后為Tanh激活層。

(2)基于語義監(jiān)督的車牌判別器網(wǎng)絡(luò)。為了進(jìn)一步增強(qiáng)生成器網(wǎng)絡(luò)的重構(gòu)能力,提高車牌判別網(wǎng)絡(luò)對(duì)于車牌圖像質(zhì)量與車牌圖像語義信息的判別能力,提出了一種基于語義監(jiān)督的判別器網(wǎng)絡(luò)。車牌特征判別網(wǎng)絡(luò)由兩階段組成:第1階段為全卷積特征提取,卷積層數(shù)分別為1、4、1,前5層卷積層的卷積核均為3,第1層后跟有帶泄露修正線性單元(Leaky ReLu),中間4層帶批歸一化層(BN)和核大小為2的平均池化層;第2階段由卷積核大小為1×7卷積層構(gòu)成,其后跟有Sigmoid激活函數(shù),實(shí)現(xiàn)判別器網(wǎng)絡(luò)的判別預(yù)測任務(wù)。該網(wǎng)絡(luò)通過在對(duì)抗損失中融合帶權(quán)重的CTC損失,引導(dǎo)判別器網(wǎng)絡(luò)進(jìn)一步關(guān)注重構(gòu)車牌圖像的識(shí)別效果,從而增強(qiáng)重構(gòu)網(wǎng)絡(luò)對(duì)車牌語義特征的關(guān)注,提升生成器網(wǎng)絡(luò)對(duì)車牌圖像的特征表征能力。

1.2 損失函數(shù)

1.2.1 車牌矯正網(wǎng)絡(luò)損失

建立車牌矯正網(wǎng)絡(luò)損失的目的是量化評(píng)估網(wǎng)絡(luò)預(yù)測車牌4個(gè)關(guān)鍵頂角點(diǎn)空間坐標(biāo)值與其真實(shí)標(biāo)簽值的損失。車牌矯正網(wǎng)絡(luò)的平滑平均絕對(duì)誤差損失函數(shù)定義為

(5)

1.2.2 基于生成對(duì)抗網(wǎng)絡(luò)的車牌圖像超分辨率
重構(gòu)網(wǎng)絡(luò)損失

判別器網(wǎng)絡(luò)損失主要來自于生成器網(wǎng)絡(luò)生成的車牌圖像與標(biāo)簽圖像的誤差,生成器網(wǎng)絡(luò)的損失主要來自于生成器網(wǎng)絡(luò)生成的車牌圖像與標(biāo)簽的誤差和判別器網(wǎng)絡(luò)損失,即

(6)

(7)

生成器網(wǎng)絡(luò)生成車牌圖像的質(zhì)量取決于判別器網(wǎng)絡(luò)的判別能力,為了增強(qiáng)判別器網(wǎng)絡(luò)對(duì)車牌圖像語義信息的關(guān)注,所提損失函數(shù)在對(duì)抗損失的基礎(chǔ)上引入帶權(quán)重的CTC損失,從而加強(qiáng)了重構(gòu)網(wǎng)絡(luò)對(duì)車牌語義信息的關(guān)注,所提生成器網(wǎng)絡(luò)損失和判別器網(wǎng)絡(luò)損失為

(8)

(9)

2 實(shí)驗(yàn)結(jié)果與分析

2.1 實(shí)驗(yàn)數(shù)據(jù)集

實(shí)驗(yàn)數(shù)據(jù)集采用中國城市停車數(shù)據(jù)集(Chinese city parking dataset,CCPD)[18]和XAUAT-Parking自建數(shù)據(jù)集。CCPD各類子數(shù)據(jù)集如表1所示。

表1 CCPD數(shù)據(jù)集

近年來新能源車輛迅速增多,而現(xiàn)有車牌數(shù)據(jù)集中,藍(lán)色車牌數(shù)量占據(jù)主導(dǎo),新能源車牌的占比少。由于兩類車牌長度不一致且外觀顏色相差較大,在訓(xùn)練樣本不充足的情況下常規(guī)深度學(xué)習(xí)網(wǎng)絡(luò)難以有效提取綠色車牌特征,從而導(dǎo)致基于常規(guī)深度學(xué)習(xí)網(wǎng)絡(luò)的車牌重建算法的泛化能力較弱。為了解決上述問題,自建XAUAT-Parking數(shù)據(jù)集、XAUAT-Parking數(shù)據(jù)集共有40 795張車牌車輛數(shù)據(jù),大小約為1 536×960像素,主要涵蓋了不同實(shí)際場景下的停車場進(jìn)出卡口的各種車牌圖像數(shù)據(jù),其中藍(lán)色車牌30 158張,新能源綠色車牌10 637張。該數(shù)據(jù)集不僅涵蓋了各類實(shí)際場景下停車場進(jìn)出口的藍(lán)綠色混合車牌圖像數(shù)據(jù),而且具有大量較大差異的藍(lán)綠色混合車牌數(shù)據(jù)。因此,自建數(shù)據(jù)集可以有效驗(yàn)證基于不同深度學(xué)習(xí)網(wǎng)絡(luò)的車牌識(shí)別算法的魯棒性。

2.2 訓(xùn)練設(shè)置

實(shí)驗(yàn)平臺(tái)搭載Inter Xeon E5 2650處理器,376 GB內(nèi)存,4個(gè)NVIDIA 2080Ti 12 GB顯卡;深度學(xué)習(xí)框架采用pytorch-1.8、NVIDIA公司CUDA11.2的GPU運(yùn)行平臺(tái)以及cuDNN8.0深度學(xué)習(xí)GPU加速庫。網(wǎng)絡(luò)訓(xùn)練過程中,本文所提網(wǎng)絡(luò)設(shè)置訓(xùn)練批數(shù)量為256、輪數(shù)為51、初始學(xué)習(xí)率為0.001,使用Adam優(yōu)化器進(jìn)行優(yōu)化。網(wǎng)絡(luò)訓(xùn)練過程中,學(xué)習(xí)率調(diào)整策略采用每10個(gè)epoch指數(shù)衰減一次,衰減系數(shù)為0.1。

2.3 實(shí)驗(yàn)量化指標(biāo)及分析

為驗(yàn)證車牌重構(gòu)后的效果,采用峰值信噪比(PSNR)[19]、結(jié)構(gòu)相似性(SSIM)[20]進(jìn)行量化評(píng)估。同時(shí),為進(jìn)一步對(duì)比驗(yàn)證本文所提車牌圖像超分辨率重構(gòu)算法的有效性,采用LPRNet作為車牌字符識(shí)別網(wǎng)絡(luò)來驗(yàn)證車牌重構(gòu)前后的車牌識(shí)別效果。PSNR指標(biāo)定義為

(10)

(11)

式中:CMAX為圖像顏色的最大值;EMS為均方誤差;L(i,j)、P(i,j)分別為坐標(biāo)(i,j)處的標(biāo)簽車牌圖像與重構(gòu)車牌圖像像素強(qiáng)度值;M、N分別為車牌圖像的寬、高。結(jié)構(gòu)相似性(SSIM)指標(biāo)分別從亮度、對(duì)比度、結(jié)構(gòu)3方面度量圖像相似性。結(jié)構(gòu)相似性(SSIM)指標(biāo)定義為

ISSIM=l(P,L)×c(P,L)×s(P,L)

(12)

式中:l(P,L)、c(P,L)和s(P,L)分別為重構(gòu)車牌圖像P及標(biāo)簽車牌圖像L的亮度相似性、對(duì)比度相似性和結(jié)構(gòu)相似性。

2.4 消融實(shí)驗(yàn)

為進(jìn)一步驗(yàn)證所提網(wǎng)絡(luò)中各模塊的作用,在XAUAT-Parking數(shù)據(jù)集上開展消融比對(duì)實(shí)驗(yàn)。消融實(shí)驗(yàn)主要從重構(gòu)后的PSNR、SSIM指標(biāo)以及重構(gòu)后基于LPRNet的識(shí)別率兩方面進(jìn)行對(duì)比,各變種的相關(guān)參數(shù)設(shè)置和訓(xùn)練策略均相同,消融實(shí)驗(yàn)對(duì)比結(jié)果如表2、3所示,表中KPRN表示車牌矯正網(wǎng)絡(luò),SRRN表示車牌圖像超分辨率網(wǎng)絡(luò)。同時(shí),為了驗(yàn)證損失函數(shù)中的加權(quán)超參數(shù)ω、λ對(duì)超分辨率重建效果的影響,進(jìn)而確定超參數(shù)ω、λ的最優(yōu)或較優(yōu)取值,以XAUAT-Parking數(shù)據(jù)集為例,圖5給出了PSNR與SSIM指標(biāo)隨ω、λ的變化情況。

表2 XAUAT-Parking數(shù)據(jù)集上本文提出各子網(wǎng)絡(luò)超分辨率重建消融實(shí)驗(yàn)的結(jié)果

表3 XAUAT-Parking數(shù)據(jù)集上不同網(wǎng)絡(luò)識(shí)別率消融實(shí)驗(yàn)的結(jié)果

從圖5可以看出,當(dāng)超參數(shù)ω、λ分別取1.1、1.35時(shí),網(wǎng)絡(luò)的性能最優(yōu)。通過對(duì)于超參數(shù)的實(shí)驗(yàn)驗(yàn)證,可以看出ω≤1、λ≤1.3時(shí)較為顯著影響了網(wǎng)絡(luò)的性能,同時(shí)在ω≥1.2、λ≥1.4時(shí),網(wǎng)絡(luò)的性能同樣出現(xiàn)了下滑,所以超參數(shù)的ω的較優(yōu)取值區(qū)間應(yīng)該為[1.05,1.2),λ的較優(yōu)取值區(qū)間應(yīng)該為(1.3,1.4)。實(shí)驗(yàn)中ω統(tǒng)一選擇為1.1,λ統(tǒng)一選擇為1.35。

(a)λ對(duì)PSNR的影響 (b)λ對(duì)SSIM的影響

2.5 CCPD數(shù)據(jù)集對(duì)比實(shí)驗(yàn)

為了驗(yàn)證所提網(wǎng)絡(luò)對(duì)車牌重構(gòu)的有效性,在CCPD數(shù)據(jù)集中采用本文所提網(wǎng)絡(luò)分別與SRGAN、VDSR、REDNet、DPGAN等[21-22]網(wǎng)絡(luò)進(jìn)行了重構(gòu)效果對(duì)比。同時(shí),為進(jìn)一步驗(yàn)證重構(gòu)后的車牌圖像對(duì)車牌識(shí)別率的有效性,所提網(wǎng)絡(luò)分別與文獻(xiàn)[23-24]所提網(wǎng)絡(luò)進(jìn)行了重構(gòu)后車牌識(shí)別率對(duì)比實(shí)驗(yàn),所有對(duì)比網(wǎng)絡(luò)采用相同的LPRNet作為車牌識(shí)別網(wǎng)絡(luò)。

圖6為CCPD數(shù)據(jù)集部分矯正重構(gòu)結(jié)果,圖6中,各子圖從左到右,第1列Input為輸入車牌圖像,第2列Correction為矯正后的車牌圖像,第3列到第6列分別為SRGAN、VDSR、REDNet、DPGAN等算法的車牌重構(gòu)圖像,第7列Ours為本文所提網(wǎng)絡(luò)的重建車牌圖像,第8列Ground Truth為真實(shí)標(biāo)簽圖像。

從圖6可知,相較于SRGAN、VDSR、REDNet、DPGAN等對(duì)比算法,本文所提網(wǎng)絡(luò)能更好地解決不同噪聲影響下的車牌成像模糊問題,實(shí)現(xiàn)較高質(zhì)量的車牌圖像重構(gòu)。由圖6(e)、6(f)可知:對(duì)于光線變化大、光照過暗與成像過曝光情況的車牌圖像,SRGAN算法在較差的光照與曝光條件下車牌重構(gòu)效果受各種背景噪聲的影響較大;VDSR算法受過曝光影響顯著降低了車牌重構(gòu)效果;REDNet、DPGAN重構(gòu)效果雖然優(yōu)于SRGAN和VDSR算法重構(gòu)效果,但是REDNet、DPGAN在重構(gòu)后車牌圖像中的字符中仍然出現(xiàn)部分字符模糊現(xiàn)象。最具挑戰(zhàn)的車牌圖像如圖6(g)所示,車牌圖像中一般為運(yùn)動(dòng)模糊、過曝光、模糊等多種噪聲的疊加,同時(shí)車牌圖像中也包含明顯的距離變化,這些因素導(dǎo)致SRGAN、VDSR、REDNet、DPGAN等對(duì)比算法在對(duì)此類極端條件下的車牌圖像進(jìn)行重構(gòu)時(shí)效果較差,而本文設(shè)計(jì)的網(wǎng)絡(luò)通過引入語義監(jiān)督與生成對(duì)抗的方法,有效消除了車牌圖像的背景噪聲,同時(shí)加強(qiáng)了生成網(wǎng)絡(luò)對(duì)于語義特征與空間紋理信息的提取能力,因此在重構(gòu)效果上明顯優(yōu)于SRGAN、VDSR、REDNet、DPGAN等對(duì)比算法。

(a)Tile子數(shù)據(jù)集對(duì)比結(jié)果

在CCPD的Challenge子數(shù)據(jù)集中重建結(jié)果的定量分析如表4所示,定量分析所采用的指標(biāo)主要是PSNR和SSIM,由表4可知,所提車牌圖像超分辨率網(wǎng)絡(luò)在推理速度指標(biāo)平均值為61,PSNR平均值為25.5 dB,SSIM平均值為0.988。第1～4行分別為SRGAN、VDSR、REDNet、DPGAN等對(duì)比算法重構(gòu)量化指標(biāo)。實(shí)驗(yàn)表明所提算法在CCPD數(shù)據(jù)集具有較好的重構(gòu)效果,相較于SRGAN、VDSR、REDNet、DPGAN等對(duì)比算法,指標(biāo)PSNR分別提升了48%、63%、14%、58%,指標(biāo)SSIM分別提升了17.6%、8%、2.9%、15.5%。

表4 不同網(wǎng)絡(luò)在CCPD Challenge子數(shù)據(jù)重構(gòu)定量對(duì)比

不同網(wǎng)絡(luò)在CCPD數(shù)據(jù)集中的識(shí)別率定量對(duì)比如表5所示。 由表5可知,本文所提網(wǎng)絡(luò)重構(gòu)后的車牌圖像在CCPD數(shù)據(jù)集上有較高的識(shí)別準(zhǔn)確率,尤其對(duì)于具有較大水平、垂直傾斜以及模糊干擾的Rotate、Tilt、Blur數(shù)據(jù)集有較好的效果,準(zhǔn)確率分別達(dá)到了98.7%、97.8%和95.7%。對(duì)比文獻(xiàn)[27]所提算法,在Rotate、Tilt子數(shù)據(jù)集上提升了3.8%、1.4%,在Weather、Challenge子數(shù)據(jù)集上提升了2.3%、7%;與文獻(xiàn)[17]所提網(wǎng)絡(luò)相比,在Rotate、Tilt子數(shù)據(jù)集上提升了6.4%、1.4%,在Weather、Challenge子數(shù)據(jù)集上提升了0.1%、4.4%。

表5 不同網(wǎng)絡(luò)在CCPD數(shù)據(jù)集上的識(shí)別率定量對(duì)比

2.6 XAUAT-Parking數(shù)據(jù)集對(duì)比實(shí)驗(yàn)

自建XAUAT-Parking數(shù)據(jù)集部分矯正重構(gòu)對(duì)比結(jié)果如圖7所示,停車場進(jìn)出場藍(lán)綠色車牌數(shù)據(jù)集的重構(gòu)效果圖中,從左到右第1列Input為輸入車牌圖像,第2列Correction為矯正后的車牌圖像,第3列Reconstruction為重構(gòu)車牌圖像,第4列Ground Truth為標(biāo)簽圖像。由圖7可知,所提算法不僅能較好解決字符污損、車牌扭曲、傾斜的藍(lán)色車牌的重構(gòu)問題,而且對(duì)于車牌扭曲、模糊、傾斜與字符磨損、污損的新能源綠色車牌也能進(jìn)行高質(zhì)量重構(gòu)。

圖7 XAUAT-Parking數(shù)據(jù)集部分重構(gòu)結(jié)果Fig.7 Results of partial reconstruction of the XAUAT-Parking dataset

XAUAT-Parking自建數(shù)據(jù)集中重構(gòu)結(jié)果的定量分析如表6所示,定量分析所采用的指標(biāo)為PSNR和SSIM,由表6可知,入場車牌數(shù)據(jù)集SSIM指標(biāo)平均為0.991,PSNR指標(biāo)平均為26.2 dB;出場車牌數(shù)據(jù)集SSIM指標(biāo)平均為0.997,PSNR指標(biāo)平均為26.6 dB。

表6 XAUAT-Parking數(shù)據(jù)集重構(gòu)定量分析

同時(shí)為了驗(yàn)證重構(gòu)后的車牌圖像對(duì)車牌識(shí)別率提升的有效性,對(duì)XAUAT-Parking數(shù)據(jù)集車牌圖像進(jìn)行重構(gòu)后,利用LPRNet算法對(duì)重構(gòu)車牌進(jìn)行識(shí)別,實(shí)驗(yàn)結(jié)果如表7所示。由表7可知,所提算法在XAUAT-Parking數(shù)據(jù)集上有較高的識(shí)別準(zhǔn)確率,平均識(shí)別率達(dá)到了97.5%。原始LPRNet算法加入提出的車牌關(guān)鍵點(diǎn)矯正模塊后識(shí)別率也有顯著的提升,平均識(shí)別準(zhǔn)確率提高了2%～3%,7位藍(lán)色車牌的識(shí)別率達(dá)到99.3%,對(duì)比原始LPRNet識(shí)別率提高了5.7%;8位綠色車牌的識(shí)別率達(dá)到96.1%,對(duì)比原始LPRNet識(shí)別率提高了6.9%;7、8位混合車牌的識(shí)別率達(dá)到97.3%,對(duì)比原始LPRNet識(shí)別率提高了6.3%。因此,從定性指標(biāo)上分析可知,所提車牌圖像超分辨率算法對(duì)于復(fù)雜實(shí)際場景下的停車場進(jìn)出場車牌圖像有著較好的重構(gòu)能力。

表7 XAUAT-Parking數(shù)據(jù)集識(shí)別定量對(duì)比

3 結(jié) 論

針對(duì)復(fù)雜實(shí)際場景中模糊、污損、扭曲、傾斜車牌圖像的重構(gòu)問題,提出了一種編解碼結(jié)構(gòu)的車牌圖像超分辨率網(wǎng)絡(luò)。所提算法首先利用投影變換方法設(shè)計(jì)了一種車牌矯正網(wǎng)絡(luò),對(duì)扭曲、傾斜車牌圖像進(jìn)行有效矯正;然后設(shè)計(jì)了基于編解碼結(jié)構(gòu)的車牌圖像超分辨率網(wǎng)絡(luò),對(duì)模糊、污損等難以識(shí)別車牌圖像的關(guān)鍵特征進(jìn)行提取,并利用基于反卷積塊的車牌分辨率恢復(fù)模塊實(shí)現(xiàn)了車牌圖像的重構(gòu)。通過在公開數(shù)據(jù)集CCPD和自建數(shù)據(jù)集XAUAT-Parking上的定量、定性實(shí)驗(yàn)證明了所提算法的有效性和魯棒性。