基于深度多級小波U-Net 的車牌霧圖去霧算法

陳炳權(quán)，朱熙，汪政陽，梁寅聰

（吉首大學(xué)信息科學(xué)與工程學(xué)院，湖南吉首 416000）

在大霧天氣下使用光學(xué)成像器件（如相機(jī)、監(jiān)控?cái)z像頭等）對目標(biāo)場景或物體進(jìn)行拍攝時，往往會使得圖像對比度低，邊緣、字符等細(xì)節(jié)信息模糊.圖像去霧是圖像處理中典型的不適定問題，旨在從霧天圖像中復(fù)原出相應(yīng)的無霧圖像，作為一種提升圖像質(zhì)量的方法，已被廣泛應(yīng)用于圖像分類、識別、交通監(jiān)控等領(lǐng)域.近年來，針對不同場景（室內(nèi)家居場景、室外自然場景、交通道路場景、夜間霧霾場景等）下均勻霧度或非均勻霧度圖像的去霧技術(shù)引起了廣泛關(guān)注與研究，但由于實(shí)際霧霾對圖像影響的復(fù)雜多變性，從真實(shí)的霧天圖像中復(fù)原無霧圖像仍具有諸多挑戰(zhàn)性.

圖像去霧技術(shù)發(fā)展至今，主要分為以下三類：基于數(shù)學(xué)模型的去霧技術(shù)，如直方圖均衡［1］、小波變換［2］、色彩恒常性理論［3］（Retinex）等；基于大氣散射模型（ASM）和相關(guān)統(tǒng)計(jì)先驗(yàn)的去霧技術(shù)，如暗通道先驗(yàn)［4-5］（DCP）、色衰減先驗(yàn)［6］（CAP）、非局部先驗(yàn)［7］（NLP）等；基于深度學(xué)習(xí)的去霧技術(shù)，如Deha?zeNet［8］、DCPDN［9］、AODNet［10］等.近年來，深度卷積神經(jīng)網(wǎng)絡(luò)在計(jì)算機(jī)視覺中應(yīng)用廣泛，2019 年Liu等［11］認(rèn)為傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）在采用池化或空洞濾波器來增大感受野時勢必會造成信息的丟失或網(wǎng)格效應(yīng)，于是將多級小波變換嵌入到CNN中，在感受野大小和計(jì)算效率之間取得了良好的折中，因而首次提出了多級小波卷積神經(jīng)網(wǎng)絡(luò)（MWCNN）模型，并證實(shí)了其在諸如圖像去噪、單圖像超分辨率、圖像分類等任務(wù)中的有效性.同年，Yang 等［12］也認(rèn)為離散小波變換及其逆變化可以很好地替代U-Net中的下采樣和上采樣操作，因而提出了一種用于單幅圖像去霧的小波U-Net網(wǎng)絡(luò)，該網(wǎng)絡(luò)與MWCNN結(jié)構(gòu)非常相似.2020 年，Yang 等［13］將多級小波與通道注意力相結(jié)合設(shè)計(jì)了一種小波通道注意力模塊，據(jù)此構(gòu)建了單幅圖像去雨網(wǎng)絡(luò)模型.同年，Peng 等［14］則將殘差塊與MWCNN 相結(jié)合提出了一種用于圖像去噪的多級小波殘差網(wǎng)絡(luò)（MWRN）.2021年，陳書貞等［15］在已有的MWCNN 結(jié)構(gòu)上加入多尺度稠密塊以提取圖像的多尺度信息，并在空間域?qū)χ貥?gòu)圖像進(jìn)行進(jìn)一步細(xì)化處理，以彌補(bǔ)小波域和空間域?qū)D像信息表示存在的差異性，從而實(shí)現(xiàn)了圖像的盲去模糊.

為了解決大霧天氣下車牌圖像對比度低和邊緣、字符等信息模糊不清的問題，很多研究人員開始將已有的圖像去霧技術(shù)應(yīng)用于車牌識別的預(yù)處理中.但大多數(shù)只是對已有圖像去霧算法進(jìn)行了簡單改進(jìn)，如對Retinex 或DCP 等去霧算法進(jìn)行改進(jìn)，直接應(yīng)用于車牌檢測識別中.雖然取得了一定的去霧效果，但其并沒有很好地復(fù)原出車牌圖像的特征，且很難應(yīng)對中等霧和濃霧下的車牌圖像.2020 年王巧月等［16］則有意識地針對車牌圖像的顏色和字符信息進(jìn)行車牌圖像的去霧，提高了車牌圖像的質(zhì)量.

受上述研究的啟發(fā)，本文提出一種基于深度多級小波U-Net 的車牌霧圖去霧算法，以端到端的方式來實(shí)現(xiàn)不同霧度下不同車牌類型的去霧.首先，提出了一種結(jié)合DWT、通道注意力（CA）和像素注意力（PA）的三分支結(jié)構(gòu)，該結(jié)構(gòu)可以對編碼器每層輸出特征的通道和像素進(jìn)行加權(quán)處理，從而讓去霧網(wǎng)絡(luò)聚焦于車牌霧圖中的有霧區(qū)域；其次，在解碼器中引入“SOS”增強(qiáng)模塊（“SOS”Block）來對解碼器和下層輸入的特征進(jìn)行進(jìn)一步融合和增強(qiáng)，提高去霧圖像的峰值信噪比，并在U-Net 編解碼結(jié)構(gòu)之間進(jìn)行了層與層之間的連接，以此來充分利用不同網(wǎng)絡(luò)層和尺度上的特征信息；最后，為彌補(bǔ)小波域和空間域之間網(wǎng)絡(luò)表達(dá)圖像信息的差異，提出了一種結(jié)合跨尺度聚合（CSA）的多尺度殘差增強(qiáng)模塊（CSAE Block），在空間域上進(jìn)一步豐富網(wǎng)絡(luò)對于圖像細(xì)節(jié)信息的表達(dá)，有效地提高去霧圖像的質(zhì)量.

1 去霧網(wǎng)絡(luò)結(jié)構(gòu)

本文去霧網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示.

圖1 去霧網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 Defogging network structure

該網(wǎng)絡(luò)主要分為A 與B這2大模塊，前者在小波域中實(shí)現(xiàn)對車牌霧圖xLPHaze的去霧，后者在空間域上對模塊A 輸出的無霧圖像進(jìn)行進(jìn)一步優(yōu)化，模塊A的網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)見表1.整個網(wǎng)絡(luò)結(jié)構(gòu)的輸出為：

表1 模塊A網(wǎng)絡(luò)結(jié)構(gòu)參數(shù)Tab.1 Network structure parameters of module A

式中：yB(?)和yA(?)分別為模塊A 和B 的輸出，θA和θB分別表示模塊A和B的可學(xué)習(xí)參數(shù).

1.1 小波U-Net

二維離散小波變換（2D-DWT）可以實(shí)現(xiàn)對給定的圖像I的小波域分解，分解過程可視為將圖像I與4 個濾波器進(jìn)行卷積，即1 個低通濾波器fLL和3 個高通濾波器（fLH、fHL和fHH），這4個濾波器（即卷積核）分別由低通濾波器fL和高通濾波器fH構(gòu)成.以Haar 小波為例，該卷積核表示為：

因此，2D-DWT 可以通過將輸入圖像I與4 個濾波器進(jìn)行卷積和下采樣來實(shí)現(xiàn)，從而獲得4 個子帶圖像ILL、ILH、IHL和IHH.其操作定義如下：

其中：?表示卷積操作；↓2表示尺度因子為2的標(biāo)準(zhǔn)下采樣操作.低通濾波器用于捕獲圖像中光滑的平面和紋理信息，其它3 個高通濾波器則提取圖像中存在的水平、垂直和對角線方向上的邊緣信息.同時，由于2D-DWT 的雙正交性質(zhì)，可以通過二維逆DWT 的精確重建出原始圖像.2D-DWT 及其逆變換的分解和重建示意圖如圖2所示.

圖2 2D-DWT及其逆變換Fig.2 2D-DWT and its inverse transformation

本文將2D-DWT 及其逆變換嵌入到U-Net 網(wǎng)絡(luò)結(jié)構(gòu)中，改善原始U-Net 網(wǎng)絡(luò)的結(jié)構(gòu).首先，對輸入的3 通道車牌霧圖進(jìn)行離散小波變換處理，輸出圖像的通道數(shù)變?yōu)樵瓉淼? 倍，圖像大小變?yōu)樵瓉淼?；然后，使用一個單獨(dú)的卷積層（“3×3卷積+Lea?kyReLU”）將輸入圖像擴(kuò)展為16 通道的圖像；最后，在U-Net 的每層中迭代使用卷積層和離散小波變換用于提取多尺度邊緣特征.

1.2 基于2D-DWT 的通道-像素聯(lián)合注意力塊（DCPA Block）

在去霧網(wǎng)絡(luò)中平等對待不同的通道和像素特征，對于處理非均勻霧度圖像是不利的.為了能靈活處理不同類型的特征信息，Qin 等［17］和Wu 等［18］均采用CA 和PA，前者主要用于對不同通道特征進(jìn)行加權(quán)，而后者則是對具有不同霧度的圖像像素進(jìn)行加權(quán)，從而使網(wǎng)絡(luò)更關(guān)注霧度濃厚的像素和高頻區(qū)域.

引入Hao-Hsiang Yang 等［13］的小波通道注意力塊，本文提出了一種基于二維DWT 的通道-像素聯(lián)合注意力模塊，將DWT、CA和PA構(gòu)建并行的三分支結(jié)構(gòu)，如圖3所示.

圖3 基于二維DWT的特征融合注意力模塊結(jié)構(gòu)Fig.3 Attention module structure of feature fusion based on two-dimensional DWT

其中，兩分支結(jié)構(gòu)的注意力塊結(jié)合了PA（上分支）和CA（下分支）的特點(diǎn)，將具有通道數(shù)為C，高和寬分別為H、W的特征圖x∈RC×H×W分別輸入到CA和PA 中，前者通過平均池化將C×H×W 的空間信息轉(zhuǎn)換為C×1×1 的通道權(quán)重信息，而后者則通過卷積來將C×H×W 的圖像轉(zhuǎn)換成1×H×W.CA 由一個平均池化層、一個卷積層和一個LeakyReLU 層構(gòu)成，其輸出為：

式中：yCA∈R1×H×W；表示卷積核大小為i×i、步長為j的卷積操作；LeakyReLU0.2(?)表示參數(shù)為0.2的LeakyReLU 激活函數(shù)；AvgPool(?)表示平均池化操作.

類似地，PA 有一個卷積層和一個LeakyReLU層，但沒有平均池化層，其輸出為：

式中：yPA∈RC×1×1.CA 和PA 通過逐像素相加，并共用一個Sigmoid 激活函數(shù)來分別為輸入圖像通道和像素配置相應(yīng)的權(quán)重參數(shù)，其輸出為：

式中：yA∈RC×H×W；⊕表示逐元素相加；Sigmoid(?)表示Sigmoid激活函數(shù).最后，和經(jīng)離散小波變換、卷積層和殘差組處理后的特征圖進(jìn)行逐元素相乘，從而實(shí)現(xiàn)對特征圖的加權(quán)，其最終輸出為：

式中：yDCPA∈RC×H×W；DWT(?)為離散小波變換；?表示逐元素相乘；ResGroup(?)表示殘差組函數(shù).

1.3 層間多尺度聚合（LMSA）

受到Park等［19］在圖像去霧任務(wù)中采用多級連接來復(fù)原圖像細(xì)節(jié)信息的啟示，將U-Net編碼器中前3層中DCPA Block 的輸出進(jìn)行跨層和跨尺度的特征聚合，使網(wǎng)絡(luò)能充分利用圖像潛在的特征信息，其結(jié)構(gòu)如圖4所示.

圖4 層間多尺度聚合結(jié)構(gòu)Fig.4 Multi-scale aggregation structure

式中：FC(?)表示全連接層函數(shù)；ReLU(?)為ReLU非線性激活函數(shù).SEBlock的結(jié)構(gòu)如圖5所示.

圖5 SEBlock結(jié)構(gòu)Fig.5 SEBlock structure

通過“LeakyRelu-Conv-LeakyRelu”操作減少每層輸出特征的通道數(shù)，輸入到U-Net解碼器中前3層的“SOS”Block中，提升重構(gòu)圖像的峰值信噪比.

U-Net 網(wǎng)絡(luò)中的第4 層則聚合前2 層的DCPA Block 輸出特征和第3層的DWT 輸出特征，同樣經(jīng)過SEBlock 和“LeakyRelu-Conv-LeakyRelu”操作后作為第4層的輸入特征進(jìn)行后續(xù)操作.其數(shù)學(xué)表達(dá)式為：

1.4 “SOS”增強(qiáng)模塊（“SOS”Block）

從Romano 等［20］和Dong 等［21］對“Strengthen-Operate-Subtract”增強(qiáng)策略（“SOS”）的開發(fā)和利用中可知，該增強(qiáng)算法能對輸入的圖像特征進(jìn)行細(xì)化處理，可以提高輸出圖像的峰值信噪比.因此，在本文的車牌圖像去霧網(wǎng)絡(luò)解碼器結(jié)構(gòu)中，直接將Dong等［21］采用的“SOS”增強(qiáng)算法嵌入到U-Net結(jié)構(gòu)中，提升車牌去霧圖像的質(zhì)量.Dong 等［21］所采用的“SOS”增強(qiáng)算法的近似數(shù)學(xué)表達(dá)式如下：

其中：I為輸入霧圖像為第n層估計(jì)的去霧圖像；I+表示使用輸入霧圖進(jìn)行增強(qiáng)的圖像；g(?)表示去霧方法或者優(yōu)化方法.

在U-Net 中編解碼器之間的嵌入方式如下：將U-Net 編解碼器之間的連接方式改為了逐元素相加，即編碼器第i層輸出的聚合特征加上對應(yīng)的解碼器的第i層輸入特征（經(jīng)上采樣操作得到與相同的圖片大?。粚⒅鹪叵嗉雍蟮妮敵鼋尤氲絻?yōu)化單元（即殘差組）中進(jìn)行進(jìn)一步的特征細(xì)化，隨后減去解碼器的第i層輸入.通過上述嵌入方式，模塊輸出為：

其中：↑2 表示尺度因子為2 的上采樣操作.其與UNet相結(jié)合的結(jié)構(gòu)示意圖如圖6所示.

圖6 “SOS”深度增強(qiáng)模塊Fig.6 "SOS"depth enhancement module

1.5 跨尺度聚合增強(qiáng)模塊（CSAE Block）

為了彌補(bǔ)小波域中去霧網(wǎng)絡(luò)所忽略的精細(xì)空間域圖像特征信息，本文提出了一種基于殘差組的跨尺度聚合增強(qiáng)模塊（CSAE Block），對小波域網(wǎng)絡(luò)（模塊A）最后輸出的重構(gòu)圖像進(jìn)行空間域上的圖像細(xì)節(jié)特征補(bǔ)充.CSAE Block結(jié)構(gòu)如圖7所示.

圖7 CSAE Block結(jié)構(gòu)Fig.7 CSAE block

CSAE Block 主要由卷積層（即“3×3 卷積-Lea?kyReLU”）、殘差組、平均池化、CSA 和級聯(lián)操作構(gòu)成.首先，卷積層和殘差組負(fù)責(zé)對模塊A 輸出的空間域圖像y模塊A進(jìn)行特征提取，平均池化將輸入特征分解為4 個不同尺度和的輸出，即：

然后，CSA 實(shí)現(xiàn)對輸入的不同尺度、空間分辨率的特征信息進(jìn)行聚合，從而達(dá)到在所有尺度級別上有用信息的融合，并在每個分辨率級別上生成精細(xì)特征；最后，通過“LeakyRelu-Conv-LeakyRelu”操作來對輸入特征的通道數(shù)進(jìn)行調(diào)整.

該模塊可以通過聚合不同尺度之間、不同分辨率之間的特征來使去霧網(wǎng)絡(luò)獲得較強(qiáng)的上下文信息處理能力.該聚合操作可表示如下：

綜上所述，CSAE Block總的輸出表達(dá)式為：

其中yCSACat表示對上采樣為統(tǒng)一大小的輸出特征進(jìn)行級聯(lián)操作.

1.6 損失函數(shù)

為了獲得更好的去霧效果，本文使用3 個損失函數(shù)（有圖像去霧損失Lrh、邊緣損失Ledge以及對比度增強(qiáng)損失Lce）作為網(wǎng)絡(luò)訓(xùn)練的總損失Ltotal，即：

其中：α，γ和λ均為任意非負(fù)常數(shù).

1）圖像去霧損失函數(shù).本文將L1損失和L2損失進(jìn)行簡單結(jié)合，構(gòu)成車牌圖像去霧損失函數(shù)：

式中：N表示輸入圖像像素?cái)?shù)；Igt為干凈圖像；Ihaze為車牌霧圖；FNet(?)表示車牌去霧網(wǎng)絡(luò)函數(shù).一方面通過L1損失函數(shù)來獲得較高的PSNR 和SSIM 值，另一方面則通過L2損失函數(shù)來盡可能提高去霧圖像的保真度.

2）邊緣損失函數(shù).為了加強(qiáng)輸出去霧圖像的邊緣輪廓信息，本文利用Sobel 邊緣檢測算法來獲得車牌去霧圖像和干凈圖像的邊緣輪廓圖，分別為和計(jì)算兩者的L1范數(shù)，獲得邊緣損失函數(shù)：

3）對比度增強(qiáng)損失.為了提高車牌去霧圖像的顏色對比度，本文最大限度地提升每個單獨(dú)顏色通道的方差，即最大化如下表達(dá)式：

式中：x表示圖像的像素索引為去霧網(wǎng)絡(luò)輸出圖像FNet(Ihaze)的平均像素值.值得注意的是，所期望的輸出去霧圖像應(yīng)該增強(qiáng)其對比度，所以Lce需要最大化，因此在總損失Ltotal中應(yīng)減去該項(xiàng).

2 訓(xùn)練與測試

2.1 車牌霧圖數(shù)據(jù)集（LPHaze Dataset）的制作

為了解決車牌去霧網(wǎng)絡(luò)訓(xùn)練過程中缺失的車牌霧圖數(shù)據(jù)集問題，受RESIDE 數(shù)據(jù)集制作方法的啟示，本文采用成熟的ASM 理論來進(jìn)行車牌霧圖數(shù)據(jù)集的制作.車牌圖像數(shù)據(jù)主要來源于OpenITS 提供的OpenData V3.1-SYSU 功能性能車牌圖像數(shù)據(jù)庫，并以中科大開源數(shù)據(jù)集CCPD［22］作為補(bǔ)充，具體制作方法如下：

1）預(yù)處理.從OpenITS 和CCPD 數(shù)據(jù)集中隨機(jī)選取2291 張清晰圖像，并對這些清晰車牌圖像的車牌區(qū)域進(jìn)行截取；

2）配置大氣散射模型參數(shù)值.參照RESIDE 數(shù)據(jù)集所選取的參數(shù)值范圍，隨機(jī)選取如下一組大氣光值A(chǔ)=［0.6，0.7，0.8，0.9，1.0］和一組大氣散射系數(shù)值β=［0.4，0.6，0.8，1.0，1.2，1.4，1.6］，并將場景深度d(x)置為1；

3）合成車牌有霧-無霧圖像對.采取一張清晰車牌圖像對應(yīng)多張車牌霧圖的方法來合成圖像對，即根據(jù)大氣散射模型，結(jié)合步驟2 中選定的參數(shù)值，以一張車牌無霧圖像對應(yīng)35 張有霧圖像的方法來合成數(shù)據(jù)集.合成車牌霧圖示例如圖8所示.

圖8 合成車牌霧圖示例Fig.8 Example of fog map of composite license plate

4）劃分訓(xùn)練集和驗(yàn)證集.訓(xùn)練集中干凈車牌圖像共1 697 張，對應(yīng)的車牌霧圖共59 395 張；驗(yàn)證集中干凈圖像共594張，對應(yīng)車牌霧圖共20 790張.

2.2 實(shí)驗(yàn)設(shè)置

本文采用自制的車牌霧圖數(shù)據(jù)集（LPHaze Data?set）作為車牌圖像去霧網(wǎng)絡(luò)的訓(xùn)練和驗(yàn)證數(shù)據(jù)，其中所有圖像像素大小均設(shè)置為64×128×3，batch size為64.并對訓(xùn)練數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)操作：隨機(jī)水平翻轉(zhuǎn)和隨機(jī)垂直翻轉(zhuǎn)（翻轉(zhuǎn)概率隨機(jī)取值0 或1），以提升網(wǎng)絡(luò)的魯棒性.此外，在訓(xùn)練過程中，使用Adam優(yōu)化器來優(yōu)化網(wǎng)絡(luò)，其參數(shù)均采用默認(rèn)值（β1=0.9 和β2=0.999），并通過梯度裁剪策略加速網(wǎng)絡(luò)收斂，訓(xùn)練800 個epoch，初始學(xué)習(xí)率為1e-4，總損失函數(shù)中α=1、γ=0.1 和λ=0.01.采用Pytorch 包進(jìn)行車牌霧圖去霧網(wǎng)絡(luò)結(jié)構(gòu)代碼的編寫和訓(xùn)練，整個訓(xùn)練過程均在NVIDIA Tesla T4的顯卡上運(yùn)行.

實(shí)驗(yàn)主要包括兩個部分：其一，測試本文提出的車牌霧圖去霧網(wǎng)絡(luò)模型，其二，對其進(jìn)行消融實(shí)驗(yàn).上述實(shí)驗(yàn)在合成車牌霧圖和自然拍攝的車牌霧圖上進(jìn)行測試，所有測試圖像均隨機(jī)選自O(shè)penITS 提供的車牌圖像數(shù)據(jù)庫（與LPHaze Dataset 訓(xùn)練集中的數(shù)據(jù)不重合），并從測試結(jié)果中選取如下5 種組合類型進(jìn)行定性和定量分析，分別為（A=0.6，β=0.8）、（A=0.7，β=1.0）、（A=0.8，β=1.2）、（A=0.9，β=1.4）和（A=1.0，β=1.6），同時對其依次編號為組合A到E.

3 結(jié)果與分析

3.1 測試實(shí)驗(yàn)

1）合成車牌霧圖去霧結(jié)果

為了進(jìn)一步評估算法性能，將本文算法與最近出現(xiàn)的經(jīng)典去霧算法（基于引導(dǎo)濾波器的暗通道先驗(yàn)算法［4］（GFDCP）、基于深度學(xué)習(xí)的端到端的去霧網(wǎng) 絡(luò)［8］（DehazeNet）、端到端的一體化去霧網(wǎng)絡(luò)（AODNet）、端到端門控上下文聚合去霧網(wǎng)絡(luò)［23］（GCANet）和端到端特征融合注意力去霧網(wǎng)絡(luò)［17］（FFANet））進(jìn)行比較.以上算法統(tǒng)一在LPHaze Data?set 的驗(yàn)證集上進(jìn)行測試，并選取其中5 類合成車牌霧圖的測試結(jié)果進(jìn)行實(shí)驗(yàn)分析，其結(jié)果見表2.

表2 合成車牌霧圖去霧圖像的PSNR（dB）/SSIM 均值Tab.2 PSNR（dB）/SSIM mean of defogging image of composite license plate fog image

由表2可以看出，在5類不同大氣光和散射系數(shù)的合成車牌霧圖上，與GCANet 得到的結(jié)果相比，在PSNR均值上分別提高了5.64、6.74、8.84、10.52、11.88 dB，SSIM均值上則分別提高了0.036 8、0.059 9、0.099 1、0.149 6、0.222 5.同時，在圖9 中的PSNR 和SSIM 均值曲線圖中亦可知，在重構(gòu)圖像質(zhì)量方面，本文算法在處理不同霧度的合成車牌霧圖上明顯優(yōu)于上述5 類經(jīng)典算法.最后，從合成車牌霧圖的去霧圖像中選取部分圖片進(jìn)行效果展示，如圖10 所示.從去霧效果中可以直觀感受到，本文算法相較于其它算法而言，具有較少的霧度殘留以及顏色失真.

圖9 6種算法在5類合成車牌霧圖上的PSNR和SSIM均值曲線Fig.9 PSNR and SSIM mean curves of 6 algorithms on 5 types of composite license plate fog map

圖10 合成車牌霧圖去霧效果展示Fig.10 Fog removal effect display of composite license plate

2）自然車牌霧圖去霧結(jié)果

本文還對實(shí)際拍攝的自然車牌霧圖進(jìn)行測試，并與上述5 種經(jīng)典算法的去霧效果進(jìn)行視覺比較.該測試數(shù)據(jù)選自O(shè)penITS 的車牌圖像數(shù)據(jù)庫，共915 張實(shí)際拍攝的車牌霧圖，視覺對比結(jié)果如圖11 所示.

從圖11 可知：在處理常見的藍(lán)底車牌霧圖時，本文算法很少出現(xiàn)過度曝光和圖像整體偏暗的問題，且霧度殘留也很少；對于其它底色的車牌霧圖（如圖11 中的黃底和藍(lán)底車牌），本文算法在去霧效果上相較于上述5 種經(jīng)典算法仍能保持自身優(yōu)勢，并且在顏色、字符等圖像信息上也能得到較好的恢復(fù).

圖11 實(shí)際拍攝的車牌霧圖去霧效果展示比較Fig.11 Comparison of defogging effect of actual license plate fog map

3.2 不同模塊對網(wǎng)絡(luò)性能的影響

為了分析其中各個模塊的重要性，本文在LP?Haze Dataset 數(shù)據(jù)集上進(jìn)行消融研究分析，以基于ResGroup 和“SOS”Block 的MWCNN 去霧網(wǎng)絡(luò)作為基準(zhǔn)網(wǎng)絡(luò)模塊，對于其他不同的網(wǎng)絡(luò)模塊，其簡化形式及說明如下，R1：基于ResGroup 和“SOS”Block 的MWCNN 作為基準(zhǔn)網(wǎng)絡(luò)，該網(wǎng)絡(luò)不包含DCPA Block、LMSA 和CSAE Block；R2：具有DCPA Block 的基準(zhǔn)網(wǎng)絡(luò)；R3：具有DCPA Block、LMSA 和CSAE Block 的基準(zhǔn)網(wǎng)絡(luò)，即最終的車牌霧圖去霧網(wǎng)絡(luò).上述網(wǎng)絡(luò)模塊均只訓(xùn)練150 個epoch，且初始學(xué)習(xí)率均為1e-4，并在LPHaze Dataset 的驗(yàn)證集上進(jìn)行測試，其測試結(jié)果如表3所示.

表3 不同網(wǎng)絡(luò)模塊在LPHaze Dataset的驗(yàn)證集上測試結(jié)果的均值Tab.3 Mean value of test results of different network modules on the verification set of LPHaze Dataset

由表3 可得，在不加入DCPA Block、LMSA 和CSAE Block 的情形下，PSNR 和SSIM 的均值分別可以達(dá)到22.47 dB 和0.942 1，而在加入三者后，PSNR和SSIM 均值則分別提升了0.8 dB 和0.009 2，從而使網(wǎng)絡(luò)能重建出高質(zhì)量的去霧圖像.

3.3 不同損失函數(shù)對網(wǎng)絡(luò)性能的影響

為了分析損失函數(shù)的有效性，本文算法分別采用L1、L2、Lrh（即L1和L2損失的簡單結(jié)合）和Ltotal這四類損失函數(shù)來進(jìn)行網(wǎng)絡(luò)模型的訓(xùn)練，訓(xùn)練150 個ep?och，且初始學(xué)習(xí)率為1e-4.分別在LPHaze Dataset 的驗(yàn)證集上進(jìn)行PSNR 和SSIM 的指標(biāo)測試，其實(shí)驗(yàn)結(jié)果如表4所示.從表4可知，只使用Lrh損失函數(shù)時，平均PSNR 和SSIM 可達(dá)到23.06 dB 和0.947 1，且相較于單獨(dú)使用L1或L2時均有著明顯提升.而使用總損失函數(shù)Ltotal時，平均PSNR 和SSIM 分別提升了0.21 dB 和0.004 2，從而使網(wǎng)絡(luò)性能得到較大的改善.

表4 不同損失函數(shù)下車牌去霧網(wǎng)絡(luò)測試結(jié)果Tab.4 Test results of license plate defogging network under different loss functions

4 結(jié)論

本文提出了一種基于深度多級小波U-Net 的車牌霧圖去霧算法，該算法以MWCNN 作為去霧網(wǎng)絡(luò)主體框架.首先，為了在小波域和空間域中盡可能地整合不同層級和尺度的圖像特征，引入了“SOS”增強(qiáng)策略，并在MWCNN 中間進(jìn)行跨層連接，以此對圖像特征進(jìn)行整合、完善和優(yōu)化；其次，本文將像素注意力、通道注意力和離散小波變換進(jìn)行有效融合，從而盡可能去除車牌霧圖中的霧度；最后，通過跨尺度聚合增強(qiáng)模塊來彌補(bǔ)小波域和空間域之間存在的圖像信息差異，進(jìn)一步提高了重構(gòu)圖像質(zhì)量.自然車牌霧圖和LPHaze Dataset 的驗(yàn)證集上的實(shí)驗(yàn)結(jié)果表明，在處理具有不同大氣光照和霧度的車牌霧圖上，本文算法具有較好的去霧表現(xiàn)，并且在處理具有不同底色的車牌霧圖時具有一定的優(yōu)勢.