基于增強(qiáng)多尺度生成對(duì)抗網(wǎng)絡(luò)的單幅圖像去霧

曾 瑩,劉 鑫,陳紀(jì)友,徐德智,楊高波

1(湖南大學(xué) 信息科學(xué)與工程學(xué)院,長(zhǎng)沙 410082)2(湖南應(yīng)用技術(shù)學(xué)院 信息工程學(xué)院,湖南 常德 415100)3(中南大學(xué) 計(jì)算機(jī)學(xué)院,長(zhǎng)沙 410083)

1 引 言

在霧天環(huán)境下,空氣中的懸浮顆粒與光線(xiàn)之間發(fā)生相互作用,使得采集到的圖像具有明顯的退化現(xiàn)象,包括色彩飽和度低、邊緣模糊等問(wèn)題.含霧圖像也會(huì)影響后續(xù)的圖像分析和理解等任務(wù).為了降低霧給室外成像系統(tǒng)帶來(lái)的影響,圖像去霧在計(jì)算機(jī)視覺(jué)等領(lǐng)域得到了廣泛的重視.

根據(jù)處理方式的不同,圖像去霧可以大致分為圖像增強(qiáng)和圖像復(fù)原兩大類(lèi)方法.其中,圖像增強(qiáng)是通過(guò)調(diào)節(jié)灰度等級(jí)改善對(duì)比度,以達(dá)到去霧效果.顯然,它并沒(méi)有考慮到含霧圖像降質(zhì)的本質(zhì),去霧的效果并不理想.圖像復(fù)原的方法利用大氣散射模型實(shí)現(xiàn)去霧,利用了造成含霧圖像退化的物理原因,相對(duì)效果較好.目前,基于圖像復(fù)原的圖像去霧可細(xì)分為3類(lèi):基于約束的方法、基于先驗(yàn)知識(shí)的方法和基于深度學(xué)習(xí)的方法.

常見(jiàn)的大氣散射模型是由McCartney[1]首次提出的.它的數(shù)學(xué)表達(dá)式為：

I(x)=J(x)t(x)+A(1-t(x))

(1)

其中,J(x)和I(x)分別代表像素點(diǎn)x在無(wú)霧圖像和有霧圖像對(duì)應(yīng)的像素值,A表示大氣光值,t(x)為像素點(diǎn)x處的透射率值.

基于先驗(yàn)知識(shí)的圖像去霧方法利用大氣散射模型中的一些參數(shù)特性作為假設(shè),求解其他參數(shù).Tan等[2]依據(jù)霧圖像的對(duì)比度低于清晰圖像且局部區(qū)域透射率是恒定的,構(gòu)造馬爾可夫隨機(jī)模型,估計(jì)邊緣強(qiáng)度的代價(jià)函數(shù)并優(yōu)化后得到衰減模型的大氣光強(qiáng)度衰減項(xiàng),實(shí)現(xiàn)圖像去霧.該方法提升了去霧圖像的對(duì)比度和局部細(xì)節(jié).對(duì)于戶(hù)外目標(biāo)區(qū)域圖像,He等[3]發(fā)現(xiàn)了暗通道先驗(yàn)(dark channel prior,DCP),即清晰圖像的RGB通道內(nèi)至少存在一個(gè)亮度很低的像素,選取暗通道中某個(gè)范圍內(nèi)亮度值的像素,以輸入圖像暗通道最亮的像素作為大氣光值.基于DCP的圖像去霧方法能夠保留圖像邊緣細(xì)節(jié),使得去霧圖像更加自然.王詩(shī)毅等[5]提出一種基于高斯卷積和奇異值分解的暗通道去霧算法(G-SVD).它有效地解決了去霧的塊狀效應(yīng),從信息熵、峰值信噪比、結(jié)構(gòu)相似性3方面定量對(duì)比分析算法性能,避免圖像畸變的同時(shí),提升了濃霧圖像去霧的效果.Zhu等[4]提出了基于顏色衰減先驗(yàn)(Color Attenuation Prior,CAP)的方法,依據(jù)霧的濃度和景深、圖像亮度與飽和度之差成正比建立線(xiàn)性模型.但是,此類(lèi)基于先驗(yàn)知識(shí)的方法仍然存在較大的局限性,表現(xiàn)為無(wú)法適用于復(fù)雜多變的自然場(chǎng)景.例如,基于DCP的圖像去霧[3]對(duì)于水面區(qū)域和大面積的天空區(qū)域,通常去霧效果不佳.

近幾年,深度學(xué)習(xí)在圖像分類(lèi)等計(jì)算機(jī)視覺(jué)領(lǐng)域取得了巨大的成功.深度學(xué)習(xí)也被引入到圖像去霧,它直接通過(guò)機(jī)器自動(dòng)學(xué)習(xí),有效解決了先驗(yàn)知識(shí)可能不夠準(zhǔn)確的問(wèn)題,適用的場(chǎng)景更廣.早期的深度學(xué)習(xí)圖像去霧方法利用神經(jīng)網(wǎng)絡(luò),估計(jì)大氣散射模型的參數(shù).Cai等[6]較早地將深度卷積神經(jīng)網(wǎng)絡(luò)(CNN)應(yīng)用于去霧場(chǎng)景,通過(guò)CNN深層結(jié)構(gòu)建立DehazeNet模型估計(jì)大氣散射模型的透射率參數(shù),構(gòu)建了霧圖像到透射圖的直接映射,并且提出了一種雙邊糾正線(xiàn)性函數(shù),提高了圖像去霧的質(zhì)量,尤其是天空和白色物體.Li等[7]設(shè)計(jì)了一種端到端AOD-Net網(wǎng)絡(luò),無(wú)需估計(jì)透射率和大氣光值,可以直接由輕量級(jí)的CNN生成去霧圖像,避免了單獨(dú)估計(jì)參數(shù)導(dǎo)致的誤差積累,但是估計(jì)傳輸映射關(guān)系存在一定的局限性,影響了去霧效果.Zhang等[8]提出邊緣保留多尺度密集連接網(wǎng)絡(luò)用于精確估計(jì)傳輸映射關(guān)系,解決了網(wǎng)格偽影問(wèn)題,在峰值信噪比(PSNR)和圖像相似度(SSIM)的評(píng)價(jià)指標(biāo)上有極大提升,但這種網(wǎng)絡(luò)受參數(shù)、網(wǎng)絡(luò)層數(shù)等限制,無(wú)法實(shí)現(xiàn)去霧結(jié)果由粗到細(xì)的優(yōu)化.王偉鵬等[9]提出一種結(jié)合卷積變換和細(xì)節(jié)優(yōu)化的圖像去霧算法,將大氣光幕的初始估計(jì)定義為高維流形信號(hào),利用空間域的等距變換實(shí)現(xiàn)降維,融合形態(tài)學(xué)運(yùn)算和最大通道實(shí)現(xiàn)濃霧區(qū)域檢測(cè),再通過(guò)大氣散射模型對(duì)霧圖還原,采用分段線(xiàn)性映射圖進(jìn)行細(xì)節(jié)和亮度提升.隨著深度學(xué)習(xí)在圖像去霧領(lǐng)域的發(fā)展,學(xué)者們提出了端到端的學(xué)習(xí),即輸入有霧圖像,直接輸出得到去霧后的圖像,無(wú)需依賴(lài)大氣散射模型.Ren等[10]對(duì)霧圖像進(jìn)行白平衡、對(duì)比度增強(qiáng)和伽馬矯正操作提取圖像內(nèi)部不同顏色或?qū)Ρ榷忍卣?利用每個(gè)變換圖像估計(jì)的權(quán)重矩陣進(jìn)行圖像融合.該方法對(duì)一般的自然圖像去霧效果良好,但對(duì)大霧情況無(wú)法取得好的效果.Chen等[11]設(shè)計(jì)了一個(gè)聚合不同結(jié)構(gòu)特征信息的門(mén)控融合網(wǎng)絡(luò)(gated context aggregation network,GCA-Net),采用平滑空洞卷積更高效的解決了網(wǎng)格偽影問(wèn)題,得到的去霧圖像自然,評(píng)價(jià)指標(biāo)也較之前的方法有較大的提升.隨著生成對(duì)抗網(wǎng)絡(luò)(Generative Adversary Network,GAN)[12]的發(fā)展,Engin等[13]利用無(wú)監(jiān)督端到端學(xué)習(xí)Cycle-GAN[14]對(duì)不成對(duì)的圖像進(jìn)行訓(xùn)練,加入循環(huán)感知一致?lián)p失監(jiān)督圖像特征以確保圖像清晰度.Dong等[15]設(shè)計(jì)了一個(gè)可以從淺層到深層提取所有特征的密集連接生成器和一個(gè)以頻率信息為先驗(yàn)的融合判別器,保留了圖像顏色和對(duì)比度.Xu等[16]提出一種將像素注意機(jī)制與通道注意機(jī)制結(jié)合在一起的特征注意模塊,FFA-Net不僅提升了卷積神經(jīng)網(wǎng)絡(luò)的表示能力,還為處理非同類(lèi)信息增強(qiáng)了更多靈活性,在霧濃度高且紋理細(xì)節(jié)豐富的區(qū)域去霧效果好.陳瑋等[17]結(jié)合天空分割和條件GAN提出一種可行的基于閾值的天空分割算法,利用改進(jìn)的條件GAN實(shí)現(xiàn)對(duì)透射率精確估計(jì),根據(jù)大氣散射模型恢復(fù)無(wú)霧圖像并對(duì)其進(jìn)行對(duì)比度增強(qiáng)處理,細(xì)節(jié)恢復(fù)清晰,對(duì)比度高.

本文提出一種基于pix2pixHD[18]的生成對(duì)抗去霧網(wǎng)絡(luò),并且加入增強(qiáng)器融合不同尺度的細(xì)節(jié)特征.該網(wǎng)絡(luò)包含三個(gè)部分:生成器、判別器和增強(qiáng)器.其中,增強(qiáng)器被分別嵌入生成器和判別器.帶有增強(qiáng)器的生成器分為全局生成器和局部生成器,全局生成器生成的圖像與原始圖像融合后再送入局部生成器,生成最終的圖像.判別器采用多尺度的結(jié)構(gòu),生成圖像和真實(shí)圖像以及它們下采樣后的結(jié)果分別被送入兩個(gè)不同的判別器中.該方法不需要依賴(lài)于物理散射模型,去霧圖像在邊緣細(xì)節(jié)和色彩方面都有出色表現(xiàn).本文引入最新的圖像去霧評(píng)價(jià)指標(biāo),包括能見(jiàn)度指數(shù)(VI)[19]和真實(shí)度指數(shù)(RI)[19],以評(píng)估該方法的圖像去霧性能.在合成和真實(shí)數(shù)據(jù)集上的大量實(shí)驗(yàn)結(jié)果表明,提出的方法取得了滿(mǎn)意的圖像去霧效果.

2 GAN

GAN包含兩種類(lèi)型的網(wǎng)絡(luò):生成器和判別器,互相博弈.生成器用于生成圖像,即輸入一個(gè)隨機(jī)噪聲,它能輸出一幅由神經(jīng)網(wǎng)絡(luò)自動(dòng)生成的假圖像;判別器以生成器的輸出圖像作為輸入,然后判斷這幅圖像的真假.通過(guò)生成器和判別器之間的博弈,生成器生成的圖像越來(lái)越逼真,判別器區(qū)分圖像真假的能力也隨之越高,直到判別器無(wú)法區(qū)分真實(shí)圖像和生成的假圖像時(shí).但是,傳統(tǒng)的生成對(duì)抗網(wǎng)絡(luò)也存在缺陷,很難生成高分辨率圖像且生成的圖像缺失細(xì)節(jié)和真實(shí)的紋理.

不同于傳統(tǒng)的GAN,pix2pix[20]的生成器輸入由隨機(jī)噪聲變成圖像,其模型是一個(gè)圖像到圖像轉(zhuǎn)換的條件性GAN[21]框架,生成器把語(yǔ)義標(biāo)簽圖轉(zhuǎn)換成真實(shí)可見(jiàn)的圖像,同時(shí)判別器不斷判斷真實(shí)圖像和轉(zhuǎn)換后的圖像.它的生成器采用U-net[22],判別器采用全連接網(wǎng)絡(luò),解決了生成圖像質(zhì)量不清晰的問(wèn)題,但是使用該框架測(cè)試生成的高分辨率圖像時(shí)存在訓(xùn)練不穩(wěn)定且生成圖像質(zhì)量差等問(wèn)題.

pix2pixHD在pix2pix基礎(chǔ)上的改進(jìn),提出了一個(gè)新的由粗到細(xì)的生成器、一個(gè)多尺度判別器和一個(gè)魯棒的對(duì)抗學(xué)習(xí)目標(biāo)函數(shù),該框架能有效生成高分辨率且逼真的圖像.生成器被分為全局生成網(wǎng)絡(luò)和局部生成網(wǎng)絡(luò),前者在1024×512分辨率的圖像上展開(kāi)操作,后者的輸入為2048×1024分辨率的圖像,融合了全局生成網(wǎng)絡(luò)的最后一層特征圖和局部生成網(wǎng)絡(luò)的特征圖.在訓(xùn)練過(guò)程中,先分別訓(xùn)練兩個(gè)生成網(wǎng)絡(luò),最后再聯(lián)合訓(xùn)練.為了辨別高分辨率真實(shí)圖像和生成圖像,判別器的感受野需求也隨之變大.由于加深網(wǎng)絡(luò)會(huì)導(dǎo)致網(wǎng)絡(luò)的容量增加,并且伴隨著過(guò)擬合,為此pix2pixHD采用多尺度判別器,有助于由粗到細(xì)的生成器訓(xùn)練更簡(jiǎn)單.

3 多尺度增強(qiáng)的生成對(duì)抗去霧網(wǎng)絡(luò)

圖1是提出的基于pix2pixHD的增強(qiáng)GAN去霧模型.它由多分辨率生成器、多尺度判別器和增強(qiáng)器構(gòu)成.利用全局圖像和局部圖像的特征在不同尺度上高效的實(shí)現(xiàn)圖像去霧,并使用short cut保留原始圖像顏色信息.

圖1 多尺度增強(qiáng)生成對(duì)抗去霧網(wǎng)絡(luò)結(jié)構(gòu)圖Fig.1 Multi-scale enhanced generative adversarial networks structure diagram

3.1 多分辨率生成器

生成器由全局生成器G1和局部生成器G2兩個(gè)部分構(gòu)成.其中,G1的輸入是G2輸入兩倍下采樣后的結(jié)果.多分辨率生成器是通過(guò)將G1的最終輸出和G2開(kāi)端卷積層得到的特征圖相加融合信息,這樣有助于整合G1的全局信息到G2中,再將結(jié)果輸入到G2的殘差網(wǎng)絡(luò)中.G1在粗尺度上生成圖像,G2在細(xì)尺度上生成圖像,最終可以生成一個(gè)由粗到細(xì)的高分辨率去霧圖像.生成器G1和G2兩者都包含3個(gè)部分,即前向到端卷積:將圖像編碼生成特征圖、增強(qiáng)殘差網(wǎng)絡(luò):3個(gè)殘差塊后連接兩個(gè)增強(qiáng)器、端到后向反卷積:將特征圖解碼回原始圖像空間.

3.2 多尺度判別器

多尺度判別器包含兩個(gè)不同尺度的判別器D1和D2,將多分辨率生成器生成的去霧圖像和地面真實(shí)圖像(Ground Truth)作為判別器D2的輸入,判別器D1的輸入則是經(jīng)判別器D2輸入兩倍下采樣得到.由于尺度的粗糙程度和感受野成正比,所以在粗尺度能獲得更多的圖像全局視角信息,D1能夠監(jiān)督生成器在粗尺度上生成全局的真實(shí)圖像,并且越精細(xì)尺度的判別器越能使生成器生成更加多的細(xì)節(jié),D2則可以引導(dǎo)生成器重建細(xì)節(jié),更有利于訓(xùn)練由粗到細(xì)的生成器.

3.3 增強(qiáng)器

由于pix2pixHD生成的圖像缺少細(xì)節(jié),且色彩過(guò)大,雖然判別器能很好的監(jiān)督生成器在粗尺度上的圖像生成,但是對(duì)于細(xì)尺度上生成圖像的監(jiān)督并不到位,也就是說(shuō)判別器在引導(dǎo)生成器生成真實(shí)圖片的能力上是有限的.所以本文引入DCPDN[8]中的多級(jí)金字塔池化模塊作為增強(qiáng)器來(lái)有效解決這個(gè)問(wèn)題,它能夠采樣多種特征使不同尺度的特征細(xì)節(jié)融入到最終的結(jié)果,從而提高準(zhǔn)確度.與使用較大的池化大小來(lái)聚合不同對(duì)象之間的更多全局上下文信息的方法相比,多級(jí)金字塔池化模塊是通過(guò)更多的局部信息來(lái)表征每個(gè)對(duì)象的全局結(jié)構(gòu),換言之,由多級(jí)池化保留圖像不同的關(guān)鍵信息,最后將不同特征融合到一起.增強(qiáng)器首先通過(guò)兩個(gè)3×3的前端卷積層得到圖像特征圖,輸出結(jié)果經(jīng)過(guò)均值池化下采樣為四個(gè)不同尺度的特征圖,不同尺度的特征圖可以提供不同的感受野,有助于圖像在不同尺度上的重建,然后將每個(gè)特征圖通過(guò)1×1卷積層進(jìn)行降維,再把每個(gè)尺度的特征圖上采樣到原始特征大小,與初始前端卷積層的輸出進(jìn)行連接,作為最后3×3卷積層的輸入,最終還原到原始圖像空間.

4 實(shí)驗(yàn)結(jié)果與分析

本文分別在真實(shí)數(shù)據(jù)集和合成數(shù)據(jù)集上測(cè)試了該方法,并且與目前幾種最主流的方法,包括DCP[3]、AOD-Net[7]、GCANet[11]、Cycle-dehaze[13]和FFA-Net[16]進(jìn)行實(shí)驗(yàn)比較.

4.1 數(shù)據(jù)集

RESIDE[23]數(shù)據(jù)集包含合成和真實(shí)世界的有霧圖像,它含有各種數(shù)據(jù)源和圖像內(nèi)容,并分為5個(gè)子集:室內(nèi)訓(xùn)練集(ITS)、戶(hù)外訓(xùn)練集(OTS)、合成目標(biāo)測(cè)試集(SOTS)、真實(shí)世界任務(wù)驅(qū)動(dòng)測(cè)試集(RTTS)和混合主觀測(cè)試集(HSTS).其中ITS、OTS、SOTS是合成數(shù)據(jù)集,RTTS是真實(shí)數(shù)據(jù)集,HSTS數(shù)據(jù)集包含真實(shí)圖像和合成圖像,每個(gè)子集用于不同的訓(xùn)練和測(cè)試.本文使用ITS作為訓(xùn)練集,SOTS作為實(shí)驗(yàn)的測(cè)試集,并且在該數(shù)據(jù)集上比較了當(dāng)前最先進(jìn)效果較好的方法和本文方法.此外我們還選取了真實(shí)世界的戶(hù)外有霧圖像作為數(shù)據(jù)集并進(jìn)行幾種方法的對(duì)比.

4.2 訓(xùn)練細(xì)節(jié)

本文方法使用Pytorch實(shí)現(xiàn),運(yùn)行環(huán)境為Ubuntu,模型的訓(xùn)練是在NVIDIA1080TiGPU上完成的.

4.3 實(shí)驗(yàn)結(jié)果及定性分析

本文在RESIDE的SOTS戶(hù)外數(shù)據(jù)集中隨機(jī)挑選了一些有代表性的圖像作為測(cè)試集進(jìn)行實(shí)驗(yàn),結(jié)果如圖2所示,它展示了當(dāng)前幾種去霧的最先進(jìn)算法和本文方法的結(jié)果對(duì)比.可以看出,DCP[3]基本上能實(shí)現(xiàn)去霧,但是有嚴(yán)重的顏色失真,去霧圖像較地面真實(shí)圖像而言色彩更深,丟失了圖像深度的細(xì)節(jié).AOD-Net[7]方法對(duì)天空區(qū)域去霧效果較好,但是由于傳輸映射關(guān)系的估計(jì)問(wèn)題,對(duì)物體去霧效果不佳,得到的去霧圖像中還有殘存的霧.GCANet[11]對(duì)于紋理、邊緣和藍(lán)天等高頻細(xì)節(jié)處理能力差,結(jié)果圖在某些區(qū)域顏色過(guò)深.Cycle-dehaze[13]方法的結(jié)果圖對(duì)比其他幾種方法去霧效果明顯更差,不僅有非常嚴(yán)重的顏色失真,大多的圖像細(xì)節(jié)信息丟失,同時(shí)還有很多偽影.FFA-Net[16]幾乎沒(méi)有實(shí)現(xiàn)去霧,結(jié)果圖中霧濃度還是很高.本文方法得到的去霧圖像更加接近地面真實(shí)圖像,視覺(jué)感更強(qiáng),并且在細(xì)節(jié)恢復(fù)方面明顯優(yōu)于其他方法.

圖2 幾種算法在RESIDE數(shù)據(jù)集上的去霧結(jié)果Fig.2 Dehazing results of several algorithms on the RESIDE dataset

為了進(jìn)一步比較上述幾種去霧算法,選取真實(shí)世界的戶(hù)外有霧圖像作為測(cè)試集,其中包含了容易和天空區(qū)域混淆的水面區(qū)域,具有更強(qiáng)的挑戰(zhàn)性,如圖3所示.DCP[3]結(jié)果存在嚴(yán)重的顏色失真,在無(wú)水面區(qū)域干擾的情況下天空區(qū)域呈現(xiàn)黃色,有水面的去霧圖中水面顏色趨于灰黑色,天空顏色趨于藍(lán)紫色.AOD-Net[7]較DCP而言,天空和水面區(qū)域的顏色和DCP呈現(xiàn)的一樣,但是只有輕微顏色失真,對(duì)于較遠(yuǎn)的物體去霧效果不佳,且邊緣模糊整體缺少細(xì)節(jié).GCANet[11]去霧圖像中色彩過(guò)渡不緩和,有嚴(yán)重的顏色差異顯得圖像不自然,天空為紫紅色.Cycle-dehaze[13]得到的結(jié)果依舊很差,圖像過(guò)于粗糙、色調(diào)偏暗、有偽影,整體有很強(qiáng)的違和感.FFA-Net[16]對(duì)于遠(yuǎn)一點(diǎn)的區(qū)域去霧效果不明顯.本文方法與這些最先進(jìn)的方法相比取得了很好的視覺(jué)效果,去霧效果最為明顯并且保留了細(xì)節(jié)信息.

圖3 幾種算法在真實(shí)世界戶(hù)外數(shù)據(jù)集上的去霧結(jié)果Fig.3 Dehazing results of several algorithms on real-world outdoor datasets

4.4 評(píng)價(jià)指標(biāo)及定量分析

為了評(píng)估本文方法的性能,使用4個(gè)評(píng)價(jià)指標(biāo):峰值信噪比(PSNR)、結(jié)構(gòu)相似性(SSIM)、能見(jiàn)度指數(shù)(VI)和真實(shí)度指數(shù)(RI).去霧圖像的評(píng)估包括客觀標(biāo)準(zhǔn)和主觀標(biāo)準(zhǔn)兩個(gè)方面,對(duì)于前者去霧實(shí)驗(yàn)通常使用PSNR和SSIM來(lái)衡量算法的去霧效果,但是PSNR是面向像素的計(jì)算指標(biāo),其數(shù)值不一定與圖像品質(zhì)直接掛鉤,也就是說(shuō)PSNR分?jǐn)?shù)無(wú)法和人眼看到的感受完全一樣,之前的實(shí)驗(yàn)也能證明這一點(diǎn),有可能PSNR較高但是主觀評(píng)價(jià)差,因?yàn)槿搜垡曈X(jué)是對(duì)圖像整體感知做出評(píng)判,對(duì)誤差的敏感度并非絕對(duì)的,做出的評(píng)判會(huì)受到很多因素的影響.SSIM是一種衡量?jī)煞鶊D像相似度的指標(biāo),它基于結(jié)構(gòu)相似性理論:圖像中的場(chǎng)景和物體均具有一定的結(jié)構(gòu)性,所以在對(duì)比圖像質(zhì)量時(shí)應(yīng)考慮其結(jié)構(gòu)信息.一般來(lái)說(shuō),PSNR和SSIM越高,輸出圖與真實(shí)圖越接近,去霧算法效果越好.主觀評(píng)估一般是通過(guò)人眼的視覺(jué)效果來(lái)評(píng)估圖像的去霧性能,但是這種評(píng)估因人而異存在較大局限性,由于去霧涉及到兩個(gè)不同方面,即能見(jiàn)度恢復(fù)和真實(shí)度恢復(fù),應(yīng)該單獨(dú)對(duì)它們進(jìn)行評(píng)估,所以本文增加RI和VI這兩個(gè)標(biāo)準(zhǔn)對(duì)去霧后的圖像評(píng)估,且VI和RI值和去霧算法效果成正比.對(duì)于VI采用透射率和圖像梯度這兩個(gè)與能見(jiàn)度高度相關(guān)的特征描述,如式(2)所示:

(2)

其中,SG(x)是清晰圖像和霧圖像的梯度相似度,ST(x)是它們之間的透射率相似度.對(duì)于RI則用相位一致性和色度信息來(lái)描述圖像的真實(shí)性:

(3)

其中,SPC(x)是清晰圖像和霧圖像的相位一致性相似度,SC(x)是它們之間的色度相似度,將一張RGB圖像轉(zhuǎn)換到Y(jié)MN空間,分別計(jì)算M和N兩個(gè)通道的色度相似度再相加就能得到總的色度相似度.

表1記錄了幾種方法去霧結(jié)果的平均值指標(biāo).可以看出,Cycle-dehaze[15]方法相較其他4種和本文方法,不論是在PSNR和SSIM,還是RI和VI這些指標(biāo)上都是最差的一個(gè).由于除了FFA-Net[16]和本文方法,其余方法得到的去霧圖像都有不同程度的顏色失真,所以沒(méi)有顏色失真的方法RI值更高,而霧殘存越多的圖像VI值越低.本文方法在SOTS的戶(hù)外數(shù)據(jù)集上的得到的去霧圖像在PSNR、SSIM、VI和RI上都取得了最佳的性能,PSNR和SSIM較第2名的GCANet[11]相比分別提高了1.78dB和0.0341,RI值和FFA-Net[14]相差不大,但是較其他4種方法還是有一定提升,本文方法的VI值和其余5種方法相比則有突破性增益.上述結(jié)論和定性分析的結(jié)論是一致的,這表明本文方法不論是在視覺(jué)效果還是定量標(biāo)準(zhǔn)上都更為優(yōu)越.

表1 幾種去霧算法的實(shí)驗(yàn)結(jié)果指標(biāo)值Table 1 Index values of experimental results of several defogging algorithms

4.5 消融實(shí)驗(yàn)

為了評(píng)估模型中增強(qiáng)器的性能,本文進(jìn)行了消融實(shí)驗(yàn).本文所建立的模型由基礎(chǔ)網(wǎng)絡(luò)pix2pixHD和增強(qiáng)器組成,基于此,本文進(jìn)行了消融實(shí)驗(yàn)分析.1.僅用基礎(chǔ)網(wǎng)絡(luò)pix2pixHD進(jìn)行訓(xùn)練和測(cè)試.2.在1的基礎(chǔ)上嵌入增強(qiáng)器,再進(jìn)行訓(xùn)練和測(cè)試.圖4顯示了它們的實(shí)驗(yàn)結(jié)果,僅用基礎(chǔ)網(wǎng)絡(luò)pix2pixHD進(jìn)行訓(xùn)練和測(cè)試的模型去霧能力不及嵌入了增強(qiáng)器的模型,表現(xiàn)為去霧不完全,有較多明顯的殘留.嵌入了增強(qiáng)器的模型,去霧能力明顯增強(qiáng),特別在圖像中霧濃度較大時(shí),其去霧效果比基礎(chǔ)網(wǎng)絡(luò)pix2pixHD更加徹底,并且依然保留了一定的細(xì)節(jié).

圖4 真實(shí)圖像上消融實(shí)驗(yàn)的去霧結(jié)果Fig.4 Dehazing results of ablation on real-world outdoor datasets

5 結(jié) 論

本文提出了一種由多分辨率生成器、多尺度判別器和增強(qiáng)器組成的去霧網(wǎng)絡(luò),這是一種端到端的網(wǎng)絡(luò)不依賴(lài)大氣散射模型,利用全局和局部圖像的特征在不同尺度上由粗到細(xì)的優(yōu)化去霧結(jié)果.通過(guò)在合成數(shù)據(jù)集和真實(shí)數(shù)據(jù)集上的測(cè)試實(shí)驗(yàn),本文算法在定量和定性評(píng)價(jià)中都取得了最佳的去霧性能,視覺(jué)效果好并且保留了細(xì)節(jié)信息.