基于雙向轉(zhuǎn)換網(wǎng)絡(luò)的域自適應(yīng)單幅圖像去霧方法

湯永恒，潘斌

（遼寧石油化工大學(xué)計(jì)算機(jī)與通信工程學(xué)院，遼寧 撫順 113001）

隨著社會(huì)的發(fā)展，環(huán)境污染也更加嚴(yán)重，近年來霧霾現(xiàn)象變得愈發(fā)的普遍，這給光學(xué)設(shè)備的成像造成了極大的影響，尤其是航海航天、道路交通、目標(biāo)跟蹤、目標(biāo)識(shí)別等領(lǐng)域。因此，如何排除霧霾天氣對(duì)實(shí)際工作的干擾變得越來越重要，圖像去霧也成為了計(jì)算機(jī)視覺領(lǐng)域的熱點(diǎn)問題。目前，圖像去霧的方法大致分為基于圖像增強(qiáng)和基于物理模型的圖像復(fù)原兩種方法?；趫D像增強(qiáng)的方法包括直方圖均衡化、小波曲波變換、Retinex算法、基于局部方差等[1]?；谖锢砟Ｐ偷膱D像復(fù)原方法主要包括基于深度關(guān)系霧天圖像復(fù)原、基于先驗(yàn)信息霧天圖像復(fù)原等。這些方法都是根據(jù)霧天圖像退化模型進(jìn)行圖像去霧，霧天圖像退化模型可表示為：

式中，I(x)為光學(xué)設(shè)備獲取的有霧圖像；x為像素坐標(biāo)；J(x)為處理后的無霧圖像；A為常數(shù)，表示大氣光值；A[1-t(x)]為大氣光主要成分項(xiàng)；t(x)為透視率，透射率隨場(chǎng)景深度變化呈指數(shù)式衰減。

基于先驗(yàn)信息的霧天圖像復(fù)原工作率先由R.T.Tan[2]提出。該方法針對(duì)單幅彩色或灰度圖像去霧，去霧后的圖像對(duì)比度大大提高，但是顏色過于飽和且有光暈偽影。R.Fattal[3]通過求取圖像景物反射率估計(jì)值的方式推導(dǎo)出去霧圖像，這種方法僅適用于薄霧條件，如果變成濃霧，處理效果變差。K.M.He等[4]提出了基于暗原色的單一圖像去霧方法，去霧效果有了較好的提升但是計(jì)算代價(jià)大，處理時(shí)間長(zhǎng)。D.Berman等[5]假設(shè)數(shù)百種近似于清晰圖像的不同顏色，然后根據(jù)先驗(yàn)信息圖像去霧的方法進(jìn)行了圖像去霧。上述方法在合成數(shù)據(jù)去霧方面都取得了一定的效果，但是在進(jìn)行圖像信息先驗(yàn)時(shí)容易產(chǎn)生誤差，從而與實(shí)際數(shù)據(jù)不匹配，導(dǎo)致t(x)的計(jì)算出現(xiàn)錯(cuò)誤，使其在處理真實(shí)環(huán)境下的霧天圖像時(shí)效果不太理想。

隨著深度學(xué)習(xí)技術(shù)的發(fā)展，人們開始研究基于深度學(xué)習(xí)的圖像去霧算法。例如由H.Zhang等[6]提出的DCPDN圖像去霧網(wǎng)絡(luò)，采用的生成對(duì)抗網(wǎng)絡(luò)增加了一個(gè)反向驗(yàn)證的過程，同時(shí)加入一致性損失，使轉(zhuǎn)換后的效果強(qiáng)于其他生成對(duì)抗網(wǎng)絡(luò)。深度學(xué)習(xí)的方法通過構(gòu)建多層卷積神經(jīng)網(wǎng)絡(luò)得到估計(jì)值，從而可以直接預(yù)測(cè)去霧后的清晰圖像，相對(duì)于基于物理的去霧方法，在峰值信噪比(PSNR)[7]、結(jié)構(gòu)相似度(SSIM)[8]等指標(biāo)上也有較大提升。但是，該方法需要大量的霧天圖像和無霧圖像進(jìn)行訓(xùn)練，而在現(xiàn)實(shí)生活中收集大量真實(shí)霧天圖像數(shù)據(jù)是非常困難的。因此，目前基于深度學(xué)習(xí)的去霧算法，大多是采用人工合成的有霧圖像對(duì)深度神經(jīng)網(wǎng)絡(luò)模型進(jìn)行訓(xùn)練，而人工合成霧天圖像與真實(shí)世界的霧天圖像存在一定差別，人工合成霧天圖像的霧是均勻分布且沒有深度，真實(shí)霧天圖像的霧是隨機(jī)分布且霧的深淺不一，因此該類方法針對(duì)真實(shí)世界的霧天圖像去霧時(shí)效果都不太理想，究其原因就是產(chǎn)生了域轉(zhuǎn)移的問題[9]。

本文提出了基于雙向轉(zhuǎn)換網(wǎng)絡(luò)的域自適應(yīng)單幅圖像去霧算法。該方法包含一個(gè)由Cycle-GAN網(wǎng)絡(luò)組成的圖像域轉(zhuǎn)換模型和一個(gè)由卷積神經(jīng)網(wǎng)絡(luò)組成的圖像去霧模型。通過雙向轉(zhuǎn)換網(wǎng)絡(luò)實(shí)現(xiàn)圖像在合成域與真實(shí)域之間的轉(zhuǎn)換，減少不同域之間的差距，然后將轉(zhuǎn)換后的圖像作為輸入數(shù)據(jù)訓(xùn)練去霧網(wǎng)絡(luò)模型。為了提高模型對(duì)真實(shí)霧天圖像的處理能力，本文在人工合成的霧天圖像基礎(chǔ)上，增加了真實(shí)霧天圖像作為訓(xùn)練數(shù)據(jù)，提高了模型的泛化能力。大量的實(shí)驗(yàn)結(jié)果表明，此方法對(duì)人工合成霧天圖像和真實(shí)霧天圖像都有較好的去霧效果，在峰值信噪比、結(jié)構(gòu)相似度等方面均有提高。

1 圖像去霧方法

1.1 深度學(xué)習(xí)方法

近年來，在計(jì)算機(jī)視覺領(lǐng)域基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像去霧的方法受到了很大的關(guān)注，圖像去霧也成為了計(jì)算機(jī)視覺領(lǐng)域一個(gè)重要的研究方向。用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像去霧的方法，大多都是首先通過卷積神經(jīng)網(wǎng)絡(luò)計(jì)算轉(zhuǎn)換圖和大氣光值，然后利用霧天退化模型反推出無霧圖像。B.Cai等[10]提出了一種基于端到端的DehazeNet圖像去霧模型，用去霧網(wǎng)絡(luò)根據(jù)有霧圖像計(jì)算出轉(zhuǎn)換圖，然后反推出清晰圖像。W.Q.Ren等[11]提出了多尺度卷積神經(jīng)網(wǎng)絡(luò)圖像去霧方法，先用粗尺度的卷積神經(jīng)網(wǎng)絡(luò)得到粗略的透視率圖，然后通過細(xì)尺度卷積神經(jīng)網(wǎng)絡(luò)得到精細(xì)化的透射率圖，最后得到去霧后的圖像。H.Zhang等[12]提出了一個(gè)通過密集金字塔網(wǎng)絡(luò)進(jìn)行圖像去霧的方法，通過該網(wǎng)絡(luò)估計(jì)出轉(zhuǎn)換圖，然后反推出清晰圖像。這些基于深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)的去霧方法都是利用合成的有霧圖像進(jìn)行訓(xùn)練，對(duì)真實(shí)霧天圖像進(jìn)行去霧處理時(shí)效果差，原因在于沒有解決域轉(zhuǎn)移問題，模型的泛化能力不夠。本文算法首先利用雙向轉(zhuǎn)換網(wǎng)絡(luò)對(duì)圖像進(jìn)行域轉(zhuǎn)換，將圖像從一個(gè)域轉(zhuǎn)換到另一個(gè)域，有效地解決了域轉(zhuǎn)移的問題，然后用轉(zhuǎn)換后的圖像作為訓(xùn)練集對(duì)去霧模型進(jìn)行訓(xùn)練。實(shí)驗(yàn)結(jié)果表明，該方法對(duì)合成有霧圖像和真實(shí)霧天圖像都有較好的去霧效果，尤其是在合成霧天圖像的去霧效果較以往方法有顯著提高。

1.2 域自適應(yīng)方法

域自適應(yīng)的目的是減小不同域之間的差異，有效地解決訓(xùn)練樣本和測(cè)試樣本之間概率分布不一致的學(xué)習(xí)問題。當(dāng)前域自適應(yīng)在計(jì)算視覺領(lǐng)域得到了廣泛的運(yùn)用，如圖像分類、語義分割、視頻分析等方法都是利用轉(zhuǎn)換網(wǎng)絡(luò)將數(shù)據(jù)從一個(gè)域轉(zhuǎn)換到另一個(gè)域以達(dá)到域自適應(yīng)。域自適應(yīng)是通過轉(zhuǎn)換學(xué)習(xí)和風(fēng)格遷移的方法去重新創(chuàng)建新的目標(biāo)域的數(shù)據(jù)，常見域自適應(yīng)可以分為基于對(duì)抗、重建的域自適應(yīng)?；趯?duì)抗的域自適應(yīng)通過對(duì)抗網(wǎng)絡(luò)(GAN)生成合成目標(biāo)數(shù)據(jù)，然后根據(jù)合成數(shù)據(jù)訓(xùn)練模型；基于重建的域自適應(yīng)是使用輔助重建任務(wù)為每個(gè)域創(chuàng)建共享表示。這些域自適應(yīng)執(zhí)行特征級(jí)的域自適應(yīng)或像素級(jí)域自適應(yīng)。特征級(jí)域自適應(yīng)主要是通過最小化最大平均值差異或?qū)箤W(xué)習(xí)來調(diào)整源域和目標(biāo)域之間的特征差異。像素級(jí)域自適應(yīng)主要是采用轉(zhuǎn)換網(wǎng)絡(luò)將一個(gè)圖像從一個(gè)域轉(zhuǎn)換到另一個(gè)域，從而達(dá)到像素級(jí)域自適應(yīng)。常用的圖像轉(zhuǎn)換網(wǎng)絡(luò)有Cycle-GAN、Pan等。

2 本文算法

2.1 雙向轉(zhuǎn)換模塊

本文采用的雙向轉(zhuǎn)換網(wǎng)絡(luò)為Cycle-GAN網(wǎng)絡(luò)，其網(wǎng)絡(luò)配置如圖1所示。圖1中,Conv表示卷積層；Res4-12表示殘差模塊；Upconv表示上采樣層；SFT表示空間特征變換層；Tanh表示非線性層，采用Tanh激活函數(shù)。

圖1 Cycle-GAN網(wǎng)絡(luò)配置

雙向轉(zhuǎn)換網(wǎng)絡(luò)可以將合成霧天圖像數(shù)據(jù)轉(zhuǎn)換為真實(shí)霧天圖像數(shù)據(jù)，也可以把真實(shí)霧天圖像數(shù)據(jù)轉(zhuǎn)換為合成霧天圖像數(shù)據(jù)。為了使由合成霧天圖像數(shù)據(jù)轉(zhuǎn)換而來的圖像更符合實(shí)際，本文將圖像深度信息融入到網(wǎng)絡(luò)中；為了將圖像深度信息融入到網(wǎng)絡(luò)中，采用空間特征變換層(Spatial Feature Transform Layer)[13]。通過本文算法經(jīng)過多次實(shí)驗(yàn)得到的圖像都與真實(shí)霧天圖像更加相似，圖像轉(zhuǎn)換結(jié)果如圖2所示。從圖2可以看出，域轉(zhuǎn)換后的圖像更加接近于真實(shí)霧天圖像。

圖2 基于本文方法的圖像轉(zhuǎn)換結(jié)果

2.2 圖像去霧模塊

圖像去霧模塊包括合成霧天圖像處理的網(wǎng)絡(luò)模型和真實(shí)霧天圖像處理的網(wǎng)絡(luò)模型。將真實(shí)霧天圖像輸入到雙向轉(zhuǎn)換網(wǎng)絡(luò)得到合成霧天圖像，并將其作為輸入放入合成霧天圖像處理模型中進(jìn)行圖像去霧處理；將合成霧天圖像輸入到雙向轉(zhuǎn)換網(wǎng)絡(luò)得到真實(shí)霧天圖像，并將其作為輸入放入真實(shí)霧天圖像處理模型中進(jìn)行圖像去霧處理。兩個(gè)去霧網(wǎng)絡(luò)的結(jié)構(gòu)是相同的，只不過初始化參數(shù)不同。圖像去霧模塊流程如圖3所示。

圖3 圖像去霧模塊流程

2.3 損失函數(shù)

在整個(gè)域自適應(yīng)圖像去霧框架中，損失函數(shù)包含雙向轉(zhuǎn)換網(wǎng)絡(luò)的損失函數(shù)和圖像去霧網(wǎng)絡(luò)的損失函數(shù)。在雙向轉(zhuǎn)換網(wǎng)絡(luò)定義圖像級(jí)對(duì)抗性損失LimgGan、特征級(jí)對(duì)抗性損失LfeatGan，其表達(dá)式見式（2）及式（3）。

式中，XR為真實(shí)域；XS為合成域；?R為真實(shí)霧天圖像去霧模塊；DimgR為圖像級(jí)鑒別器，其有助于對(duì)齊真實(shí)圖像與轉(zhuǎn)換后圖像GS→R(xs,ds)特征圖之間的分布；DfeatR為特征級(jí)圖像鑒別器，其有助于對(duì)齊真實(shí)圖像與GS→R(xs,ds)特征圖之間的分布；DS為相應(yīng)深度圖像；xs為輸入的合成圖像；xr為輸入的真實(shí)圖像。

另外，定義Cycle一致性損失，其表達(dá)式為：

為促使生成器保留輸入與輸出之間的內(nèi)容信息，定義特征映射損失為：

因此，最終的雙向轉(zhuǎn)換網(wǎng)絡(luò)的損失函數(shù)表達(dá)式為：

去霧后圖像質(zhì)量損失包含真實(shí)域去霧模型和合成域去霧模型損失兩個(gè)部分。為確保預(yù)測(cè)圖像JS→R更加接近清晰圖像YS，在基于真實(shí)域去霧網(wǎng)絡(luò)中采用均方差損失函數(shù)為：

為了使去霧網(wǎng)絡(luò)正則化，引入了全變分和暗通道損失，全變分損失函數(shù)表達(dá)式為：

暗通道表達(dá)式為：

暗通道DC損失表達(dá)式為：

此外，合成域去霧模型損失函數(shù)表達(dá)式與之類似，可以表示為：

最終圖像去霧網(wǎng)絡(luò)的損失函數(shù)為：

綜合雙向轉(zhuǎn)換網(wǎng)絡(luò)損失和圖像去霧網(wǎng)絡(luò)損失,定義整個(gè)域自適應(yīng)去霧框架損失函數(shù)：

式中，λm、λd、λt、λc為權(quán)重。

3 實(shí)驗(yàn)部分

實(shí)驗(yàn)在64位ubuntu操作系統(tǒng)中進(jìn)行，使用pytorch框架對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，CPU為Intel Xeon(R)Platinum 8160,內(nèi) 存256 GB DDR4，GPU為NVIDIA P100。

3.1 實(shí)驗(yàn)步驟

本文算法訓(xùn)練網(wǎng)絡(luò)模型使用的數(shù)據(jù)來自RESIDE[14]數(shù)據(jù)集,從RESIDE數(shù)據(jù)中隨機(jī)抽取數(shù)據(jù)用于網(wǎng)絡(luò)模型的訓(xùn)練工作。RESIDE數(shù)據(jù)被劃分為室內(nèi)訓(xùn)練集(Indoor Training Set)、室外訓(xùn)練集(Outdoor Training Set)、合成圖像測(cè)試集(Synthetic Object Test Set)、未標(biāo)簽真實(shí)霧天圖像(Unannotated Real Hazy Images)、真實(shí)霧天圖像測(cè)試集(Real Task-driven Testing Set)五大部分。隨機(jī)抽 取Indoor Training Set和Outdoor Training Set各3 000張作為實(shí)驗(yàn)合成霧天圖像數(shù)據(jù)集，隨機(jī)抽取Unannotated Real Hazy Images1 000張作為真實(shí)霧天圖像數(shù)據(jù)集。在訓(xùn)練時(shí)，把所有實(shí)驗(yàn)用圖像都裁剪為256×256,每幅圖像的像素值轉(zhuǎn)為[-1,1]。開始時(shí)，用訓(xùn)練圖像來訓(xùn)練圖像轉(zhuǎn)換模塊即訓(xùn)練雙向轉(zhuǎn)換網(wǎng)絡(luò)(Cycle-GAN)，將訓(xùn)練參數(shù)設(shè)置為50～100次，學(xué)習(xí)率設(shè)置為（5.0～6.0)×10-5。經(jīng)過大量實(shí)驗(yàn)驗(yàn)證，最終確定訓(xùn)練次數(shù)為90次、學(xué)習(xí)率為5.5×10-5時(shí)模型最優(yōu)。利用轉(zhuǎn)換后的合成霧天圖像數(shù)據(jù)訓(xùn)練合成霧天圖像去霧網(wǎng)絡(luò)，用轉(zhuǎn)換后的真實(shí)霧天圖像數(shù)據(jù)訓(xùn)練真實(shí)霧天圖像去霧網(wǎng)絡(luò)，兩個(gè)去霧網(wǎng)絡(luò)的訓(xùn)練次數(shù)最初設(shè)置為50次，但是處理圖像效果不佳，于是將訓(xùn)練次數(shù)范圍設(shè)為50～150次，學(xué)習(xí)率設(shè)置為（0.5～1.5）×10-5。經(jīng)過大量的實(shí)驗(yàn)，當(dāng)訓(xùn)練次數(shù)為90次、學(xué)習(xí)率為1.0×10-5時(shí)處理效果最佳。再用前面的訓(xùn)練數(shù)據(jù)訓(xùn)練整個(gè)基于雙向轉(zhuǎn)換網(wǎng)絡(luò)的域自適應(yīng)去霧網(wǎng)絡(luò)，分別生成用于合成數(shù)據(jù)的域自適應(yīng)去霧模型和用于真實(shí)霧天圖像的域自適應(yīng)去霧模型。模型訓(xùn)練次數(shù)匹配前面模型的訓(xùn)練次數(shù)，同樣設(shè)定為90次。當(dāng)訓(xùn)練次數(shù)設(shè)置小于或大于90次時(shí)，處理結(jié)果均較訓(xùn)練90次有所下降。測(cè)試階段用合成霧天圖像和真實(shí)霧天圖像測(cè)試用于合成霧天圖像域自適應(yīng)的模型和用于真實(shí)霧天圖像域自適應(yīng)模型。測(cè)試階段用的合成霧天圖像數(shù)據(jù)來自Synthetic Object Test Set，真實(shí)霧天圖像數(shù)據(jù)來自Unannotated Real Hazy Images。

3.2 實(shí)驗(yàn)結(jié)果

為了驗(yàn)證本文算法的有效性，分別采用合成霧天圖像數(shù)據(jù)和真實(shí)霧天圖像數(shù)據(jù)，對(duì)基于雙向轉(zhuǎn)換網(wǎng)絡(luò)的域自適應(yīng)圖像去霧模型進(jìn)行了檢驗(yàn)，并結(jié)合PSNR、SSIM等指標(biāo)與其他算法進(jìn)行了比較分析。PSNR越大，說明經(jīng)去霧處理后圖像保留的特征信息越明顯，更加接近真實(shí)圖像，圖像的失真較少；SSIM值越大，說明去霧處理后特征信息保留完好，一般SSIM值不超過1.00。

基于本文算法的真實(shí)霧天圖像去霧處理結(jié)果如圖4所示。從圖4可以看出，經(jīng)過處理的去霧圖像較原始霧天圖像更加清晰。

圖4 基于本文算法的真實(shí)霧天圖像去霧處理結(jié)果

基于不同算法的真實(shí)霧天圖像去霧效果如圖5所示。從圖5可以看出，本文算法的處理結(jié)果較其他算法更加清晰且圖像失真更少。

圖5 基于不同算法的真實(shí)霧天圖像去霧效果

基于不同算法的合成霧天圖像去霧效果如圖6所示。從圖6可以看出，本文算法去霧效果更好，圖像失真少。

圖6 基于不同算法的合成霧天圖像去霧效果

合成霧天圖像測(cè)試結(jié)果如表1所示。從表1可以看出，本文算法的峰值信噪比、結(jié)構(gòu)相似度平均值均高于其他算法。

表1 合成霧天圖像測(cè)試結(jié)果

測(cè)試結(jié)果表明，本文提出的基于雙向轉(zhuǎn)換網(wǎng)絡(luò)的域自適應(yīng)圖像去霧方法對(duì)真實(shí)霧天圖像和合成霧天圖像都有較好的去霧效果；相比于其他算法，本文算法去霧效果更好，圖像失真少，處理后的圖像與清晰無霧的圖像結(jié)構(gòu)相似度更高。對(duì)本文算法的峰值信噪比、結(jié)構(gòu)相似度等指標(biāo)與其他幾種去霧方法進(jìn)行了比較，結(jié)果都有一定程度的提升，整體優(yōu)于其他算法。

4 結(jié)論

本文所提算法有效地解決了域轉(zhuǎn)移問題，其合成有霧圖像去霧效果有很大的提升，真實(shí)環(huán)境下的霧天圖像的去霧效果也有一定的提升?；陔p向轉(zhuǎn)換網(wǎng)絡(luò)的域自適應(yīng)單幅圖像去霧方法包含兩個(gè)模塊，即圖像轉(zhuǎn)換模塊和圖像去霧模塊。首先，用圖像轉(zhuǎn)換模塊實(shí)現(xiàn)圖像在合成域與真實(shí)域之間的相互轉(zhuǎn)換，以此來減少域之間的差異；然后，把轉(zhuǎn)換得到的圖像輸入到圖像去霧網(wǎng)絡(luò)中進(jìn)行圖像去霧。為了提高模型對(duì)真實(shí)霧天圖像的去霧能力和泛化能力，在實(shí)驗(yàn)中加入了真實(shí)霧天圖像來訓(xùn)練模型。大量實(shí)驗(yàn)結(jié)果表明，該方法在處理合成霧天圖像和真實(shí)霧天圖像上都有較好的效果，峰值信噪比（PSNR）和結(jié)構(gòu)相似度(（SSIM）較其他方法都有很大的提升。