基于生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

丁元明，劉蘇睿,2，楊 陽(yáng),2

(1. 大連大學(xué) 通信與網(wǎng)絡(luò)重點(diǎn)實(shí)驗(yàn)室，遼寧 大連 116622；2. 大連大學(xué) 信息工程學(xué)院，遼寧 大連 116622)

0 引 言

水下圖像作為水下信息的載體，其對(duì)深海環(huán)境感知與資源探索發(fā)揮著重要作用。水下成像環(huán)境復(fù)雜光的散射導(dǎo)致了霧霾效應(yīng)，光的衰減導(dǎo)致了顏色偏色。這些問題對(duì)進(jìn)一步的水下研究（目標(biāo)識(shí)別、目標(biāo)檢測(cè)等）造成嚴(yán)重影響，所以需要對(duì)所采集到的圖像進(jìn)行處理。圖像處理是為了改善圖像的視覺效果，而改善圖像質(zhì)量最有效的方法是圖像增強(qiáng)。圖像增強(qiáng)可提高圖像的分辨率和質(zhì)量，將圖像變得更加清晰，方便計(jì)算機(jī)對(duì)圖像的分析和處理。

針對(duì)水下成像特點(diǎn)，存在3 類方法可增強(qiáng)水下圖像清晰度，分別為：基于物理模型方法、基于非物理模型方法、基于深度學(xué)習(xí)方法[1]?；谖锢砟Ｐ偷姆椒ㄖ饕罁?jù)Jaffe-McGlamey[2]水下成像模型，通過求解水下成像模型的逆運(yùn)算以獲得清晰的水下圖像[3-4]。這列方法建立在假設(shè)的基礎(chǔ)上，所以與實(shí)際存在一定偏差，對(duì)圖像恢復(fù)程度很有限。非物理模型的方法參考于傳統(tǒng)圖像處理方法，直接調(diào)整圖像像素取值[5-6]。由于未考慮水下圖像成像特點(diǎn)，單一使用無(wú)法解決圖像偏色和對(duì)比度低的問題。另外，這2 種方法使用的數(shù)據(jù)量不大，泛化能力難以保證，也難以移植于水下視頻增強(qiáng)等領(lǐng)域。基于深度學(xué)習(xí)的方法根據(jù)主體結(jié)構(gòu)的不同可分為兩大類，即基于卷積神經(jīng)網(wǎng)絡(luò)的(CNN) 方法和基于生成對(duì)抗網(wǎng)絡(luò)（GAN）方法。Wang 等[7]提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)（CNN）的水下圖像增強(qiáng)方法，該方法提高了水下圖像的亮度和對(duì)比度，但紅色過度增強(qiáng)在顏色矯正上還有待改善。Islam 等[8]提出一種基于生成對(duì)抗網(wǎng)絡(luò)的實(shí)時(shí)水下圖像增強(qiáng)模型，該方法增強(qiáng)后的圖像呈現(xiàn)出暗黑色，整體視覺效果較差。

針對(duì)上述問題，本文結(jié)合特征融合思想，提出一種基于色彩均衡和生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)算法。該算法由生成網(wǎng)絡(luò)和判別網(wǎng)絡(luò)2 個(gè)模塊組成。其中在生成網(wǎng)絡(luò)中引入色彩均衡模塊，通過去偏色算法解決水下圖像偏色問題。判別網(wǎng)絡(luò)通過學(xué)習(xí)區(qū)分生成圖像與參考圖像，判斷數(shù)據(jù)是否為真。此外，通過構(gòu)建包含結(jié)構(gòu)相似性和最小絕對(duì)值偏差的多項(xiàng)損失函數(shù)，進(jìn)一步提升模型性能。結(jié)果表明，本文算法能夠更有效地改善水下圖像的顏色失真與偏色問題。

1 基本原理

GAN 需要訓(xùn)練2 個(gè)模型，一個(gè)生成模型D 負(fù)責(zé)負(fù)責(zé)憑空捏造數(shù)據(jù)出來(lái)，一個(gè)判別模型G 負(fù)責(zé)判別網(wǎng)絡(luò)通過學(xué)習(xí)區(qū)分生成圖像與參考圖像。2 個(gè)網(wǎng)絡(luò)相互博弈，其網(wǎng)絡(luò)結(jié)構(gòu)如圖1 所示。

圖1 GAN 原理圖Fig. 1 Schematic diagram of GAN

首先向G 中輸入隨機(jī)噪聲，G 根據(jù)一串隨機(jī)數(shù)據(jù)捏造假圖像用于欺騙D，D 負(fù)責(zé)判別真假圖并且給出一個(gè)結(jié)果。G 的目標(biāo)是生成幾乎與原圖相似的假圖從而使得D 判斷錯(cuò)誤的概率增大。而D 的目標(biāo)是有效區(qū)分真假圖。GAN 的原理公示可表示為：

式中，x為目標(biāo)數(shù)據(jù)，z為G端輸入的隨機(jī)噪音。在對(duì)抗訓(xùn)練中模型在訓(xùn)練G的同時(shí)也會(huì)訓(xùn)練D，訓(xùn)練G 使[log(1-D(G(Z)))]的值最小。在理想訓(xùn)練情況下，D 是完美的， logD(x)等于1，D(G(Z))等于0 。最終G 的輸出值為0，D 的輸出值為1。

2 基于生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)

本文提出一種特征提取的GAN 模型。其特點(diǎn)在于G 中分為2 個(gè)模塊，將U-Net[9]提取的特征與偏色校正圖像的特征融合，通過卷積神經(jīng)網(wǎng)絡(luò)完成增強(qiáng)后的圖像重構(gòu)。相比普通GAN 算法，能夠更有效地改善水下圖像的偏色問題。所提算法的執(zhí)行過程如下：首先通過U-Net 網(wǎng)絡(luò)提取圖像特征F1，然后使用去偏色算法解決水下圖像偏色問題，通過卷積網(wǎng)絡(luò)提取特征F2，將其與F1 以對(duì)應(yīng)元素相乘的方式融合，最后以卷積網(wǎng)絡(luò)完成特征到增強(qiáng)圖像的重構(gòu)。D 采用全卷積網(wǎng)路結(jié)構(gòu)，來(lái)實(shí)現(xiàn)對(duì)生成圖像與其對(duì)應(yīng)的參考圖像的判別。本文算法的網(wǎng)絡(luò)結(jié)構(gòu)及數(shù)據(jù)流動(dòng)方向如圖2所示。

圖2 本文網(wǎng)絡(luò)結(jié)構(gòu)Fig. 2 The network structure of this paper

2.1 生成器

2.1.1 G 生成器設(shè)計(jì)

在G 中添加去偏色模塊，基于U-Net 網(wǎng)絡(luò)提取到的特征F1 與通過卷積網(wǎng)絡(luò)提取的去偏色圖像特征F2，通過對(duì)應(yīng)元素相乘進(jìn)行特征融合，最后通過卷積網(wǎng)絡(luò)完成重構(gòu)。其流程如圖3 所示。

圖3 G 流程圖Fig. 3 G flow chart

2.1.2 特征提取U-Net 網(wǎng)絡(luò)模塊

使用U-N e t 網(wǎng)絡(luò)進(jìn)行特征提取，其結(jié)構(gòu)如圖2 所示，采用了對(duì)稱編碼器解碼器，該模塊主要由下采樣和上采樣部分組成。其中，下采樣單元中包含一個(gè)卷積步長(zhǎng)為1 和一個(gè)卷積步長(zhǎng)為2 的卷積層，而上采樣單元中包含一個(gè)卷積步長(zhǎng)為1 的卷積層和一個(gè)卷積步長(zhǎng)為2 的反卷積層。對(duì)提取到的特征使用批歸一化(BN)處理，同時(shí)使用LeakyRe LU 函數(shù)作激活函數(shù)。水下圖像經(jīng)過特征提取后被映射為F1特征。

2.1.3 去偏色模塊

光的衰減程度在水下環(huán)境中是不同的，其中紅光衰減最快，藍(lán)綠光衰減相對(duì)較慢，導(dǎo)致獲得的水下圖像會(huì)出現(xiàn)呈現(xiàn)偏藍(lán)或偏綠特性[10]。為了提高網(wǎng)絡(luò)的水下修復(fù)效果，在生成器G 中添加了去偏色模塊。顏色校正的傳統(tǒng)算法有灰度世界算法[11]和完美反射算法[12]。它們的處理水下圖像的效果如圖4 所示。可以看出，灰度世界算法在處理偏色問題時(shí)有明顯作用。同時(shí)復(fù)雜度較低，但其對(duì)紅色通道像素強(qiáng)度顯著區(qū)域會(huì)出現(xiàn)過度補(bǔ)償。原因是水對(duì)紅色光的衰減最為明顯,使得紅色通道的均值較小，灰度世界算法對(duì)紅色通道部分像素值顯著區(qū)域出現(xiàn)過度補(bǔ)償?shù)膯栴}。

圖4 不同顏色校正算法結(jié)果對(duì)比Fig. 4 Comparison of the results of different color correction algorithms

針對(duì)以上問題，Ancuti 等[13]在2018 年提出一種新的白平衡算法，該算法提出基于各個(gè)通道的像素差值對(duì)紅通道和藍(lán)通道進(jìn)行補(bǔ)償，然后用灰度世界算法對(duì)顏色補(bǔ)償后的圖像進(jìn)行顏色校正。其紅色通道補(bǔ)償格式為：

式中：Ir和Ig分別為處理后水下圖像的紅色通道和綠色通道，為Ig的均值，為Ir均值， α為常數(shù)。

本文在文獻(xiàn)[13]的基礎(chǔ)上進(jìn)行改進(jìn)。在對(duì)紅通道進(jìn)行補(bǔ)償時(shí)，由于灰度世界假設(shè)所有通道的均值相同，而紅通道均值和綠通道均值的差值體現(xiàn)紅、綠通道衰減的不平衡性，因此基于該差值對(duì)紅通道進(jìn)行補(bǔ)償。補(bǔ)償后的紅通道像素值為：

在使用改進(jìn)過的去偏色算法對(duì)水下圖像進(jìn)行初步處理后，設(shè)計(jì)一個(gè)特征提取網(wǎng)絡(luò)來(lái)提取去偏色圖像的特征F2 該網(wǎng)絡(luò)結(jié)構(gòu)由2 個(gè)卷積層構(gòu)成。使用大小為3、卷積長(zhǎng)為1 的卷積核，并在卷積層后添加批歸一化BN 層和Leaky ReLU 激活層。

2.1.4 特征重構(gòu)

在G 的最后，通過對(duì)應(yīng)元素相乘的方式融合顏色校正圖像的特征和原始水下圖像的特征，并通過卷積層將融合的特征映射為增強(qiáng)后的水下圖像。

2.2 判別器

在本算法中，D 使用的馬爾可夫判別器[14]，完全由卷積層構(gòu)成，輸出的是一個(gè)n×n 矩陣，接著取輸出矩陣的均值作為True/False 的輸出。若輸出為True，則代表清晰的水下圖像，F(xiàn)alse 則代表生成器G 所生成的水下圖像。

2.3 損失函數(shù)

為了保證輸入圖像與輸出圖像的相似度，采用損失函數(shù)的線性組合，將結(jié)構(gòu)相似性損失值納入到目標(biāo)函數(shù)中，以提高圖像結(jié)構(gòu)相似性。當(dāng)2 張圖像趨近相同時(shí)，則SSIM 的值趨近于1。所以這種類 SSIM 的損失函數(shù)可表示為：

此外，引入L1 損失函數(shù)，也被稱為最小絕對(duì)值偏差，有著很好的魯棒性，損失函數(shù)為：

式中：x為X范圍內(nèi)單個(gè)像素的坐標(biāo)，X為輸入圖像的所有像素的坐標(biāo)集合，N為輸入圖像像素?cái)?shù)量的總和，g(x)為模型輸出的圖像坐標(biāo)x處的像素值，y(x)為真值圖像坐標(biāo)x處的像素值。最后的損失函數(shù)可表示為：

在幾次實(shí)驗(yàn)和對(duì)最佳重建結(jié)果的觀察后，將 α設(shè)置為0.8。

3 實(shí)驗(yàn)結(jié)果與分析

為驗(yàn)證算法的有效性，將本文算法與幾種經(jīng)典的水下圖像增強(qiáng)算法進(jìn)行對(duì)比。

3.1 實(shí)驗(yàn)設(shè)置及數(shù)據(jù)

仿真實(shí)驗(yàn)是在i5-11400H 處理器，16GB RAM，NVIDIA 3060Ti 8GB 顯卡配置的計(jì)算機(jī)上運(yùn)行。本文選用的水下數(shù)據(jù)集包含從海洋生物養(yǎng)殖場(chǎng)收集的真實(shí)世界水下圖像，大致可分為兩類，一類包含近場(chǎng)綠色調(diào)圖像，另一類包含遠(yuǎn)場(chǎng)場(chǎng)景的藍(lán)綠色調(diào)圖像。在訓(xùn)練過程中，G 和D 的優(yōu)化交替進(jìn)行。根據(jù) Adam 優(yōu)化器，學(xué)習(xí)速率設(shè)置為 0.000 1，訓(xùn)練過程中生成模型更新一次，判別模型更新5 次。

3.1.1 算法有效性驗(yàn)證

為了驗(yàn)證本算法的有效性，本文從數(shù)據(jù)集中選取了部分偏藍(lán)和偏綠程度不同場(chǎng)景不同的圖片。將本文所提出的算法與傳統(tǒng)算法文獻(xiàn)[15]UCM 算法、文獻(xiàn)[16]UDCP 算法和深度學(xué)習(xí)算法文獻(xiàn)[17]UGAN、WGAN[18]算法進(jìn)行對(duì)比。不同方法在數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比結(jié)果如圖5 所示。

圖5 不同方法在數(shù)據(jù)集上實(shí)驗(yàn)結(jié)果對(duì)比Fig. 5 Comparison of experimental results of different methods on data sets

3.2 實(shí)驗(yàn)結(jié)果評(píng)價(jià)

3.2.1 主觀評(píng)價(jià)

從圖5 可看出，文獻(xiàn)[15]可以增強(qiáng)圖像的亮度和對(duì)比度，但在顏色恢復(fù)方面不太均勻，并且在圖像的某些區(qū)域似乎過度增強(qiáng)。文獻(xiàn)[16]的結(jié)果似乎具有合適的色調(diào)，但缺乏足夠的飽和度和對(duì)比度。對(duì)于綠色調(diào)圖像，不能很好地恢復(fù)，它們使圖像更暗，但增強(qiáng)了圖像的對(duì)比度。文獻(xiàn)[17]和文獻(xiàn)[18]可增強(qiáng)圖像的對(duì)比度，但它們不能很好地恢復(fù)顏色并產(chǎn)生一些偽影，從而破壞圖像的結(jié)構(gòu)信息。相比之下本文所提出的方法可在保持適當(dāng)亮度和對(duì)比度的同時(shí)恢復(fù)退化水下圖像的顏色。

3.2.2 客觀評(píng)價(jià)

為使實(shí)驗(yàn)對(duì)比的結(jié)果更加客觀，采用非參考指標(biāo)UIQM[19]來(lái)定量評(píng)估數(shù)據(jù)集上的水下圖像質(zhì)量。UIQM 是一種基于人眼視覺系統(tǒng)激勵(lì)的無(wú)參考水下圖像質(zhì)量評(píng)價(jià)指標(biāo)，其針對(duì)水下圖像的退化機(jī)理與成像特點(diǎn)，采用色彩測(cè)量指標(biāo)（UICM），清晰度測(cè)量指標(biāo)（UISM），對(duì)比度測(cè)量指標(biāo)（UIConM）作為評(píng)價(jià)依據(jù)，將UIQM 表示為三者的線性組合。其值越大，表示圖像的顏色平衡、清晰度、對(duì)比度越佳。表1展示了不同算法處理之后的圖像在指標(biāo)UIQM 上的結(jié)果。可以看出，在經(jīng)過本文算法的增強(qiáng)后大部分結(jié)果較為優(yōu)異，與其他4 種算法評(píng)價(jià)指標(biāo)的平均值對(duì)比，UIQM 有一定提升，證明了本文算法能夠有效地還原圖像真實(shí)色彩、提高圖像對(duì)比度和清晰度。

表1 不同算法的UIQM 評(píng)價(jià)指標(biāo)結(jié)果對(duì)比Tab. 1 Comparison of UIQM evaluation index results of different algorithms

表2 不同算法的PSNR 和SSIM 結(jié)果對(duì)比Tab. 2 Comparison of PSNR and SSIM evaluation index results of different algorithms

另外，還選擇了全參考評(píng)估指標(biāo)PSNR 峰值信噪比和SSIM 結(jié)構(gòu)相似性指數(shù)進(jìn)行客觀評(píng)測(cè)。PSNR 值取決于原始霧圖與生成圖像對(duì)應(yīng)像素間的誤差，其值越大，恢復(fù)得到的無(wú)霧圖像清晰度越高。SSIM 從亮度、對(duì)比度、結(jié)構(gòu)3 個(gè)方面對(duì)圖像相似性進(jìn)行評(píng)估，其值越大，代表圖像失真越小。結(jié)果表明，本文提出的算法在峰值信噪比和結(jié)構(gòu)相似性上取得了較好結(jié)果。

3.3 去偏色模塊的對(duì)比實(shí)驗(yàn)

為了更好地驗(yàn)證本文特征融合算法的有效性，分別對(duì)本文算法和未采用去偏色模塊的GAN 模型進(jìn)行實(shí)驗(yàn)對(duì)比，結(jié)果如圖6 所示?？梢钥闯?，未采用去偏色模塊的GAN 模型雖大致可矯正退化水下出現(xiàn)的藍(lán)綠色調(diào)，但矯正效果欠佳，圖像整體視覺感知效果較差。而本文算法采用特征融合，有效提升了模型的性能，使得增強(qiáng)后的圖像在清晰度、對(duì)比度和顏色矯正方面均表現(xiàn)良好。

圖6 未添加去偏色模塊的GAN 模型與本文算法結(jié)果對(duì)比Fig. 6 Comparison between GAN model without adding depigmentation module and the algorithm results in this paper

4 結(jié) 語(yǔ)

針對(duì)對(duì)水下圖像出現(xiàn)的顏色失真和對(duì)比度低的問題，本文結(jié)合深度學(xué)習(xí)，提出了一種基于GAN 的特征融合圖像增強(qiáng)算法。采用U-Net 網(wǎng)絡(luò)結(jié)構(gòu)結(jié)合改進(jìn)的白平衡算法，引入損失函數(shù)L-SSIM 和L1 的線性組合實(shí)現(xiàn)水下圖像的增強(qiáng)，能夠有效地還原圖像真實(shí)色彩，提升圖像的對(duì)比度和清晰度。實(shí)驗(yàn)結(jié)果表明，與不同算法相比，本文算法在UIQM、PSNR 和SSIM 指標(biāo)上的平均值為5.071、25.310 和0.996，分別比第二名提升了1%、7%和5%。表明本文算法在清晰度、顏色校正和對(duì)比度方面均表現(xiàn)良好，能有效增強(qiáng)圖像。