門控融合對抗網(wǎng)絡(luò)的水下圖像增強

林 森，劉 旭

門控融合對抗網(wǎng)絡(luò)的水下圖像增強

林 森1，劉 旭2

(1. 沈陽理工大學(xué)自動化與電氣工程學(xué)院，遼寧 沈陽 110159； 2. 遼寧工程技術(shù)大學(xué)電子與信息工程學(xué)院，遼寧 葫蘆島 125105)

針對水下成像中圖像存在的色彩失真、對比度低和霧化嚴(yán)重等問題，提出一種門控融合對抗網(wǎng)絡(luò)的水下圖像增強方法。主要特點是使用生成網(wǎng)絡(luò)將圖像特征信息逐像素恢復(fù)，并通過門控融合形成清晰圖像。首先，利用多個并行子網(wǎng)絡(luò)對同幅圖像的不同空間特征信息進(jìn)行學(xué)習(xí)，提升網(wǎng)絡(luò)對圖像特征學(xué)習(xí)的多樣性。然后，通過門控融合，將不同子網(wǎng)絡(luò)學(xué)習(xí)到的圖像特征相融合。利用生成網(wǎng)絡(luò)與鑒別網(wǎng)絡(luò)進(jìn)行相互博弈，反復(fù)訓(xùn)練網(wǎng)絡(luò)，獲得增強的水下圖像。最后，在EUVP數(shù)據(jù)集和U45測試集上進(jìn)行實驗對比。實驗結(jié)果表明，該算法的關(guān)鍵點匹配與原圖相比平均高19個匹配點，UCIQE平均值為0.664 7，UIQM平均值為5.723 7，與其他經(jīng)典及最新算法相比具有優(yōu)勢，效果良好。

圖像處理；水下圖像；生成對抗網(wǎng)絡(luò)；多尺度輸入；門控融合

隨著深海資源的開發(fā)與保護(hù)，各領(lǐng)域?qū)Ω哔|(zhì)量水下圖像的需求逐年增加。由于自然光在海水中發(fā)生散射，致使水下圖像具有色偏和細(xì)節(jié)缺失等問題[1]，對海洋資源信息的傳遞和展示帶來了困難。因此，在海洋探索與開發(fā)等領(lǐng)域，水下圖像增強算法具有重要的研究意義。

最近幾年，深度學(xué)習(xí)技術(shù)在水下圖像增強方面取得進(jìn)展。其中多分支的設(shè)計結(jié)構(gòu)得到了廣泛地應(yīng)用，WANG等[2]提出雙分支的網(wǎng)絡(luò)模型，對圖像分別進(jìn)行顏色校正與去模糊，經(jīng)融合得到增強的水下圖像；LU等[3]提出了多尺度循環(huán)生成對抗網(wǎng)絡(luò)(multi-scale cycle generative adversarial network，MCycleGAN)，加入多尺度SSIM損失函數(shù)改善圖像質(zhì)量；GUO等[4]提出用于水下圖像增強的多尺度密集生成對抗網(wǎng)絡(luò)(underwater image enhancement using a multiscale dense generative adversarial network，UWGAN)，利用密集連接模塊提高網(wǎng)絡(luò)魯棒性，并通過頻譜歸一化來限制判別器的Lipschitz常數(shù)，加快網(wǎng)絡(luò)收斂速度；LI等[5]構(gòu)建了水下圖像增強網(wǎng)絡(luò)(underwater image enhancement network，Water-Net)來消除圖像近景中的濃霧；LIU等[6]根據(jù)超分辨率重建(Ssuper-resolution reconstruction，SR)模型，提出基于殘差網(wǎng)絡(luò)的水下圖像增強框架(deep residual framework，UResnet)以解決水下圖像細(xì)節(jié)丟失及色偏問題。

上述基于單分支或多分支網(wǎng)絡(luò)的水下圖像增強算法雖致力于提升圖像質(zhì)量，但多數(shù)方法由于僅依靠單一尺度特征融合，仍存在特征提取不充分、缺少細(xì)節(jié)特征等問題。因此，本文提出一種門控融合對抗網(wǎng)絡(luò)的水下圖像增強算法(underwater image enhancement algorithm using gated fusion generative adversarial network，GF-GAN)，主要貢獻(xiàn)如下：

(1) 利用3條不同尺度的并行子網(wǎng)絡(luò)，學(xué)習(xí)同一圖像中的不同空間特征信息，進(jìn)而適應(yīng)多變的水下場景。

(2)將門控融合創(chuàng)新性地應(yīng)用于水下圖像處理，基于多尺度特征融合，改善圖像的色度、清晰度和對比度。

(3) 生成網(wǎng)絡(luò)并行子網(wǎng)絡(luò)中，加入與卷積對稱的反卷積結(jié)構(gòu)，便于水下低質(zhì)量圖像恢復(fù)，同時加入跳躍連接加快網(wǎng)絡(luò)的訓(xùn)練速度。

本算法可以良好地解決色偏現(xiàn)象，增強圖像清晰度和細(xì)節(jié)特征。在數(shù)據(jù)集上的實驗結(jié)果表明，本文算法與其他經(jīng)典及新穎算法相比具有更好的視覺效果，可進(jìn)一步應(yīng)用于海洋資源開發(fā)等工程實踐中。

1 基礎(chǔ)理論

1.1 卷積-反卷積對稱結(jié)構(gòu)

隨著人工智能，特別是深度學(xué)習(xí)技術(shù)的發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneural network，CNN)在計算機視覺領(lǐng)域[7-8]取得了良好成效。

在圖像增強時，卷積層(convolutional layer，Conv)能提取水下圖像的基本特征，但連續(xù)的卷積層會導(dǎo)致水下圖像的細(xì)節(jié)特征丟失。因此，SUN等[9]引入連續(xù)的反卷積層(deconvolutional layer，Deconv)來恢復(fù)圖像的細(xì)節(jié)特征，Conv和Deconv分別對輸入的特征映射執(zhí)行卷積和反卷積運算。每個卷積層的輸出為

受文獻(xiàn)[9]的啟發(fā)，本文GF-GAN利用Conv- Deconv的對稱結(jié)構(gòu)，設(shè)計3個不同尺度的并行子網(wǎng)絡(luò)作為生成網(wǎng)絡(luò)，提取并恢復(fù)同一圖像的不同特征。

1.2 生成對抗網(wǎng)絡(luò)

生成對抗網(wǎng)絡(luò)模型(generative adversarial networks，GAN)[10]通過學(xué)習(xí)樣本數(shù)據(jù)的分布情況來生成具有對抗性的逼真數(shù)據(jù)。GAN由生成網(wǎng)絡(luò)(generator，G)和鑒別網(wǎng)絡(luò)(discriminator，D)組成。

本文GF-GAN與GAN相似，通過D監(jiān)督G并結(jié)合兩者的相互博弈，使網(wǎng)絡(luò)具有良好的圖像增強能力，其目標(biāo)函數(shù)可以表示為

其中，為分布函數(shù)期望值；為隨機噪聲；()為判斷為真的概率；()為由隨機噪聲映射的生成數(shù)據(jù)；(())為()接近真實數(shù)據(jù)的概率。

2 GF-GAN水下圖像增強算法

首先對本文算法的效果進(jìn)行宏觀展示，并給出簡要的分析說明，更加直觀地顯示算法優(yōu)勢。然后，進(jìn)一步詳細(xì)闡述網(wǎng)絡(luò)的具體組成和結(jié)構(gòu)。

圖1通過傅立葉光譜圖可視化水下圖像的能量分布，展示GF-GAN算法的處理結(jié)果。

在圖1中，3幅原始傅里葉光譜圖中布滿暗點，表明其對比度和邊緣清晰度較低。Water-Net算法圖像中暗點數(shù)量未見明顯變化，相反在GF-GAN算法處理后圖像暗點減少，表明對比度和邊緣清晰度較原圖顯著增強，視覺感受良好。

GF-GAN包括2部分：①生成網(wǎng)絡(luò)，目的是生成水下清晰圖像；②鑒別網(wǎng)絡(luò)，用來區(qū)分生成圖像和目標(biāo)圖像。

2.1 生成網(wǎng)絡(luò)結(jié)構(gòu)

如圖2所示，GF-GAN算法的生成網(wǎng)絡(luò)由多尺度特征恢復(fù)模塊(feature refine module，F(xiàn)RM)，以及門控融合(gated fusion，GF)構(gòu)成。GF-GAN生成網(wǎng)絡(luò)結(jié)構(gòu)中，F(xiàn)RM類似于YANG等[11]設(shè)計的特征提取模塊，由3組尺度不同的并行子網(wǎng)絡(luò)(parallel sub-network，PSn)構(gòu)成。

圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)

PSn的編碼路徑和解碼路徑由2組連續(xù)的Conv-Deconv對稱結(jié)構(gòu)組成。其中，3個PSn的卷積核大小分別為7×7，5×5和3×3。GF-GAN在對稱結(jié)構(gòu)中間加入步長為1 (stride=1)的Conv，以穩(wěn)固同一幅圖像不同像素點上的空間特征信息，其余步長為2 (stride=2)的Conv與Deconv，分別完成特征提取和恢復(fù)任務(wù)。

GF-GAN在Conv與Deconv結(jié)構(gòu)后加入批標(biāo)準(zhǔn)化層(BatchNorm，BN)和激活層來加快網(wǎng)絡(luò)的收斂速度，并使用Leaky ReLU (圖2中簡寫為LReLU)作為激活函數(shù)，增加網(wǎng)絡(luò)的非線性。由于圖像的紋理細(xì)節(jié)可能會在Deconv解碼過程中丟失，GF-GAN在對稱的Conv和Deconv中加入跳躍連接(skip connection)，使網(wǎng)絡(luò)具有更好的特征恢復(fù)能力。

GF-GAN通過FRM提取不同尺度的空間特征信息，有助于其后的門融合結(jié)構(gòu)進(jìn)行特征融合，并結(jié)合多種損失函數(shù)，獲得清晰圖像。

2.2 鑒別網(wǎng)絡(luò)結(jié)構(gòu)

鑒別網(wǎng)絡(luò)由5層Conv構(gòu)成(表1)，類似于70×70的馬爾科夫鑒別器(PatchGAN)[12]。PatchGAN通過判斷圖像中各像素塊的平均真實率來分辨圖像真假，即只有當(dāng)所有圖像塊都具有良好的細(xì)節(jié)特征且真實性較高時，才會將生成的圖像視為真，因此其被廣泛應(yīng)用于不同任務(wù)的網(wǎng)絡(luò)框架[13-14]中。Sigmoid函數(shù)將輸出像素點的范圍映射到[0,1]，有利于鑒別圖像在某個區(qū)域內(nèi)的真假性。

表1 鑒別網(wǎng)絡(luò)參數(shù)

2.3 門控融合

由于門模塊[15](gated module，GM)在多模態(tài)融合中對重要特征提取具有顯著效果，本文所采用的GF，將不同子網(wǎng)提取到的空間特征信息進(jìn)行連接，并采用遞歸合并策略逐步融合特征。

圖3中門控融合模塊網(wǎng)絡(luò)由2個遞歸門構(gòu)成，其中，每個遞歸門中含有一個基本門模塊(basic gate block，BGB)，每個BGB由一個維度連接層(concatenate layer，Concat)、2個卷積核大小為3×3的Conv、1個卷積核大小為1×1的Conv以及PReLU函數(shù)構(gòu)成，PReLU函數(shù)可以表示為

其中，x為第層的正區(qū)間輸入信號；a為第層負(fù)區(qū)間的權(quán)系數(shù)。當(dāng)a趨于0時，PReLU在負(fù)數(shù)區(qū)間有很小的斜率，相較于ReLU在負(fù)數(shù)區(qū)間取值為0，選用PReLU可以避免ReLU梯度消失的問題。

圖3 門控融合網(wǎng)絡(luò)

Fig. 3 Gated Fusion Network

由此，本算法采用一種遞歸策略，利用3個獨立分支的依賴性，進(jìn)行多尺度特征融合。

采用顏色直方圖和自相關(guān)函數(shù)三維圖像，對原圖、GF融合方式與Concat融合方式進(jìn)行對比，結(jié)果如圖4所示。

在圖4中，采用GF作為融合方式的圖像相較于原圖和Concat融合的顏色直方圖灰度級有顯著增強，RGB 3通道分布均勻；自相關(guān)函數(shù)三維圖像空間重復(fù)周期短，紋理顆粒度較小，紋理細(xì)致且鮮明。

本文所采用的GF是一個通用的圖像融合結(jié)構(gòu)，優(yōu)勢在于不依賴任何先驗知識和預(yù)處理過程，可將FRM收集到的空間特征信息進(jìn)行融合，進(jìn)而得到生成網(wǎng)絡(luò)的最終圖像。

2.4 損失函數(shù)

(1) 對抗損失函數(shù)。GF-GAN是基于生成對抗網(wǎng)絡(luò)模型，對抗損失函數(shù)為

其中，為水下退化圖像；為水下目標(biāo)圖像；為數(shù)學(xué)期望。

圖4 顏色直方圖和自相關(guān)函數(shù)圖像對比圖((a)原始圖像；(b) GF融合結(jié)果；(b) Concat融合結(jié)果)

(2)1損失函數(shù)。選用1損失[12]來減少引入的偽影，即

其中，為像素；為該像素所代表的色塊；()與()分別為經(jīng)過處理后圖像色塊的像素值和真實圖像色塊的像素值。對抗損失函數(shù)和1聯(lián)合使用可減少輸出圖像噪聲等干擾因素。

(3) 感知損失函數(shù)。利用感知損失函數(shù)[16]進(jìn)行特征重建，即

其中，，，分別為圖像的通道數(shù)、寬度和高度，而表示Conv4_3層(VGG-19)的非線性變換。

(4) 整體損失。即上述3種損失的線性組合，以加快網(wǎng)絡(luò)參數(shù)收斂，具體為

3 實驗結(jié)果與分析

為驗證GF-GAN的有效性，將GF-GAN與傳統(tǒng)算法和其他深度學(xué)習(xí)算法進(jìn)行對比。借助顏色恢復(fù)實驗，展示GF-GAN在消除色偏方面的作用；通過比較不同渾濁度與不同色偏程度的水下圖像，體現(xiàn)GF-GAN在復(fù)雜環(huán)境下對圖像對比度以及紋理細(xì)節(jié)增強方面的作用；利用SURF關(guān)鍵點匹配實驗，驗證GF-GAN對圖像關(guān)鍵特征方面的增強程度。

3.1 數(shù)據(jù)集和訓(xùn)練方式及實驗環(huán)境

使用從EUVP[17]數(shù)據(jù)集中得到的3種不同水下光照情況的underwater_dark，underwater_imagenet和underwater_scenes篩選出的5 000張配對圖像，其中，80%作為GF-GAN數(shù)據(jù)集，20%作為測試集，并加入U45[18]數(shù)據(jù)集同樣作為測試集，來體現(xiàn)本文算法的拓展性。EUVP數(shù)據(jù)集是在各種可見度條件下，在不同位置進(jìn)行海洋探索和人機合作實驗期間收集的具有代表性的水下數(shù)據(jù)集，包含大量已配對與不配對，且感知質(zhì)量良好的水下圖像。本文實驗基于Ubuntu16.04系統(tǒng)，Tensorflow搭建的深度學(xué)習(xí)框架，硬件配置為 Intel? Core? i7-8750H CPU @ 3.6 GHz，32.0 GB RAM，NVIDIA TITAN Xp，對比實驗的硬件配置相同。

3.2 主觀評價與分析

首先基于色卡恢復(fù)實驗來驗證GF-GAN在消除色偏與對比度提升方面的有效性。實驗結(jié)果如圖5所示。

在圖5中，將本文算法與自適應(yīng)參數(shù)的顏色直方圖拉伸(relative global histogram stretching，RGHS)算法[19]、去霧網(wǎng)絡(luò)與方向濾波器(DehazeNet & HWD)算法[20]、Water-Net算法[5]以及UResnet算法[6]和可改善視覺感知的快速水下增強(fast enhancement for improved visual perception，F(xiàn)unIE)算法[17]進(jìn)行分析比較。

圖5 色卡恢復(fù)實驗((a)原始圖像；(b) RGHS[19]；(c) DehazeNet&HWD[20]；(d) Water-Net[5]；(e) UResnet[6]；(f) FunIE[17]；(g) GF-GAN；(h)標(biāo)準(zhǔn)色卡)

從圖5中觀察可得，DehazeNet&HWD算法色卡色塊偏差較大，藍(lán)色、紫色等色塊對比度低，色卡整體顏色失衡。Water-Net算法色卡整體偏紅，相鄰色系區(qū)分度較低，尤其是紅色、淡黃色和橙色等暖色塊，顏色校正的整體效果較差。UResnet算法整體較為清晰，但土黃色與綠色塊對比度較低，難以區(qū)分。FUnIE算法色卡顏色較為準(zhǔn)確，但整體顏色偏暗，且圖像對比度沒有明顯提升。本文提出的GF-GAN與傳統(tǒng)的RGHS算法色卡圖像相比顏色鮮明，且黃色與淺綠色、藍(lán)色與紫色等同色系顏色對比度增強，結(jié)果圖像顏色與真實色卡接近，但GF-GAN相比RGHS算法對于圖像的對比度的提升更為明顯。

為驗證GF-GAN在復(fù)雜環(huán)境下對圖像的對比度以及紋理細(xì)節(jié)增強方面的作用，對5幅具有代表性的不同渾濁度與不同色偏程度的水下圖像進(jìn)行實驗，如圖6所示。

從圖6可以看出，DehazeNet & HWD算法可以有效地解決色偏問題，如Image2和Image5，由于過度曝光及顏色補償，導(dǎo)致處理后的水下圖像普遍呈灰白色，且亮度較暗，但大部分紋理細(xì)節(jié)仍較為明顯。在Image1中，UResnet算法以及FUnIE算法對于圖像的霧化問題基本無效，且得到的圖像有嚴(yán)重的色偏、色差等顏色問題，得到的圖像清晰度也比較低，不利于分析觀測。在Image2中，RGHS算法對綠色色偏沒有任何改善，而DehazeNet & HWD算法和Water-Net算法未正確恢復(fù)沙土的顏色，且得到的圖像亮度偏暗，在Image3中同樣如此。在Image4中，RGHS算法和Water-Net算法有淺綠色偽影，DehazeNet & HWD和FUnIE算法有淺藍(lán)色偽影，UResnet算法處理過的圖像整體偏紅。在Image5中，RGHS算法，DehazeNet & HWD算法和GF-GAN算法能恢復(fù)出紅框中雕像軀體的紋理細(xì)節(jié)，并且對比度有顯著拉伸。相比之下，GF-GAN算法在對于圖像的色偏和色差、霧化、圖像紋理細(xì)節(jié)和對比度等方面，有顯著改善，且符合視覺效果。在Image1的紅色邊框中發(fā)現(xiàn)，GF-GAN算法對近景區(qū)域的圖像細(xì)節(jié)以及亮度有明顯增強。Image4中GF-GAN算法對于圖像整體亮度有明顯增強，且圖像整體紋理細(xì)節(jié)，相比UResnet算法，F(xiàn)UnIE算法更加清晰，對比度更強。相比之下，GF-GAN算法增強后的圖像更加鮮明和紋理細(xì)節(jié)特征更突出。

圖6 對比實驗

3.3 客觀評價與分析

通過水下圖像質(zhì)量評價綜合指標(biāo)(underwater color image quality evaluation，UCIQE)[21]、水下圖像質(zhì)量測量指標(biāo)(underwater image quality measures，UIQM)[22]和加速魯棒特征(speeded up robust features，SURF)[23]對圖像質(zhì)量進(jìn)行客觀測評。

UCIQE利用CIELab空間的色度、飽和度與清晰度進(jìn)行線性加權(quán)組合，來測評水下圖像質(zhì)量的好壞程度。UCIQE值范圍為[0,1]，其值越大表示水下彩色圖像質(zhì)量越好，即

其中，1，2，3為加權(quán)系數(shù)，分別為色調(diào)方差、飽和度方差、清晰度。取值為1=0.4680，2=0.2745，3=0.2576[21]。

UIQM采用HVS模型，不需要參考圖像，但UIQM依賴于水下圖像的3種度量屬性：①圖像色度系數(shù)(UICM)；②清晰度系數(shù)(UISM)；③對比度系數(shù)(UIConM)。其表達(dá)式為

其中，1，2，3為加權(quán)系數(shù)，分別代表水下顏色校正程度、水下場景的能見度、水下圖像的對比度。取值為1=0.0282，2=0.2953，3=3.5753[22]。

表2和表3分別為不同算法處理下，圖6中5幅圖像的UCIQE與UIQM值，加粗字體為最優(yōu)值。通過式(12)分別計算UCIQE與UIQM測評提升均值

其中，V為GF-GAN算法測評均值；V為各個對比算法的測評均值。

由表2和表3可知，本文算法對不同水下環(huán)境皆有較高的測評值。其中，UCIQE值整體提升9.43%，UIQM值整體提升57.33%。表明GF-GAN算法能有效地消除水下圖像色偏，處理后的圖像色彩鮮明，視覺效果良好。

原始水下圖像和增強圖像的SURF關(guān)鍵點匹配試驗圖如圖7所示，匹配結(jié)果見表4。

表2 UCIQE指標(biāo)評測結(jié)果

表3 UIQM指標(biāo)評測結(jié)果

圖7 原始水下圖像和增強圖像SURF關(guān)鍵點匹配試驗

表4 SURF關(guān)鍵點匹配結(jié)果

圖像細(xì)節(jié)特征越清晰，其關(guān)鍵點匹配數(shù)目越多。由表4可知，經(jīng)本文GF-GAN算法處理的圖像，較原始圖像的關(guān)鍵點匹配數(shù)目有顯著提升，尤其在Image2中，GF-GAN較其他算法的特征匹配點數(shù)目大幅度領(lǐng)先。因此，證明本文算法對圖像細(xì)節(jié)特征有顯著改善，在后續(xù)特征匹配過程中具有明顯的實用效果。

4 結(jié) 論

本文針對水下圖像存在顏色失真，霧化程度高和低對比度等諸多問題，提出了多尺度門控融合生成對抗網(wǎng)絡(luò)的水下圖像增強算法。首先，通過門模塊的改進(jìn)模型構(gòu)建了GF，自適應(yīng)地學(xué)習(xí)3條子網(wǎng)絡(luò)的不同空間特征信息。其次，利用多個不同尺度的子網(wǎng)絡(luò)對同幅圖像不同的空間特征進(jìn)行學(xué)習(xí)，并將對應(yīng)的輸出通過GF進(jìn)行融合。最后，加入感知損失函數(shù)以及1損失函數(shù)，增強圖像的視覺感知效果。實驗結(jié)果表明，本文GF-GAN算法的UCIQE值平均為0.664 7，UIQM值平均為5.723 7，關(guān)鍵點匹配比原圖平均高19個匹配點，均優(yōu)于其他對比算法。證明GF-GAN能恢復(fù)出更多紋理細(xì)節(jié)，具有更好的色彩表現(xiàn)，圖像視覺信息豐富，同時能夠達(dá)到良好的去渾濁效果，適用于不同類型的水下退化圖像。在后續(xù)工作中，考慮將雙鑒別器與此網(wǎng)絡(luò)結(jié)構(gòu)相結(jié)合，進(jìn)一步提高水下退化圖像增強的效率。

[1] 郭繼昌, 李重儀, 郭春樂, 等. 水下圖像增強和復(fù)原方法研究進(jìn)展[J]. 中國圖象圖形學(xué)報, 2017, 22(3): 273-287.

GUO J C, LI C Y, GUO C L, et al. Research progress of underwater image enhancement and restoration methods[J]. Journal of Image and Graphics, 2017, 22(3): 273-287 (in Chinese).

[2] WANG Y, ZHANG J, CAO Y, et al. A deep CNN method for underwater image enhancement[C]//2017 IEEE International Conference on Image Processing (ICIP). New York: IEEE Press, 2017: 1382-1386.

[3] LU J Y, LI N, ZHANG S Y, et al. Multi-scale adversarial network for underwater image restoration[J]. Optics & Laser Technology, 2019, 110: 105-113.

[4] GUO Y C, LI H Y, ZHUANG P X. Underwater image enhancement using a multiscale dense generative adversarial network[J]. IEEE Journal of Oceanic Engineering, 2020, 45(3): 862-870.

[5] LI C Y, GUO C L, REN W Q, et al. An underwater image enhancement benchmark dataset and beyond[J]. IEEE Transactions on Image Processing, 2020, 29: 4376-4389.

[6] LIU P, WANG G Y, QI H, et al. Underwater image enhancement with a deep residual framework[J]. IEEE Access, 2019, 7: 94614-94629.

[7] 黎智, 徐丹. 基于卷積神經(jīng)網(wǎng)絡(luò)的蠟染染色模擬[J]. 圖學(xué)學(xué)報, 2020, 41(2): 196-203.

LI Z, XU D. Batik dyeing simulation based on convolutional neural network[J]. Journal of Graphics, 2020, 41(2): 196-203 (in Chinese).

[8] 王新穎, 王亞. 權(quán)值優(yōu)化集成卷積神經(jīng)網(wǎng)絡(luò)及其在三維模型識別中的應(yīng)用[J]. 圖學(xué)學(xué)報, 2019, 40(6): 1072-1078.

WANG X Y, WANG Y. Weighted optimization integrated convolutional neural network and its application in 3D model recognition[J]. Journal of Graphics, 2019, 40(6): 1072-1078 (in Chinese).

[9] SUN X, LIU L P, LI Q, et al. Deep pixel-to-pixel network for underwater image enhancement and restoration[J]. IET Image Processing, 2019, 13(3): 469-474.

[10] GOODFELLOW I J, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[C]//The 27th International Conference on Neural Information Processing Systems. New York: ACM Press, 2014: 2672-2680.

[11] YANG M, HU K, DU Y X, et al. Underwater image enhancement based on conditional generative adversarial network[J]. Signal Processing: Image Communication, 2020, 81: 115723.

[12] HUANG G, LIU Z, VAN DER MAATEN L, et al. Densely connected convolutional networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 2261-2269.

[13] ISOLA P, ZHU J Y, ZHOU T H, et al. Image-to-image translation with conditional adversarial networks[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2017: 5967-5976.

[14] ZHU J Y, PARK T, ISOLA P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C]// 2017 IEEE International Conference on Computer Vision (ICCV). New York: IEEE Press, 2017: 2242-2251.

[15] REN W Q, MA L, ZHANG J W, et al. Gated fusion network for single image dehazing[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York: IEEE Press, 2018: 3253-3261.

[16] ZHANG H, SINDAGI V, PATEL V M. Image de-raining using a conditional generative adversarial network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2020, 30(11): 3943-3956.

[17] ISLAM M J, XIA Y Y, SATTAR J. Fast underwater image enhancement for improved visual perception[J]. IEEE Robotics and Automation Letters, 2020, 5(2): 3227-3234.

[18] ANWAR S, LI C Y. Diving deeper into underwater image enhancement: a survey[J]. Signal Processing: Image Communication, 2020, 89: 115978.

[19] HUANG D M, WANG Y, SONG W, et al. Shallow-water image enhancement using relative global histogram stretching based on adaptive parameter acquisition[C]//The 24th International Conference on MultiMedia Modeling. Heidelberg: Springer, 2018: 453-465.

[20] PAN P W, YUAN F, CHENG E. Underwater image de-scattering and enhancing using dehazenet and HWD[J]. Journal of Marine Science and Technology, 2018, 26(4): 531-540.

[21] YANG M, SOWMYA A. An underwater color image quality evaluation metric[J]. IEEE Transactions on Image Processing, 2015, 24(12): 6062-6071.

[22] PANETTA K, GAO C, AGAIAN S. Human-visual-system- inspired underwater image quality measures[J]. IEEE Journal of Oceanic Engineering, 2016, 41(3): 541-551.

[23] BAY H, TUYTELAARS T, VAN GOOI L. Surf: speeded up robust features[C]//European Conference on Computer Vision. Heidelberg: Springer, 2006: 404-417.

Underwater image enhancement algorithm using gated fusion generative adversarial network

LIN Sen1, LIU Xu2

(1. School of Automation and Electrical Engineering, Shenyang Ligong University, Shenyang Liaoning 110159, China; 2. School of Electronic and Information Engineering, Liaoning Technical University, Huludao Liaoning 125105, China)

An underwater image enhancement algorithm using gated fusion generative adversarial network was proposed for solving problems of underwater image color distortion, low contrast, and heavy fogging. The crucial element of this algorithm is that it recruited a generator to pixel-by-pixel restore image feature details and synthesized a clear image through gated fusion. First of all, to increase the variety of image feature learning by the network, several parallel sub-networks were employed to learn different kinds of spatial feature knowledge of the same image. The image features learned from different sub-networks were fused utilizing gated fusion. The generator and the discriminator were used for mutual games, and the network was repeatedly trained to obtain enhanced underwater images. Finally, using the EUVP dataset and the U45 testset, this paper performed a series of comparative experiments. The algorithm’s key point matching was 19 points higher than the raw image, according to the experimental results. The average UCIQE value was 0.664 7, while the average UIQM value was 5.723 7. It can achieve improvements over other classic and latest algorithms, demonstrating the algorithm’s extraordinary performance.

image processing; underwater image; generative adversarial network; multi-scale input; gated fusion

TP 391.4

10.11996/JG.j.2095-302X.2021060948

A

2095-302X(2021)06-0948-09

2021-01-18；

2021-04-16

國家重點研發(fā)計劃項目(2018YFB1403303)；遼寧省重點研發(fā)計劃資助項目(2019JH2/10100014)

林 森(1980-)，男，遼寧沈陽人，副教授，博士。主要研究方向為圖像處理與模式識別、機器視覺。E-mail：lin_sen6@126.com

18 January，2021；

16 April，2021

National Research Key Program of China (2018YFB1403303); Liaoning Provincial Research Foundation for Key Program of China (2019JH2/10100014)

LIN Sen (1980–), male, associate professor, Ph.D. His main research interests cover image processing and pattern recognition, machine vision. E-mail：lin_sen6@126.com