利用生成對(duì)抗網(wǎng)絡(luò)實(shí)現(xiàn)水下圖像增強(qiáng)

李 鈺， 楊道勇， 劉玲亞， 王易因

(上海交通大學(xué) 電子信息與電氣工程學(xué)院， 上海 200240)

近年來(lái)，隨著水下機(jī)器人技術(shù)的發(fā)展[1]，極大促進(jìn)了探索海洋的進(jìn)程.水下機(jī)器人通常配有的視覺(jué)傳感設(shè)備，能夠捕捉周圍環(huán)境信息，并以圖像作為承載體進(jìn)行記錄[2].許多水下任務(wù)如目標(biāo)識(shí)別與檢測(cè)、礦物探測(cè)[3-4]都是基于水下圖像進(jìn)行分析的.然而，水下場(chǎng)景不同于陸地，其復(fù)雜的水體特性和大量的懸浮顆粒會(huì)影響光波的正常傳輸[5]，使獲得的圖像呈現(xiàn)出模糊、色偏、對(duì)比度低等多類失真問(wèn)題[6]，進(jìn)而嚴(yán)重影響后續(xù)應(yīng)用的效果.雖然，陸上的圖像增強(qiáng)算法可為水下圖像增強(qiáng)提供一些借鑒，但水下環(huán)境的獨(dú)特性，使得陸地方法直接遷移至水下的效果不佳.因此，對(duì)水下圖像進(jìn)行增強(qiáng)處理研究十分必要.

根據(jù)是否考慮光波在水中的傳播過(guò)程，目前的水下圖像增強(qiáng)算法可分為兩大類：基于物理模型的增強(qiáng)算法和基于非物理模型的增強(qiáng)算法[7].前者需要對(duì)成像過(guò)程進(jìn)行具體的數(shù)學(xué)建模，估算出其中的未知參數(shù)，進(jìn)而反演出去除水體影響的清晰圖像.最為經(jīng)典的暗通道先驗(yàn)(DCP)算法[8]，發(fā)現(xiàn)了陸上霧感圖像與成像模型之間的關(guān)系，因此得到光波透射率和大氣光的估計(jì)值，實(shí)現(xiàn)霧感圖像的還原.由于水下成像過(guò)程與霧化過(guò)程類似，DCP算法也可應(yīng)用于水下失真圖像的修正.但是，此算法的適用場(chǎng)景非常有限，且增強(qiáng)結(jié)果易出現(xiàn)新的失真問(wèn)題.更進(jìn)一步，文獻(xiàn)[9]提出了專門針對(duì)水下場(chǎng)景的水下暗通道先驗(yàn) (UDCP)算法，此算法考慮了光波在水中傳輸?shù)乃p特性，能求解出更準(zhǔn)確的透射率分布.然而，由于水下環(huán)境復(fù)雜多變，難以構(gòu)建準(zhǔn)確普適的成像模型，且參數(shù)估計(jì)易存在偏差，所以得到的增強(qiáng)結(jié)果并不太理想.另一方面，基于非物理模型的增強(qiáng)算法則無(wú)需分析圖像的成像過(guò)程，僅依靠降質(zhì)圖像的像素分布進(jìn)行增強(qiáng)操作.由于只針對(duì)圖像本身質(zhì)量，一些傳統(tǒng)的圖像處理算法，如直方圖均衡化、灰度世界法、小波變換、Retinex算法等，也可應(yīng)用于水下圖像增強(qiáng).此類算法雖原理簡(jiǎn)單，但是易產(chǎn)生過(guò)度增強(qiáng)、人工噪聲等問(wèn)題.

近幾年人工智能技術(shù)的發(fā)展，極大地推動(dòng)了神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域的應(yīng)用，水下圖像增強(qiáng)任務(wù)也不例外[10].神經(jīng)網(wǎng)絡(luò)算法通過(guò)數(shù)據(jù)驅(qū)動(dòng)，自主構(gòu)建出輸入樣本與輸出樣本間的非線性映射函數(shù)，進(jìn)而實(shí)現(xiàn)降質(zhì)圖像的修正.由于水下標(biāo)簽數(shù)據(jù)并不充足，且質(zhì)量欠佳，現(xiàn)常用的網(wǎng)絡(luò)類算法多基于半監(jiān)督模式的生成對(duì)抗網(wǎng)絡(luò)(GAN)[11].此類算法使用靈活多變，在圖像的對(duì)比度和亮度調(diào)整上多有不錯(cuò)的表現(xiàn).但是，在色偏校正和細(xì)節(jié)保留問(wèn)題上，一些算法依然有較大的提升空間.文獻(xiàn)[12]設(shè)計(jì)了一種循環(huán)生成對(duì)抗網(wǎng)絡(luò)，通過(guò)雙向訓(xùn)練方式實(shí)現(xiàn)理想清晰圖像與水下失真圖像的轉(zhuǎn)換.此算法避免了成對(duì)水下數(shù)據(jù)難以獲取的問(wèn)題，能實(shí)現(xiàn)高效率的圖像增強(qiáng).然而在處理過(guò)程中，其增強(qiáng)結(jié)果往往難以與理想清晰情況保持一致，在色度和結(jié)構(gòu)上存在一定的偏差.文獻(xiàn)[13]提出了一種簡(jiǎn)單快速的生成對(duì)抗模型，能對(duì)水下圖像的亮度、顏色等問(wèn)題進(jìn)行實(shí)時(shí)的修正，但是其結(jié)果易出現(xiàn)邊緣細(xì)節(jié)的丟失，且無(wú)法去除模糊.

針對(duì)現(xiàn)有算法的不足，本文提出了一種結(jié)合MS-Se-Res(Multi-Scale Senet-Residual)模塊[14]和雙分支判別器的水下圖像增強(qiáng)算法.該算法以GAN網(wǎng)絡(luò)為基本框架，利用判別器的監(jiān)督能力緩解對(duì)數(shù)據(jù)的依賴.與傳統(tǒng)算法不同的是，本文在生成器部分采用了不同尺寸的Se-Res(Senet-Residual)模塊，這種設(shè)計(jì)能夠在提取更多有用特征的同時(shí)實(shí)現(xiàn)多范圍信息的融合.此外，由于傳統(tǒng)判別網(wǎng)絡(luò)采用的單一標(biāo)量判別圖像真?zhèn)蔚呐袆e方式容易丟失圖像細(xì)節(jié)，所以本文在此基礎(chǔ)上提出了全局-區(qū)域雙判別方式，這種方式能夠?qū)崿F(xiàn)全局風(fēng)格與局部細(xì)節(jié)的雙重把控.在損失函數(shù)設(shè)計(jì)中，本文設(shè)計(jì)了僅考慮圖像本身質(zhì)量的無(wú)監(jiān)督損失形式，使增強(qiáng)結(jié)果不受限于參考圖像.同時(shí)，與對(duì)抗損失和內(nèi)容感知損失一起共同對(duì)模型的優(yōu)化方向進(jìn)行約束.針對(duì)水下場(chǎng)景復(fù)雜多變的問(wèn)題，本文收集了六類水下數(shù)據(jù)對(duì)算法的性能進(jìn)行驗(yàn)證，并與典型算法進(jìn)行比較.通過(guò)大量的實(shí)驗(yàn)評(píng)估，本文算法在主觀視覺(jué)和客觀指標(biāo)層面都取得了優(yōu)異的表現(xiàn).

1 生成對(duì)抗網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)

本文提出了一種基于條件生成對(duì)抗網(wǎng)絡(luò)的水下圖像增強(qiáng)模型，如圖1所示，其主要由兩部分組成，生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò).前者用于學(xué)習(xí)清晰圖像的數(shù)據(jù)分布，并得到水下失真圖像與此分布間的非線性變換關(guān)系，進(jìn)而生成去除水體影響的偽清晰圖像.生成網(wǎng)絡(luò)結(jié)構(gòu)如圖2所示.其中:ki為i×i的內(nèi)核尺寸；sj為長(zhǎng)度為j的移動(dòng)步幅；d為空洞卷積中的膨脹率；Conv為卷積運(yùn)算；Conc為拼接操作.后者則對(duì)輸入的圖像進(jìn)行真?zhèn)闻袆e，清晰參考圖像標(biāo)簽為真，而生成網(wǎng)絡(luò)得到的偽清晰圖像標(biāo)簽為偽.另外，判別網(wǎng)絡(luò)采用雙判別形式，能夠分別對(duì)全局風(fēng)格和細(xì)節(jié)邊緣進(jìn)行監(jiān)督.在損失函數(shù)中，本文設(shè)計(jì)了僅考慮圖像本身質(zhì)量的無(wú)監(jiān)督形式，其與對(duì)抗和內(nèi)容損失一起共同對(duì)模型的訓(xùn)練方向進(jìn)行約束，有助于緩解對(duì)數(shù)據(jù)的依賴.下面將對(duì)網(wǎng)絡(luò)設(shè)計(jì)進(jìn)行具體描述.

圖1 水下圖像增強(qiáng)模型結(jié)構(gòu)Fig.1 Model structure of underwater image enhancement

圖2 生成網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)Fig.2 Structure design of generator

1.1 生成網(wǎng)絡(luò)設(shè)計(jì)

網(wǎng)絡(luò)輸入為256像素×256像素×3像素的圖像數(shù)據(jù)經(jīng)過(guò)32通道1×1卷積操作和ReLU激活函數(shù)得到256像素×256像素×32像素的特征分布.首先，為了避免梯度稀疏問(wèn)題，本模型采用基礎(chǔ)卷積操作代替原Se-Res模塊中的池化層，防止信息丟失，有助于提升網(wǎng)絡(luò)穩(wěn)定性.同時(shí)，為了實(shí)現(xiàn)多尺度特征信息的融合，本文在原始Se-Res模塊的基礎(chǔ)上，根據(jù)卷積位置選用不同尺寸的卷積內(nèi)核.此外，卷積操作的內(nèi)核尺寸會(huì)影響網(wǎng)絡(luò)的參數(shù)量和計(jì)算量，因此，本文在深綠色模塊中采用3×3空洞卷積[15]代替7×7的傳統(tǒng)卷積，在保證感受野的同時(shí)減小了網(wǎng)絡(luò)的復(fù)雜度，d設(shè)置為2.經(jīng)過(guò)4個(gè)Se-Res模塊操作后，在對(duì)稱位置使用了相同尺寸的卷積處理.同時(shí)為了提升信息利用率，防止特征丟失，本文加入了多個(gè)直連通道，并利用拼接操作保證低層特征的完整傳輸.經(jīng)過(guò)拼接后的特征分布為64通道，分別作為最后3個(gè)Se-Res模塊的輸入.除此之外，在拼接操作前，加入3層網(wǎng)絡(luò)，其中黃、灰、藍(lán)色分別是卷積操作、非線性激活和歸一化處理.輸出層卷積選擇為4×4，激活函數(shù)設(shè)為Tanh，Tanh激活輸出能既起到激活作用，又起到歸一化作用.其將計(jì)算結(jié)果歸一化到[-1, 1]之間，能夠避免過(guò)大或過(guò)小的值.訓(xùn)練時(shí)將所有圖像數(shù)據(jù)全部歸一化到[-1, 1], 生成結(jié)果顯示時(shí)再反向調(diào)整為[0, 255]，所以Tanh激活函數(shù)的值經(jīng)過(guò)調(diào)整即作為了輸出圖像三通道的像素值，由此可以得到最終的增強(qiáng)結(jié)果.

1.2 判別網(wǎng)絡(luò)設(shè)計(jì)

傳統(tǒng)判別網(wǎng)絡(luò)采用的是單一標(biāo)量判別圖像真?zhèn)蔚呐袆e方式.這種方式雖然能夠很好地進(jìn)行全局范圍觀測(cè)，但是容易丟失細(xì)節(jié)信息.馬爾科夫判別網(wǎng)絡(luò)(PatchGAN)[16]提出了局部判別的思想.基于補(bǔ)丁級(jí)別的信息，可以更好地感知邊緣細(xì)節(jié)部分，從而得到細(xì)節(jié)豐富、分辨率高的圖像.因此為了既能把握整體信息，保持全局一致性，又能輸出高分辨率圖像，本文設(shè)計(jì)了一種全局-區(qū)域式的雙判別網(wǎng)絡(luò)結(jié)構(gòu).全局-區(qū)域判別方式示意圖如圖3所示.

圖3 判別方式示意圖Fig.3 Schematic diagram of discrimination method

全局判別采用了對(duì)整體圖像范圍的判偽方式，網(wǎng)絡(luò)中的基本模塊采用CLB (ConV-LeaklyReLU-BN) 形式，首先通過(guò)步幅大于1的卷積實(shí)現(xiàn)圖像降維，其次利用帶來(lái)泄露的非線性函數(shù)使小于0的信息順利傳輸，最后加入批歸一化(BN)層實(shí)現(xiàn)分布的修正[17].而區(qū)域判別則選取以填充區(qū)域?yàn)橹行牡某叽鐬?56像素×256像素的圖像塊，再經(jīng)過(guò)4次步長(zhǎng)為2的卷積處理后其輸出尺寸為16像素×16像素.區(qū)域判別采用多分類結(jié)果輸出形式，每一個(gè)數(shù)值對(duì)應(yīng)輸入圖像中的每一個(gè)部分.全局、區(qū)域判別網(wǎng)絡(luò)設(shè)計(jì)相似，其最大區(qū)別在于全局判別輸出為單一標(biāo)量，而區(qū)域判別輸出為16×16矩陣.

1.3 損失函數(shù)設(shè)計(jì)

為了緩解對(duì)數(shù)據(jù)的依賴，彌補(bǔ)樣本不足的問(wèn)題，本文在監(jiān)督學(xué)習(xí)的基礎(chǔ)上設(shè)計(jì)了僅考慮生成器輸出圖像本身質(zhì)量的無(wú)監(jiān)督學(xué)習(xí)形式[18].整個(gè)網(wǎng)絡(luò)的損失函數(shù)包括三部分：質(zhì)量驅(qū)動(dòng)目標(biāo)損失、對(duì)抗性目標(biāo)損失、內(nèi)容感知損失.

1.3.1質(zhì)量驅(qū)動(dòng)目標(biāo)損失 針對(duì)水下圖像出現(xiàn)的色彩扭曲等降質(zhì)問(wèn)題，質(zhì)量驅(qū)動(dòng)目標(biāo)損失可以無(wú)需參考圖像的約束，僅根據(jù)水下失真圖像實(shí)現(xiàn)優(yōu)化[19].本文選取了基于人體視覺(jué)系統(tǒng)的Lab顏色模式[20].其中，Lab分布是通過(guò)RGB(Red-Green-Blue)分布經(jīng)過(guò)空間變換與數(shù)值處理所得到的.代表紅綠色的a和代表藍(lán)黃色的b像素值取值范圍為 (-128，127).a,b的正負(fù)和均值大小、方差大小分別關(guān)系到圖像中的顏色占比大小、占比均衡性和分布多樣性.由此可以建立如下?lián)p失形式的數(shù)學(xué)表達(dá)式：

(1)

不同質(zhì)量的水下圖像及其Lab分布如圖4所示.其中：p為歸一化像素值；h為直方圖分布值.在3種不同情況下進(jìn)行實(shí)驗(yàn)，圖4(a)中，綠色占比大，黃綠分布不均衡，其Lab分布圖中的a、b曲線分別遠(yuǎn)離中心位置分布.圖4(b)中，仍存在偏色現(xiàn)象，但是情況略好，其Lab分布圖中，a曲線基本位于中心位置分布，b曲線則輕微左移.圖4(c)中，其Lab分布曲線皆位于中心位置分布.3幅圖像質(zhì)量損失值分別為0.857，0.349和0.037.

圖4 不同質(zhì)量的水下圖像及其Lab分布Fig.4 Underwater images with different qualities and their Lab distributions

1.3.2對(duì)抗性目標(biāo)損失 對(duì)抗性目標(biāo)損失能夠減少標(biāo)注數(shù)據(jù)不足的影響，并更準(zhǔn)確地提取融合水下失真圖像的特征，其數(shù)學(xué)表達(dá)式如下所示：

LGANt=Ex～pr(x)[lgDt(x,y)]+

Ex～pg(x)[lg(1-Dt(x,G(x)))]

(2)

式中：pr(x)和pg(x)分別為數(shù)據(jù)來(lái)源真?zhèn)蔚母怕史植?；t∈{1, 2}分別為全局判別和區(qū)域判別；x為輸入數(shù)據(jù)；y為標(biāo)簽圖像；G(x)為生成器輸出；Dt(x,y)為判別輸出.這種函數(shù)形式限制了網(wǎng)絡(luò)權(quán)重的更新方向，保證了整體輸出的穩(wěn)定性.

1.3.3內(nèi)容感知目標(biāo)損失 內(nèi)容感知目標(biāo)損失[21]擁有快速分析、差異尋找、信息匹配、特征提取、細(xì)節(jié)捕獲的能力.其使用視覺(jué)幾何組(VGG)模型[22]，利用卷積網(wǎng)絡(luò)進(jìn)行二次特征提取，再根據(jù)特定層距離間的輸出分布來(lái)達(dá)到對(duì)樣本相似性的監(jiān)測(cè).內(nèi)容感知目標(biāo)損失數(shù)學(xué)表達(dá)式如下:

(3)

式中：Hk和Wk分別為經(jīng)過(guò)網(wǎng)絡(luò)k層處理后的特征圖高寬；φk(·)為VGG模型前k層的網(wǎng)絡(luò)參數(shù)；Iy，IG(x)為參考圖像y和生成器輸出圖像G(x).

綜上所述，本文損失函數(shù)整體表達(dá)式如下：

L=ωGANLGAN+ωCLC+ωULU

(4)

式中：ωU、ωGAN和ωC為3個(gè)損失函數(shù)的權(quán)重，分別取為0.3、0.3和0.4.

2 實(shí)驗(yàn)設(shè)計(jì)

2.1 參數(shù)設(shè)計(jì)

本文的實(shí)驗(yàn)環(huán)境配置是Intel Xeon E5-2640V4處理器，2.4 GHz主頻，32 GB緩存空間和GTX 1080Ti GPU.編程語(yǔ)言和模型搭建平臺(tái)為Python和PyCharm，訓(xùn)練框架基于Tensorflow和Kears.實(shí)驗(yàn)采用Adam優(yōu)化器，初始學(xué)習(xí)率為 0.000 3，一階矩估計(jì)的指數(shù)衰減率為0.5.樣本的預(yù)處理過(guò)程分為4個(gè)部分：選取小批量數(shù)據(jù)，修改大小為256像素×256像素，數(shù)據(jù)增強(qiáng)操作以及標(biāo)準(zhǔn)化處理到(-1，1).數(shù)據(jù)增強(qiáng)處理主要包括線性插入?yún)⒖紙D像、左右翻轉(zhuǎn)和上下翻轉(zhuǎn)，實(shí)驗(yàn)采用random函數(shù)產(chǎn)生(0，1)之間的任意浮點(diǎn)數(shù).本實(shí)驗(yàn)設(shè)置翻轉(zhuǎn)概率為0.25.此外，每一迭代批量設(shè)置為4，整體循環(huán)次數(shù)設(shè)為200.

2.2 損失函數(shù)性能測(cè)試

本文從訓(xùn)練過(guò)程和訓(xùn)練結(jié)果出發(fā)，對(duì)損失函數(shù)進(jìn)行組合訓(xùn)練與分析.圖5和6為各損失函數(shù)訓(xùn)練過(guò)程對(duì)比.其中：Lall為3種損失函數(shù)組合；LGAN+C為對(duì)抗性目標(biāo)損失函數(shù)與內(nèi)容感知目標(biāo)損失函數(shù)組合；LGAN+U為對(duì)抗性目標(biāo)損失函數(shù)與質(zhì)量驅(qū)動(dòng)目標(biāo)損失函數(shù)組合；n為迭代次數(shù)；l為損失函數(shù)值.

圖5 2種損失函數(shù)訓(xùn)練過(guò)程對(duì)比Fig.5 Training process comparison of two loss functions

從圖5中可以看出，3種損失函數(shù)組合形式訓(xùn)練過(guò)程平穩(wěn)，震蕩幅度小，所需循環(huán)次數(shù)少.與之相比，當(dāng)只使用生成對(duì)抗損失函數(shù)進(jìn)行訓(xùn)練時(shí)，會(huì)出現(xiàn)收斂過(guò)程不穩(wěn)定，震蕩幅度大，所需循環(huán)次數(shù)多等問(wèn)題.由圖6可知，紅色實(shí)線、藍(lán)色點(diǎn)線表現(xiàn)相近且明顯優(yōu)于橙色虛線.但是在收斂后藍(lán)色線收斂值出現(xiàn)小幅波動(dòng)，因此紅線穩(wěn)定性優(yōu)于藍(lán)線.綜上，3種損失函數(shù)組合的函數(shù)形式具有更好的性能優(yōu)勢(shì).另外，本文選擇了峰值信噪比(PSNR)和結(jié)構(gòu)相似性(SSIM)兩個(gè)指標(biāo)來(lái)進(jìn)行客觀評(píng)估，表1展示了訓(xùn)練完成后在水下視覺(jué)感知增強(qiáng)(EUVP)數(shù)據(jù)集[13]上的測(cè)試評(píng)價(jià)結(jié)果.由表1可知，3種損失函數(shù)的組合形式明顯優(yōu)于其余組合.

圖6 3種損失函數(shù)訓(xùn)練過(guò)程對(duì)比Fig.6 Training process comparison of three loss functions

表1 各損失函數(shù)評(píng)價(jià)指標(biāo)對(duì)比Tab.1 Metrics results comparison of each loss function

3 實(shí)驗(yàn)結(jié)果分析

為了驗(yàn)證算法的有效性，本文設(shè)計(jì)了水下合成數(shù)據(jù)增強(qiáng)效果分析和多場(chǎng)景真實(shí)數(shù)據(jù)增強(qiáng)效果分析兩個(gè)實(shí)驗(yàn)，并從主觀視覺(jué)評(píng)價(jià)和客觀指標(biāo)評(píng)價(jià)兩方面進(jìn)行結(jié)果分析.進(jìn)行對(duì)比的算法有: 基于先驗(yàn)知識(shí)的文獻(xiàn)算法[23-24]、基于融合的文獻(xiàn)算法[25-26]、基于深度學(xué)習(xí)的算法[13,27].

3.1 水下合成數(shù)據(jù)增強(qiáng)效果對(duì)比分析

合成數(shù)據(jù)集來(lái)自于EUVP數(shù)據(jù)集[13]，其通過(guò)CycleGAN網(wǎng)絡(luò)[28]進(jìn)行對(duì)水下場(chǎng)景風(fēng)格的學(xué)習(xí)和模擬.各種算法在合成數(shù)據(jù)集上的增強(qiáng)效果如圖7所示.從視覺(jué)層面可以看出，圖7(b)中的RayleighD算法圖像色彩扭曲，出現(xiàn)了嚴(yán)重失真的問(wèn)題.相對(duì)全局直方圖拉伸(RGHS)算法增強(qiáng)不足, 使得圖7(c)中殘存大量水體噪聲.圖7(e)中Fus_2算法圖像整體呈現(xiàn)灰白色，這是由于其過(guò)度增強(qiáng)的問(wèn)題導(dǎo)致圖像對(duì)比度和飽和度過(guò)低.圖7(d)中的Fus_1、7(f)中的FGAN、7(g)中的UWCNN算法都引入了新的色偏，使得整體圖像效果不佳.綜合來(lái)看，本文算法的圖像處理效果最佳，與參考圖像的視覺(jué)效果幾乎相同，在第1行的圖像處理效果上甚至優(yōu)于參考圖像.其對(duì)于水體影響去除徹底，圖像色彩鮮艷、亮度通透、紋理清晰，有著很好的色彩飽和度和視覺(jué)效果.因此從主觀視覺(jué)來(lái)看，本文算法最佳.

圖7 各算法在合成數(shù)據(jù)集上的增強(qiáng)結(jié)果對(duì)比Fig.7 Enhancement results comparison of various algorithms on synthetic datasets

另外，本文選擇了峰值信噪比(PSNR)、結(jié)構(gòu)相似性指數(shù)(SSIM)、水下圖像質(zhì)量檢測(cè)(UIQM)、色彩對(duì)比度密度(CCF)和信息熵5種指標(biāo)進(jìn)行客觀評(píng)價(jià).PSNR能夠衡量圖像質(zhì)量的優(yōu)劣程度和噪聲情況；SSIM可以從整體層面判別兩張圖片的相似性；UIQM則是專門針對(duì)無(wú)對(duì)照參考情況下的水下圖像質(zhì)量評(píng)價(jià)；CCF是一個(gè)綜合質(zhì)量評(píng)價(jià)指標(biāo)，其不僅考慮了色調(diào)失衡、對(duì)比度差的問(wèn)題，還加入了霧感評(píng)判標(biāo)準(zhǔn)；信息熵能夠描述當(dāng)前圖像信息量的豐富度，其值大小與特征信息的多少緊密相關(guān).各算法在合成數(shù)據(jù)集上的增強(qiáng)結(jié)果對(duì)比，如表2所示.由表2可知，本文算法在所有指標(biāo)上都明顯優(yōu)于其余算法，有著出色的表現(xiàn).

表2 各增強(qiáng)算法在合成數(shù)據(jù)集上的評(píng)價(jià)指標(biāo)對(duì)比

3.2 在真實(shí)數(shù)據(jù)上的結(jié)果對(duì)比

水下環(huán)境復(fù)雜多變，本文設(shè)置了偏綠、偏藍(lán)、藍(lán)綠、霧感、亮度不均不足5種不同場(chǎng)景進(jìn)行驗(yàn)證，并從公開(kāi)數(shù)據(jù)集和競(jìng)賽中收集真實(shí)數(shù)據(jù).各算法增強(qiáng)結(jié)果如圖8所示.由圖8可知，在場(chǎng)景1的偏綠場(chǎng)景中，圖8(b)中的RayleighD算法圖像過(guò)度增強(qiáng)，色偏嚴(yán)重；圖8(d)中的Fus_1算法圖像殘存大量水體噪聲；圖8(e)中的Fus_2算法圖像飽和度鮮艷度不足；圖8(c)中RGHS、8(f)中FGAN、8(g)中UWCNN算法圖像整體分別呈現(xiàn)綠色、黃色、黃綠色，3種算法無(wú)法準(zhǔn)確修正顏色分布.本文算法在處理綠色殘留上效果明顯優(yōu)于其余算法，整體色彩鮮艷，各方面出色.在場(chǎng)景2的偏藍(lán)場(chǎng)景中，其余算法無(wú)一能夠很好地糾正藍(lán)色主導(dǎo)的顏色分布，只有本文算法能夠去除水體影響，還原出清晰圖像.在場(chǎng)景3的藍(lán)綠場(chǎng)景與偏綠場(chǎng)景類似，本文算法增強(qiáng)性能最優(yōu).在場(chǎng)景4的霧感場(chǎng)景中，除了圖8(f)中的FGAN算法外，其余算法都去除了霧感影響，但都出現(xiàn)了色偏問(wèn)題，只有本文算法輸出了無(wú)水體色調(diào)殘留，色彩飽和度高的清晰圖像.在場(chǎng)景5的亮度不均不足場(chǎng)景中，由于輸入圖像質(zhì)量過(guò)低，導(dǎo)致其余算法皆無(wú)法很好地還原圖像色彩，但是本文算法依然輸出了較其他算法更清晰的圖像，而且沒(méi)有出現(xiàn)色調(diào)偏離的失真情況.綜上，本文算法的水下圖像增強(qiáng)效果最好.

圖8 不同場(chǎng)景下數(shù)據(jù)增強(qiáng)結(jié)果對(duì)比Fig.8 Comparison of enhancement results on different datasets

為了對(duì)增強(qiáng)結(jié)果的質(zhì)量進(jìn)行客觀分析比較，從UIQM、CCF、信息熵3個(gè)方面的指標(biāo)進(jìn)行定量分析，如表3所示.對(duì)于UIQM指標(biāo)，本文算法能夠在所有場(chǎng)景下都得到最高的分值，且得分均勻，沒(méi)有出現(xiàn)明顯得分低的場(chǎng)景，而其余算法得分低且存在明顯分值低的場(chǎng)景，浮動(dòng)較大.從CCF指標(biāo)來(lái)看，本文算法依舊得分最高，遠(yuǎn)超其余算法.最后從信息熵來(lái)看，雖然其余算法色彩變化明顯，得分較高，但是本文算法依舊有最高的分值，在處理水下噪聲去除方面有明顯的優(yōu)勢(shì).綜上所述，本文算法有能夠?qū)崿F(xiàn)多場(chǎng)景的增強(qiáng)任務(wù)，有著出色的泛化性能.

表3 各增強(qiáng)算法在多場(chǎng)景數(shù)據(jù)上的評(píng)價(jià)指標(biāo)對(duì)比

(續(xù)表)

4 結(jié)語(yǔ)

針對(duì)水下觀測(cè)圖像存在顏色失真和低對(duì)比度等問(wèn)題，本文提出了一種基于生成對(duì)抗模型的水下圖像修正與增強(qiáng)算法.該算法在生成部分將多尺度內(nèi)核應(yīng)用于Se-Res模塊中，實(shí)現(xiàn)多感受野特征信息的提取與融合.判別部分設(shè)計(jì)考慮了全局信息與局部細(xì)節(jié)的關(guān)系，建立了全局-區(qū)域雙判別結(jié)構(gòu)，能夠保證整體風(fēng)格與邊緣紋理的一致性；同時(shí)設(shè)計(jì)了僅考慮圖像本身質(zhì)量的無(wú)監(jiān)督形式，其與有監(jiān)督損失一起共同對(duì)模型的訓(xùn)練方向進(jìn)行約束能夠得到更優(yōu)的色彩和結(jié)構(gòu)表現(xiàn).為了驗(yàn)證算法的性能，本文設(shè)計(jì)了多個(gè)對(duì)比分析實(shí)驗(yàn)，分別從主觀視覺(jué)和客觀指標(biāo)上進(jìn)行結(jié)果分析.實(shí)驗(yàn)結(jié)果表明，本文算法能有效提高圖像清晰度，增強(qiáng)對(duì)比度，修正色偏，保護(hù)細(xì)節(jié)特征不丟失.