基于零參考深度曲線估計(jì)的水下圖像增強(qiáng)算法

摘" 要： 水下環(huán)境由于水的吸收和散射會(huì)對(duì)圖像的生成產(chǎn)生負(fù)面影響，導(dǎo)致水下拍攝的圖像常常出現(xiàn)色偏、模糊、低對(duì)比度等問(wèn)題。針對(duì)上述問(wèn)題，文中提出一種無(wú)參考水下圖像增強(qiáng)算法。算法以卷積神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)，結(jié)合曲線估計(jì)實(shí)現(xiàn)水下圖像的增強(qiáng)。首先，該算法通過(guò)卷積層保留圖像的淺層特征；然后，通過(guò)連接密集殘差塊補(bǔ)償圖像特征的細(xì)節(jié)信息；最后，將提取的特征信息進(jìn)行曲線估計(jì)，動(dòng)態(tài)調(diào)整像素值，得到清晰圖像。在網(wǎng)絡(luò)訓(xùn)練過(guò)程中通過(guò)一組無(wú)參考損失函數(shù)來(lái)驅(qū)動(dòng)網(wǎng)絡(luò)學(xué)習(xí)，可在不需要成對(duì)數(shù)據(jù)的情況下提高圖像質(zhì)量。在公共數(shù)據(jù)集上對(duì)模型的性能進(jìn)行評(píng)估與測(cè)試，與具有代表性的增強(qiáng)方法進(jìn)行了比較驗(yàn)證。實(shí)驗(yàn)結(jié)果表明，該算法在PSNR指標(biāo)和SSIM指標(biāo)上分別達(dá)到了23.544和0.830，較第二名算法分別提高了10.02%和3.88%。

關(guān)鍵詞： 水下圖像增強(qiáng)； 曲線估計(jì)； 無(wú)參考損失函數(shù)； 殘差網(wǎng)絡(luò)； 深度學(xué)習(xí)； 跳躍連接

中圖分類號(hào)： TN911.73?34； TP391.41" " " " " " " "文獻(xiàn)標(biāo)識(shí)碼： A" " " " " " " " " 文章編號(hào)： 1004?373X（2024）19?0055?07

Underwater image enhancement algorithm

based on zero reference depth curve estimation

FENG Yan， ZHANG Wenpeng， LIU Jinyun， AN Yongli

（College of Artificial Intelligence， North China University of Science and Technology， Tangshan 063210， China）

Abstract： Underwater photography is challenged by optical distortions caused by absorption and scattering of water. These distortions manifest as color aberrations， image blurring and reduced contrast in underwater scenes. In view of the above， a no?reference underwater image enhancement algorithm is proposed. On the basis of the convolutional neural network （CNN）， the algorithm realizes underwater image enhancement by combining with curve estimation. The shallow characteristics of the image are retained by the convolution layer first， and then the detailed information of image features is compensated by connecting dense residual blocks. Finally， the extracted feature information is subjected to curve estimation， and the pixel value is adjusted dynamically， so as to obtain a clear image. In the process of network training， a set of no?reference loss functions are used to drive the network learning， which can improve the image quality without the need of paired data. The model performance is evaluated and tested on the public data set. Comparison analysis against other prominent enhancement methods demonstrates the superiority of the proposed algorithm. It′s PSNR （peak signal?to?noise ratio） and SSIM （structural similarity index measure） reach 23.544 and 0.830， respectively， surpassing the second?best algorithm by 10.02% and 3.88%， respectively.

Keywords： underwater image enhancement; curve estimation; no?reference loss function; residual network; deep learning; skip connection

0" 引" 言

在圖像生成過(guò)程中，光照、運(yùn)動(dòng)、遮擋、曝光等因素不可避免地會(huì)對(duì)圖像品質(zhì)造成影響，導(dǎo)致圖像質(zhì)量退化。水下圖像受到光照不均、能見(jiàn)度低、光的折射和散射以及微小顆粒和懸浮物的影響，導(dǎo)致圖像存在色彩偏差、顏色偽影和細(xì)節(jié)模糊等問(wèn)題。這些問(wèn)題不僅影響了水下視覺(jué)任務(wù)的應(yīng)用與發(fā)展，同時(shí)也給水下作業(yè)任務(wù)帶來(lái)了巨大挑戰(zhàn)。因此，通過(guò)增強(qiáng)技術(shù)實(shí)現(xiàn)水下圖像復(fù)原具有重要意義。

在圖像增強(qiáng)領(lǐng)域，基于CNN的方法通常是設(shè)計(jì)合適的網(wǎng)絡(luò)結(jié)構(gòu)并使用數(shù)據(jù)訓(xùn)練網(wǎng)絡(luò)，經(jīng)過(guò)訓(xùn)練后的網(wǎng)絡(luò)可以學(xué)習(xí)特征表現(xiàn)，進(jìn)而實(shí)現(xiàn)增強(qiáng)。文獻(xiàn)[1]提出一種基于CNN的色彩平衡和去噪網(wǎng)絡(luò)，該網(wǎng)絡(luò)是在卷積中間引入PReLU激活塊來(lái)增強(qiáng)圖像質(zhì)量，去噪效果明顯，但是在一定程度上會(huì)出現(xiàn)偽影。文獻(xiàn)[2]利用雙色空間和密集的多尺度注意塊來(lái)實(shí)現(xiàn)圖像增強(qiáng)，通過(guò)雙色空間來(lái)獲取近似顏色信息，采用密集注意塊徹底提取顏色信息，同時(shí)添加顏色引導(dǎo)，引導(dǎo)網(wǎng)絡(luò)專注退化顏色信息，以實(shí)現(xiàn)視覺(jué)上的增強(qiáng)，但該模型復(fù)雜度高、計(jì)算時(shí)間長(zhǎng)。

基于GAN的方法通常是通過(guò)對(duì)抗訓(xùn)練的方法來(lái)提高圖像質(zhì)量。GAN網(wǎng)絡(luò)由生成器和鑒別器構(gòu)成，生成器將低光照水下圖片升級(jí)成高光照?qǐng)D片，鑒別器對(duì)生成圖像與實(shí)際圖像進(jìn)行相似度評(píng)估，通過(guò)生成器和鑒別器的相互競(jìng)爭(zhēng)，不斷優(yōu)化模型產(chǎn)出質(zhì)量更高的圖像。文獻(xiàn)[3]提出一種基于GAN的深度模型，通過(guò)給鑒別器添加U?Net結(jié)構(gòu)、生成器添加擴(kuò)張卷積來(lái)提高視覺(jué)感知，進(jìn)而去除彩色偽影得到高質(zhì)量的水下圖像，但該模型復(fù)雜度高，同時(shí)需要消耗大量計(jì)算資源。文獻(xiàn)[4]提出一種以物理模型為引導(dǎo)的GAN方法，該模型使用兩個(gè)鑒別器，通過(guò)參數(shù)估計(jì)網(wǎng)絡(luò)來(lái)學(xué)習(xí)物理模型的反射參數(shù)，并使用增強(qiáng)網(wǎng)絡(luò)輔助信息獲取。同時(shí)，設(shè)計(jì)了一種風(fēng)格內(nèi)容對(duì)抗損失來(lái)增強(qiáng)水下圖像的風(fēng)格和內(nèi)容，但會(huì)產(chǎn)生噪聲影響。

針對(duì)光照強(qiáng)度對(duì)水下圖像的直接影響，本文提出一種無(wú)參考深度曲線估計(jì)的水下圖像增強(qiáng)方法。通過(guò)卷積操作與密集殘差塊（Dense Residual Block， DRB）相結(jié)合，實(shí)現(xiàn)圖像細(xì)節(jié)特征提取。利用曲線估計(jì)對(duì)提取的特征圖進(jìn)行處理，通過(guò)曲線估計(jì)的方式對(duì)低光照水下圖像的亮度分布進(jìn)行調(diào)整。最終在網(wǎng)絡(luò)訓(xùn)練過(guò)程中引入一組無(wú)參考損失函數(shù)，其中空間一致性損失指導(dǎo)網(wǎng)絡(luò)獲得水下圖像的空間信息；光照平滑損失指導(dǎo)曲線對(duì)光照進(jìn)行調(diào)整，避免曲線估計(jì)時(shí)出現(xiàn)過(guò)度增強(qiáng)；顏色損失指導(dǎo)網(wǎng)絡(luò)對(duì)水下圖像色彩信息的恢復(fù)。使網(wǎng)絡(luò)在不依賴成對(duì)數(shù)據(jù)集的情況下，可以學(xué)習(xí)水下圖像的關(guān)鍵特性，從而獲得高質(zhì)量的水下增強(qiáng)圖像。

在公共數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果證明，該模型在PSNR和SSIM指標(biāo)上取得了最優(yōu)結(jié)果，較第二名算法分別提高了10.02%和3.88%。

1" 算法設(shè)計(jì)

本文基于無(wú)參考深度曲線估計(jì)的水下圖像增強(qiáng)網(wǎng)絡(luò)由特征提取網(wǎng)絡(luò)、光照估計(jì)曲線（LE?curves）、損失函數(shù)三部分組成。為減少計(jì)算量，網(wǎng)絡(luò)操作不涉及上下采樣步驟，所有操作都在特征圖上進(jìn)行，總體流程圖如圖1所示。輸入的水下圖像經(jīng)過(guò)特征提取網(wǎng)絡(luò)得到一組像素級(jí)曲線參數(shù)映射，再通過(guò)LE?curves迭代應(yīng)用這些曲線參數(shù)映射，根據(jù)設(shè)計(jì)的損失函數(shù)驅(qū)動(dòng)LE?curves來(lái)動(dòng)態(tài)調(diào)整輸入圖像的RGB通道的所有像素，對(duì)像素值進(jìn)行調(diào)整，獲得最終的增強(qiáng)圖像，以實(shí)現(xiàn)無(wú)參考圖像增強(qiáng)過(guò)程。

1.1" 特征提取網(wǎng)絡(luò)

受Dense Net[5]的啟發(fā)，本節(jié)通過(guò)卷積與密集殘差塊進(jìn)行特征提取。每個(gè)DRB由卷積層、批量歸一化層和激活層構(gòu)成，詳細(xì)結(jié)構(gòu)如圖2所示。卷積層使用32個(gè)3×3的卷積核逐通道地提取特征圖；激活函數(shù)層使用Leaky ReLU函數(shù)，可以在負(fù)值處添加小的斜率，避免“死亡神經(jīng)元的問(wèn)題”，同時(shí)可以捕捉輸入中的細(xì)微特征變化，提高模型的魯棒性和收斂速度；批量歸一化層能夠加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程，同時(shí)解決模型梯度消失的問(wèn)題，從而更好地提升模型性能。

特征提取網(wǎng)絡(luò)共由9層網(wǎng)絡(luò)結(jié)構(gòu)組成，1/2/3和5/7/9采用具有對(duì)稱連接的普通卷積神經(jīng)網(wǎng)絡(luò)，4/6/8采用密集殘差層，網(wǎng)絡(luò)結(jié)構(gòu)如圖3所示。其中1/2/3/5/7層卷積由32個(gè)大小為3×3、步長(zhǎng)為1的卷積核組成，并接著使用ReLU激活函數(shù)進(jìn)行非線性激活，為防止破壞相鄰像素之間的關(guān)系，摒棄了下采樣。最后一層卷積采用Tanh激活函數(shù)，為后續(xù)的光照曲線估計(jì)迭代生成24個(gè)參數(shù)映射圖，其中每次迭代需要三通道的3個(gè)曲線參數(shù)映射圖。

具體地，前三層普通卷積主要實(shí)現(xiàn)圖像特征的淺層提取，之后通過(guò)加入的密集殘差層來(lái)增強(qiáng)模型特征的提取能力，獲得更多的圖像細(xì)節(jié)信息，實(shí)現(xiàn)降噪和提升圖像清晰度的目的，用對(duì)稱連接實(shí)現(xiàn)圖像淺層特征信息向深層網(wǎng)絡(luò)中傳遞，提升了模型對(duì)輸入數(shù)據(jù)特征信息的捕獲，同時(shí)防止模型出現(xiàn)梯度消失的問(wèn)題。

具體實(shí)現(xiàn)過(guò)程為：輸入一副水下圖像經(jīng)過(guò)1/2/3層卷積提取圖像淺層特征，將前3層提取的淺層特征輸入第4層DRB進(jìn)行細(xì)節(jié)信息補(bǔ)充，對(duì)輸出結(jié)果進(jìn)行卷積操作并與第3層輸出進(jìn)行連接，將連接圖像輸入到第5層DRB進(jìn)一步進(jìn)行細(xì)節(jié)信息補(bǔ)充，以此類推，直到將第8層輸出結(jié)果進(jìn)行卷積操作并與第1層輸出進(jìn)行連接后，通過(guò)使用Tanh函數(shù)，對(duì)輸出圖像按RGB通道進(jìn)行映射，生成光照估計(jì)曲線中8次迭代所需的24個(gè)參數(shù)映射。

1.2" 曲線估計(jì)

LE?curves的設(shè)計(jì)是一種非線性映射曲線，用于對(duì)輸入圖像的亮度空間進(jìn)行增強(qiáng)。它滿足以下三個(gè)目標(biāo)。

1） 防止信息溢出截?cái)嘁鸬男畔G失，增強(qiáng)后圖像像素值應(yīng)歸一化到[0，1]范圍內(nèi)；

2） 曲線保持單調(diào)性，以維持相鄰像素之間的差異性；

3） 在梯度反向傳播過(guò)程中具有簡(jiǎn)單且可微的形式。

為實(shí)現(xiàn)這些目標(biāo)，設(shè)計(jì)了一個(gè)二階曲線，具體表示如下：

[LE（I（x）;α）=I（x）+αI（x）（1-I（x））] （1）

式中：[x]為像素坐標(biāo)；[I（x）]為輸入圖像像素值；[LE（I（x）;α）]是給定輸入[I（x）]的增強(qiáng)值，[α∈[-1， 1]]是可訓(xùn)練曲線參數(shù)，它控制亮度水平，同時(shí)也調(diào)整曲線的大小。每個(gè)像素歸一化為[[-1， 1]]，所有操作都是像素級(jí)的。將LE?curves分別應(yīng)用于RGB三個(gè)通道，可以更好地保持固有顏色，并降低過(guò)飽和的風(fēng)險(xiǎn)。

為進(jìn)一步提高曲線的表達(dá)能力，本文采用迭代的方式來(lái)解決水下光照不足的問(wèn)題。具體而言，將曲線參數(shù)[α]用矩陣[A]表示，[A]是含有與輸入的水下圖像尺寸相同的參數(shù)圖，即輸入圖像的每個(gè)像素對(duì)應(yīng)一條曲線，通過(guò)將每個(gè)像素的曲線與最佳擬合曲線進(jìn)行比較，相應(yīng)地來(lái)調(diào)整每個(gè)像素的動(dòng)態(tài)范圍。因此，可以將公式（1）重新表示為：

[LEn（x）=LEn-1（x）+An（x）LEn-1（x）（1-LEn-1（x））] （2）

式中：[An]為第[n]次調(diào)整后對(duì)應(yīng)的全局像素級(jí)參數(shù)矩陣；[LEn]為第[n]次調(diào)整后的圖像亮度；[LEn-1]為第[n-1]次調(diào)整后的圖像亮度；[x]是像素坐標(biāo)，即每個(gè)像素點(diǎn)；[n]為迭代次數(shù)，即增強(qiáng)次數(shù)，當(dāng)[n=1]時(shí)，公式（2）可退化為公式（1）。經(jīng)過(guò)大量實(shí)驗(yàn)驗(yàn)證，本文將[n]設(shè)置為8時(shí)，可以得到令人滿意的結(jié)果。采用高階曲線可以靈活地對(duì)圖像亮度進(jìn)行增強(qiáng)，從而使模型能夠適應(yīng)復(fù)雜的水下光照不足的條件。

1.3" 損失函數(shù)設(shè)計(jì)

為了改善水下圖像質(zhì)量和清晰度，同時(shí)減少對(duì)參考圖像的依賴，受文獻(xiàn)[6]啟發(fā)，本文設(shè)計(jì)了一組無(wú)參考損失函數(shù)。水下圖像特征和紋理包括：空間一致性損失、光照平滑損失和顏色損失。

空間一致性損失：由于水下圖像復(fù)原通常缺乏可靠的參考圖像進(jìn)行約束，因此復(fù)原圖像中相鄰區(qū)域的像素值可能會(huì)與輸入圖像相鄰區(qū)域的像素值分布不一致。為保持輸入圖像和復(fù)原圖像相鄰區(qū)域之間的差異，對(duì)兩者相鄰區(qū)域的三通道像素計(jì)算均值，得到對(duì)應(yīng)灰度圖像，將灰度圖像分解成若干塊，對(duì)每塊區(qū)域的中心像素計(jì)算其與相鄰像素之間的插值，并求得這些插值的均值以促進(jìn)復(fù)原圖像與輸入圖像之間的空間相干性，具體函數(shù)如下：

[Lspa=1Ki=1Kj∈Ω（i）Yi-Yj-Ii-Ij2] （3）

式中：[K]為局部區(qū)域個(gè)數(shù)；[Ω（i）]為以區(qū)域[i]為中心的4個(gè)相鄰區(qū)域（上、下、左、右）；[Y]和[I]分別為增強(qiáng)圖像和輸入圖像在局部4×4區(qū)域內(nèi)的平均像素強(qiáng)度。

光照平滑損失：為了保持水下圖像相鄰像素之間的單調(diào)關(guān)系，設(shè)計(jì)光照平滑損失函數(shù)，通過(guò)在每個(gè)曲線參數(shù)映射中增加光照平滑損失，這樣使得各通道的水平、垂直方向梯度均值不會(huì)因?yàn)榈螖?shù)的不同出現(xiàn)過(guò)度增強(qiáng)。這有助于減少光照不均勻的影響，使得曲線參數(shù)映射更加平滑自然，避免出現(xiàn)明顯的不連續(xù)或突變的效果。光照平滑損失函數(shù)如下：

[LtvA=1Nn=1Nc∈φ?xAcn+?yAcn2，" " φ=R，G，B] （4）

式中：[N]為迭代次數(shù)；[Acn]為第[n]次調(diào)整后對(duì)應(yīng)三通道像素的全局像素級(jí)參數(shù)矩陣；[?x]和[?y]分別為水平和垂直方向的梯度運(yùn)算。

顏色損失：灰度世界算法[7]可以用作水下圖像增強(qiáng)的損失函數(shù)。該算法是基于自然環(huán)境下圖像各個(gè)通道的平均像素值趨近于灰色的假設(shè)，通過(guò)調(diào)整圖像通道的顏色平衡來(lái)實(shí)現(xiàn)增強(qiáng)效果。由于水下環(huán)境中光線存在衰減現(xiàn)象，導(dǎo)致圖像顏色會(huì)產(chǎn)生偏移，本文根據(jù)灰度世界假設(shè)算法設(shè)計(jì)了顏色損失函數(shù)，通過(guò)計(jì)算各通道所有像素與圖像平均像素的差值平方和，將三通道結(jié)果相加得到圖像整體平方均值后開(kāi)方，與各通道像素最大、最小值差值和求商，以改善水下圖像色偏問(wèn)題，使其顏色更加平衡和自然。具體函數(shù)如下：

[Lcol=1Mi=1Mc∈φ（Ic（x）-In）2c∈φ（Icmax-Icmin），" " "φ=R，G，B] （5）

式中：[M]為圖像像素?cái)?shù)量；[Imax]為各個(gè)顏色通道像素最大值；[Imin]為各個(gè)顏色通道像素最小值；[In]為圖像像素平均值。[In]的表達(dá)式為：

[In=c∈φ（Icmax+Icmin）2×3，" " φ=R，G，B] （6）

綜合以上損失函數(shù)，設(shè)計(jì)總的損失函數(shù)為：

[L=λspaLspa+λtvALtvA+λcolLcol] （7）

式中：[λspa]、[λtvA]和[λcol]為權(quán)重參數(shù)，根據(jù)大量實(shí)驗(yàn)，設(shè)置總損失函數(shù)權(quán)重[λspa]為3、[λtvA]為20、[λcol]為6.5。

2" 實(shí)驗(yàn)結(jié)果與分析

本文方法基于TensorFlow深度學(xué)習(xí)框架實(shí)現(xiàn)，硬件設(shè)備為14核Intel[?] Xeon[?] CPU E5?2680v4@2.40 GHz處理器，使用NVIDIA GeForce RTX 3090 （24 GB） GPU顯卡進(jìn)行運(yùn)算加速。在訓(xùn)練過(guò)程中，輸入圖像大小為256×256的彩色照片，采用ADAM優(yōu)化器進(jìn)行參數(shù)優(yōu)化，學(xué)習(xí)率設(shè)為0.000 1，批次大小設(shè)為8，網(wǎng)絡(luò)訓(xùn)練次數(shù)為100次。本文實(shí)驗(yàn)使用EUVP數(shù)據(jù)集[8]進(jìn)行訓(xùn)練和評(píng)估，其中訓(xùn)練集11 435張圖像、驗(yàn)證集1 970張圖像和測(cè)試集515張圖像。

為驗(yàn)證本文方法的有效性，本文與具有代表性的水下圖像增強(qiáng)方法進(jìn)行對(duì)比實(shí)驗(yàn)，從主觀視覺(jué)效果和客觀圖像評(píng)價(jià)指標(biāo)進(jìn)行評(píng)價(jià)，對(duì)比方法包括Water?Net[8]、UWCNN[9]、UDnet[10]、FUnIE?GAN[11]和NU2Net[12]。

2.1" 主觀效果分析

本文選擇具有不同顏色基調(diào)的水下圖像進(jìn)行比較，對(duì)比結(jié)果如圖4所示。

從對(duì)比結(jié)果可以看出，基于深度學(xué)習(xí)的算法都可以有效去除藍(lán)綠色背景，但也存在一些問(wèn)題。Water?Net算法增強(qiáng)效果適中，但對(duì)于藍(lán)色背景下的水下圖像增強(qiáng)會(huì)丟失部分顏色信息，同時(shí)綠色背景下的水下圖像增強(qiáng)則無(wú)法有效去除背景帶來(lái)的影響；UWCNN算法增強(qiáng)圖像對(duì)紅色通道過(guò)度補(bǔ)償，這使得在綠色背景下的水下圖像出現(xiàn)色偏，藍(lán)色背景下的圖像偏暗；UDnet算法增強(qiáng)圖像出現(xiàn)對(duì)比度過(guò)度增強(qiáng)，導(dǎo)致增強(qiáng)圖像整體偏白。FUnIE?GAN算法增強(qiáng)效果明顯，但存在部分區(qū)域過(guò)度增強(qiáng)，丟失一些細(xì)節(jié)信息；NU2Net算法增強(qiáng)圖像對(duì)圖像背景顏色存在過(guò)度增強(qiáng)，導(dǎo)致增強(qiáng)圖像背景為白色，丟失了原有的色彩信息。相比之下，本文提出的算法通過(guò)曲線估計(jì)提高了水下圖像的對(duì)比度，通過(guò)添加顏色損失函數(shù)進(jìn)一步細(xì)化增強(qiáng)圖像的色彩表達(dá)能力，使得增強(qiáng)圖像對(duì)比度得到提高，同時(shí)圖像細(xì)節(jié)更加豐富。

2.2" 客觀效果分析

在客觀評(píng)價(jià)指標(biāo)上，采用無(wú)參考的水下彩色圖像質(zhì)量評(píng)價(jià)指標(biāo)[13]（Underwater Color Image Quality Evaluation， UCIQE）、有參考的評(píng)價(jià)指標(biāo)圖像峰值信噪比（Peak Signal?To?Noise Ratio， PSNR）和圖像結(jié)構(gòu)相似性（Structural Similarity Index， SSIM）進(jìn)行評(píng)估。表1顯示了不同算法在這些評(píng)價(jià)指標(biāo)上的平均值，最佳結(jié)果以粗體顯示。在PSNR評(píng)價(jià)指標(biāo)上，本文方法結(jié)果為23.544，為對(duì)比結(jié)果中的最高值，相比與第二名FUnIE?GAN算法提高了10.02%，在SSIM評(píng)價(jià)指標(biāo)上，本文方法也取得了第一的位置，結(jié)果為0.830，相比第二名Water?Net算法提高了3.88%。在UCIQE評(píng)價(jià)指標(biāo)上，僅次于UDCP和FUnIE?GAN算法。

本文算法相對(duì)其他方法在UCIQE指標(biāo)、PSNR指標(biāo)和SSIM指標(biāo)上均有所提升，綜合這些對(duì)比結(jié)果，證明了本文所提算法的有效性。

3" 消融實(shí)驗(yàn)與應(yīng)用性測(cè)試

為驗(yàn)證本文方法中密集殘差塊和損失函數(shù)的有效性，進(jìn)行了大量消融實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果如圖5所示。缺少光照平滑損失函數(shù)，復(fù)原的圖像出現(xiàn)明顯的偽影，同時(shí)顏色校正結(jié)果較差；缺失空間一致性損失函數(shù)，復(fù)原的圖像色偏比較嚴(yán)重；缺少顏色損失函數(shù)，復(fù)原的圖像無(wú)法有效去除原有的藍(lán)色或綠色背景；網(wǎng)絡(luò)結(jié)構(gòu)中缺少密集殘差塊，復(fù)原的圖像部分紋理信息丟失，同時(shí)對(duì)紅色通道過(guò)度補(bǔ)償。

表2展示了消融實(shí)驗(yàn)在各項(xiàng)客觀評(píng)價(jià)指標(biāo)的平均值，最佳結(jié)果以粗體顯示。無(wú)論從主觀感知還是客觀評(píng)價(jià)均可以看出，密集殘差塊的添加有效改善了網(wǎng)絡(luò)的性能，即使UCIQE值減少，但PSNR和SSIM都有所提高。

使用ORB匹配算法[14]計(jì)算增強(qiáng)圖像和原始圖像之間的對(duì)應(yīng)點(diǎn)。在相同實(shí)驗(yàn)條件下，選擇水下魚(yú)類場(chǎng)景進(jìn)行匹配測(cè)試，驗(yàn)證本文算法在實(shí)際應(yīng)用中的效果。各算法的特征點(diǎn)匹配測(cè)試結(jié)果如圖6所示，對(duì)應(yīng)特征點(diǎn)匹配數(shù)目如表3所示。

測(cè)試結(jié)果表明，本文算法匹配的特征點(diǎn)為363個(gè)，遠(yuǎn)超于其他對(duì)比算法，驗(yàn)證了本文方法提升圖像局部特征的有效性，同時(shí)在實(shí)際應(yīng)用中有一定的潛力，為后續(xù)水下圖像任務(wù)奠定了基礎(chǔ)。

4" 結(jié)" 語(yǔ)

本文提出一種無(wú)參考水下圖像增強(qiáng)網(wǎng)絡(luò)，該網(wǎng)絡(luò)通過(guò)卷積與密集殘差塊的結(jié)合，改善了水下圖像增強(qiáng)效果不佳、容易出現(xiàn)色偏和細(xì)節(jié)模糊的現(xiàn)象。在EUVP數(shù)據(jù)集上，與其他水下圖像方法進(jìn)行對(duì)比實(shí)驗(yàn)，通過(guò)圖像質(zhì)量評(píng)價(jià)指標(biāo)PSNR、SSIM和UCIQE證實(shí)了改進(jìn)后的圖像質(zhì)量?jī)?yōu)于其他算法。消融實(shí)驗(yàn)進(jìn)一步證明了本文方法的有效性。此外，本文方法在訓(xùn)練過(guò)程中不需要參考圖像，通過(guò)一組損失函數(shù)驅(qū)動(dòng)模型自主學(xué)習(xí)水下圖像中的特征，并恢復(fù)其顏色和對(duì)比度，這一優(yōu)勢(shì)在無(wú)參考的水下環(huán)境中更為契合。由于所用數(shù)據(jù)集為合成數(shù)據(jù)集，該數(shù)據(jù)集模擬水下環(huán)境并非真實(shí)水下環(huán)境，在未來(lái)工作中，主要針對(duì)本文方法如何適應(yīng)真實(shí)的水下圖像增強(qiáng)，并嘗試在水下視頻實(shí)時(shí)增強(qiáng)方面進(jìn)行探索。

注：本文通訊作者為安永麗。

參考文獻(xiàn)

[1] CHANDRA I S， SHASTRI R K， KAVITHA D， et al. CNN based color balancing and denoising technique for underwater images： CNN?CBDT [J]. Measurement： Sensors， 2023， 28： 100835.

[2] ZHOU J C， LI B S， ZHANG D H， et al. UGIF?Net： An efficient fully guided information flow network for underwater image enhancement [J]. IEEE transactions on geoscience and remote sensing， 2023， 61： 1?17.

[3] LIN J C， HSU C B， LEE J C， et al. Dilated generative adversarial networks for underwater image restoration [J]. Journal of marine science and engineering， 2022， 10（4）： 500.

[4] CONG R M， YANG W Y， ZHANG W， et al. PUGAN： Physical model?guided underwater image enhancement using GAN with dual?discriminators [J]. IEEE transactions on image processing， 2023， 32： 4472?4485.

[5] HUANG G， LIU Z， PLEISS G， et al. Convolutional networks with dense connectivity [J]. IEEE transactions on pattern analysis and machine intelligence， 2022， 44（12）： 8704?8716.

[6] GUO C L， LI C Y， GUO J C， et al. Zero?reference deep curve estimation for low?light image enhancement [C]// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York： IEEE， 2020： 1777?1786.

[7] MA X M， CHEN Z H， FENG Z P. Underwater image restoration through a combination of improved dark channel prior and gray world algorithms [J]. Journal of electronic imaging， 2019， 28（5）： 053033.

[8] LI C Y， GUO C L， REN W Q， et al. An underwater image enhancement benchmark dataset and beyond [J]. IEEE transactions on image processing， 2020， 29： 4376?4389.

[9] LI C Y， ANWAR S， PORIKLI F. Underwater scene prior inspired deep underwater image and video enhancement [J]. Pattern recognition， 2020， 98： 107038.

[10] SALEH A， SHEAVES M， JERRY D R， et al. Adaptive uncertainty distribution in deep learning for unsupervised underwater image enhancement [EB/OL]. [2023?01?02]. https：//doi.org/10.48550/arXiv.2212.08983.

[11] ISLAM M J， XIA Y Y， SATTAR J. Fast underwater image enhancement for improved visual perception [J]. IEEE robotics and automation letters， 2020， 5（2）： 3227?3234.

[12] GUO C， WU R， JIN X， et al. Underwater ranker： Learn which is better and how to be better [C]// Proceedings of the AAAI Conference on Artificial Intelligence. [S.l.]： AAAI Press， 2023： 702?709.

[13] GUO P F， HE L， LIU S Y， et al. Underwater image quality assessment： Subjective and objective methods [J]. IEEE transactions on multimedia， 2022， 24： 1980?1989.

[14] TAREEN S A K， RAZA R H. Potential of SIFT， SURF， KAZE， AKAZE， ORB， BRISK， AGAST， and 7 more algorithms for matching extremely variant image pairs [C]// 2023 4th International Conference on Computing， Mathematics and Engineering Technologies （iCoMET）. New York： IEEE， 2023： 1?6.

作者簡(jiǎn)介：馮" 巖（1997—），男，河北邯鄲人，碩士研究生，研究方向?yàn)樯疃葘W(xué)習(xí)、圖像增強(qiáng)。

張文鵬（1999—），男，河北唐山人，碩士研究生，研究方向?yàn)樗聢D像增強(qiáng)。

劉勁蕓（1987—），女，河北唐山人，博士研究生，講師，研究方向?yàn)閳D像特征提取和識(shí)別。

安永麗（1979—），女，河北唐山人，博士研究生，教授，碩士生導(dǎo)師，研究方向?yàn)橥ㄐ虐踩⒂?jì)算機(jī)視覺(jué)。

收稿日期：2024?03?28" " " " " "修回日期：2024?04?19

基金項(xiàng)目：國(guó)家科技部重點(diǎn)研發(fā)專項(xiàng)（2017YFE0135700）；河北省高層次人才工程項(xiàng)目（A201903011）；河北省自然科學(xué)基金項(xiàng)目（F2018209358）