結(jié)合色彩補(bǔ)償與雙背景光融合的水下圖像復(fù)原

林 森，查子月

（沈陽(yáng)理工大學(xué) 自動(dòng)化與電氣工程學(xué)院，遼寧 沈陽(yáng) 110159）

1 引言

隨著人類(lèi)對(duì)海洋資源的重視和開(kāi)發(fā)，水下圖像作為海洋信息的重要表達(dá)形式，在水下機(jī)器人、海洋工程及生態(tài)監(jiān)測(cè)等領(lǐng)域發(fā)揮著關(guān)鍵作用［1］。然而，受水中介質(zhì)的散射吸收以及光的衰減特性影響，水下圖像普遍存在顏色失真、細(xì)節(jié)模糊、對(duì)比度低等退化問(wèn)題［2-4］。因此，圖像質(zhì)量的提高及可視化清晰效果的實(shí)現(xiàn)既具現(xiàn)實(shí)意義又具挑戰(zhàn)性。

近年來(lái)，針對(duì)圖像退化問(wèn)題提出的水下圖像清晰化方法大致可分為三類(lèi)：基于非物理模型的圖像增強(qiáng)、基于物理模型的圖像復(fù)原和深度學(xué)習(xí)［5-6］。直方圖均衡化［7］、灰度世界［8］、小波變換［9］和基于融合等圖像增強(qiáng)方法通過(guò)直接或間接調(diào)整圖像的像素值［10］，實(shí)現(xiàn)視覺(jué)效果提升。Ancuti等［11］以相關(guān)權(quán)重融合退化圖像的顏色補(bǔ)償和白平衡兩種版本，增強(qiáng)色彩及邊緣信息。Zhang等［12］提出最小顏色損失和局部自適應(yīng)對(duì)比度增強(qiáng)算法（Minimal Color Loss and Locally Adaptive Contrast Enhancement，MLLE），校正色偏的同時(shí)提高圖像對(duì)比度。此類(lèi)方法在圖像對(duì)比度和亮度增強(qiáng)方面取得了良好的效果，但未考慮水下光學(xué)成像特性，易引入顏色偏差和偽影，導(dǎo)致圖像存在過(guò)飽和或欠飽和區(qū)域。

圖像復(fù)原方法根據(jù)水下圖像退化過(guò)程建立成像模型，利用先驗(yàn)知識(shí)求解參數(shù)，反演獲得清晰的圖像［13］。Drews 等［14］通過(guò)驗(yàn)證水下圖像藍(lán)綠色通道包含主要的視覺(jué)信息及He 等［15］所提的暗通道先驗(yàn)算法（Dark Channel Prior，DCP）應(yīng)用于藍(lán)綠色通道有效這兩種假設(shè)，提出水下暗通道先驗(yàn)算法（Underwater Dark Channel Prior，UDCP）。Peng 等［16］提出泛化型暗通道先驗(yàn)算法（General Dark Channel Prior，GDCP），分析水下圖像深度相關(guān)的顏色變化估計(jì)環(huán)境光，利用場(chǎng)景環(huán)境光差計(jì)算透射率，結(jié)合自適應(yīng)色彩校正成像模型復(fù)原圖像。Wang 等［17］提出雙透射率水下成像模型結(jié)合紅色暗通道先驗(yàn)算法（Double Transmission of Red Dark Channel Prior，DRDCP），估計(jì)后向散射分量透射率及背景光，利用無(wú)退化像素點(diǎn)求得直接分量的透射率。此類(lèi)方法基于傳統(tǒng)的簡(jiǎn)化大氣散射模型分析及改進(jìn)現(xiàn)有先驗(yàn)假設(shè)信息，具備一定的圖像改善能力，但應(yīng)用于復(fù)雜的水下場(chǎng)景中，穩(wěn)定性較差，影響恢復(fù)效果。

深度學(xué)習(xí)是一種基于數(shù)據(jù)集訓(xùn)練的方法，通過(guò)學(xué)習(xí)真實(shí)圖像和退化圖像之間的非線性關(guān)系，實(shí)現(xiàn)對(duì)退化圖像的復(fù)原和增強(qiáng)。Islam 等［18］提出快速水下增強(qiáng)網(wǎng)絡(luò)（Fast Underwater Image Enhancement Generative Adversarial Networks，F(xiàn)UnIE-GAN），通過(guò)在生成網(wǎng)絡(luò)中加入殘差連接實(shí)現(xiàn)圖像細(xì)節(jié)清晰化。Naik 等［19］提出淺層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，簡(jiǎn)化網(wǎng)絡(luò)參數(shù)，恢復(fù)圖像的同時(shí)減少對(duì)硬件設(shè)備資源占用。Chen 等［20］提出內(nèi)容與風(fēng)格分離的水下圖像自適應(yīng)增強(qiáng)框架（Underwater Image Enhancement via Content and Style Separation，Uiess），將編碼特征分離為內(nèi)容和潛在風(fēng)格，區(qū)分不同領(lǐng)域潛在風(fēng)格并進(jìn)行領(lǐng)域自適應(yīng)和圖像增強(qiáng)。此類(lèi)方法雖具有較好的清晰化效果，但高質(zhì)量訓(xùn)練數(shù)據(jù)集的不足限制了其有效性和穩(wěn)定性。

為了解決復(fù)雜成像過(guò)程中顏色失真、細(xì)節(jié)模糊等多種問(wèn)題，本文提出一種結(jié)合色彩補(bǔ)償與雙背景光融合的水下圖像復(fù)原方法，基于Retinex 理論與白平衡算法將色彩補(bǔ)償分量引入成像模型中，補(bǔ)償水下衰減過(guò)快的顏色通道，獲得接近霧天退化的圖像；根據(jù)水體對(duì)光的吸收特性及背景光的高亮-平坦特點(diǎn)，采用低通-UDCP 算法及四叉樹(shù)分級(jí)搜索方法分別確定兩個(gè)候選背景光，進(jìn)行加權(quán)融合以精確求解全局背景光，避免白色高亮物體的干擾；分析水體背景顏色與散射系數(shù)的關(guān)系，采用引導(dǎo)濾波及高斯高通濾波優(yōu)化透射率，去除后向散射光，增強(qiáng)紋理細(xì)節(jié)信息。

2 水下成像模型及相關(guān)原理

光在大氣和水中的傳播過(guò)程具有一定相似性，因此，水下圖像清晰化算法大多采用簡(jiǎn)化的大氣散射模型［21］。該模型主要由兩個(gè)部分組成：經(jīng)過(guò)介質(zhì)吸收衰減后被成像設(shè)備接收的物體反射光，即直接衰減部分；以及未經(jīng)物體反射，被介質(zhì)散射后傳入成像設(shè)備的環(huán)境光，即后向散射部分。其表達(dá)式為：

式中：c∈{R，G，B}為三個(gè)顏色通道中的任一通道，x為像素點(diǎn)坐標(biāo)，I為原始退化圖像，J為恢復(fù)后的清晰圖像，B為水體背景光，t為介質(zhì)透射率。水中光衰減遵循Lambert-Beer 定律，與傳輸距離d(x)和衰減系數(shù)βc呈指數(shù)關(guān)系，表達(dá)式為：

基于DCP 算法進(jìn)行水下圖像復(fù)原時(shí)，認(rèn)為無(wú)霧圖像大部分像素點(diǎn)在其鄰域內(nèi)至少存在一個(gè)顏色通道具有極低的像素值，將它近似為零，其表達(dá)式為：

對(duì)式（1）兩邊進(jìn)行最小值濾波并同除以Bc，表達(dá)式為：

將式（3）帶入式（4）得到透射率tc(x)的表達(dá)式為：

根據(jù)式（5）及所估計(jì)的背景光，逆求解式（1）可得復(fù)原圖像，表達(dá)式為：

式中引入臨界值t0，避免分母為零而導(dǎo)致公式無(wú)解。

3 結(jié)合色彩補(bǔ)償與雙背景光融合的水下圖像復(fù)原

水中傳播的可見(jiàn)光在不同波長(zhǎng)下的衰減率不同，傳統(tǒng)模型中的吸收衰減部分未考慮波長(zhǎng)相關(guān)分量，會(huì)影響水下圖像復(fù)原算法的穩(wěn)定性。為了克服模型的局限性，現(xiàn)有算法通常會(huì)進(jìn)行顏色校正處理，可能導(dǎo)致圖像出現(xiàn)顏色偏差或偽影。因此，本文根據(jù)水下光學(xué)成像特性，考慮水體背景顏色的影響，在成像模型中引入色彩補(bǔ)償分量達(dá)到顏色校正效果；采用兩種方法求解并融合背景光，避免高亮白色物體的影響；不依賴(lài)水體環(huán)境系數(shù)，根據(jù)水體背景顏色與散射系數(shù)的關(guān)系自適應(yīng)求解透射率。

本文算法流程如圖1 所示，首先，采用四叉樹(shù)分級(jí)搜索算法估計(jì)水體背景顏色，并利用白平衡算法求取色彩補(bǔ)償分量，校正各顏色通道，使其接近霧天退化圖像；其次，結(jié)合低通濾波及UDCP 先驗(yàn)估計(jì)背景光一，基于四叉樹(shù)分級(jí)搜索估計(jì)背景光二，線性加權(quán)融合兩個(gè)背景光得到最終背景光；然后基于DCP 獲取初始透射圖，根據(jù)水體背景顏色與散射系數(shù)的關(guān)系優(yōu)化，使用引導(dǎo)濾波及高斯高通濾波增強(qiáng)優(yōu)化各通道的透射率；最后得到復(fù)原圖像。

圖1 結(jié)合色彩補(bǔ)償與雙背景光融合的水下復(fù)原算法流程Fig.1 Flow chart of underwater restoration algorithm combining color compensation and dual background light fusion

3.1 基于色彩補(bǔ)償分量的改進(jìn)水下成像模型

水下圖像通常受到水體和懸浮顆粒對(duì)光的吸收和散射的影響，產(chǎn)生色偏和霧化現(xiàn)象，將它類(lèi)比為被有色光源照射及濃霧覆蓋的大氣圖像，其中有色光源相當(dāng)于水體背景顏色。在不考慮圖像霧化現(xiàn)象的前提下，分析光的衰減作用，引入色彩補(bǔ)償分量解決色偏現(xiàn)象。

根據(jù)Retinex 模型［22］，水下圖像可以表示為物體反射分量與照射分量的乘積，即：

式中：Lc為表面照射光，即水體背景顏色，Rc(x)為物體反射屬性。

根據(jù)顏色恒常性理論［23］，物體真實(shí)顏色取決于反射屬性，而與表面照射光強(qiáng)度無(wú)關(guān)。為準(zhǔn)確獲取物體的真實(shí)顏色，成像過(guò)程中需降低照射分量的影響；而由于紅色光在水中衰減過(guò)快，水體背景顏色的紅色分量過(guò)低。為解決此問(wèn)題，基于灰度世界的白平衡假設(shè)，未發(fā)生退化的彩色圖像在R，G，B 三顏色通道具有相同的灰度平均值，故各顏色通道補(bǔ)償值與亮暗兩通道背景顏色值之差成正比，色彩補(bǔ)償分量表達(dá)式為：

此外，采用最小-最大歸一化將結(jié)果圖像亮度映射在顯示區(qū)間[0，1]或[0，255]中，具有顏色校正效果。考慮后向散射引起的模糊，將式（10）中色彩補(bǔ)償后的圖像Rc(x)作為式（1）中傳統(tǒng)Jaffe-McGlamery 模型［24］的輸入Ic(x)，進(jìn)一步解決水下圖像的霧化問(wèn)題。引入色彩補(bǔ)償分量后，改進(jìn)的水下成像模型表達(dá)式為：

根據(jù)水體背景顏色區(qū)域色偏最嚴(yán)重且局部亮度變化緩慢的特性，可知該區(qū)域色偏最大的顏色通道均值較大且三通道像素的標(biāo)準(zhǔn)差較小。基于四叉樹(shù)分級(jí)搜索方法［25］，搜索均值較大且標(biāo)準(zhǔn)差較小的圖像區(qū)域，將目標(biāo)區(qū)域內(nèi)與純白像素點(diǎn)歐氏距離最小的點(diǎn)的像素值作為水體背景顏色值，保證估計(jì)的背景顏色盡可能明亮。具體表達(dá)式為：

式中：Vn（n=1，2，3，4）為圖像等分的4 個(gè)矩形區(qū)域，N為各區(qū)域像素點(diǎn)數(shù)量，(x)為n區(qū)域c通道x處的像素值為n區(qū)域c通道的平均像素值。如圖2 所示，利用四叉樹(shù)分級(jí)求解水體背景顏色，引入相應(yīng)的色彩補(bǔ)償分量。相較于UDCP方法，圖像清晰度明顯提高且水體背景顏色更為自然。

圖2 色彩補(bǔ)償前后及不同算法估計(jì)背景顏色的效果對(duì)比Fig.2 Comparison of effects of estimating background color before and after color compensation using different algorithms

3.2 雙背景光融合估計(jì)

背景光估計(jì)的準(zhǔn)確性在水下圖像復(fù)原中起著關(guān)鍵作用，直接決定了亮度和色調(diào)，對(duì)提升圖像質(zhì)量和視覺(jué)效果至關(guān)重要。常見(jiàn)的估計(jì)方法有：基于DCP 算法選取圖像中最亮的0.1%所在位置的像素點(diǎn)均值；采用四叉樹(shù)分級(jí)搜索；基于最大強(qiáng)度先驗(yàn)選取紅色暗通道與藍(lán)綠色最大暗通道差值最大處對(duì)應(yīng)的像素值?；诂F(xiàn)有方法，根據(jù)背景光亮度衰減及顏色偏移特性提出兩種改進(jìn)的估計(jì)方案，并采用加權(quán)融合方法準(zhǔn)確估計(jì)背景光。

為降低白色物體的影響，先通過(guò)低通濾波獲取水體背景光相關(guān)的低頻分量；再基于UDCP 選取圖像最亮的某一百分比所在位置的像素均值，不同百分比的像素點(diǎn)計(jì)算出的背景光不同。較小的百分比更關(guān)注于最明亮的區(qū)域，但可能會(huì)對(duì)整體背景光的估計(jì)產(chǎn)生一定的偏差；而較大的百分比更全面地考慮圖像中較亮的區(qū)域，但可能會(huì)將一些較亮的物體或區(qū)域納入背景光的估計(jì)范圍，導(dǎo)致估計(jì)值偏高。根據(jù)實(shí)驗(yàn)，取前0.1%的像素點(diǎn)計(jì)算背景光更精確，并避免光在水中的吸收衰減（紅色通道衰減最快）導(dǎo)致圖像的過(guò)度補(bǔ)償。第一種候選背景光表達(dá)式為：

式中：G[]為高斯低通濾波器，利用卷積核計(jì)算中心像素及其鄰域像素的平均值，達(dá)到平滑濾波的目的，b0.1%為滿(mǎn)足要求的像素集。為防止獲取的暗通道圖出現(xiàn)塊效應(yīng)，采用引導(dǎo)濾波進(jìn)一步細(xì)化。

基于背景光的平坦性，采用四叉樹(shù)分級(jí)搜索估計(jì)背景光，將圖像等分為4 個(gè)矩形區(qū)域，選擇像素均值與標(biāo)準(zhǔn)差最大的區(qū)域作為候選區(qū)域；再對(duì)候選區(qū)域進(jìn)行同樣的分割和判斷，直至候選區(qū)域的差值滿(mǎn)足預(yù)定閾值。第二種候選背景光表達(dá)式為：

式中bf為滿(mǎn)足閾值條件的候選區(qū)域內(nèi)的像素集。

基于低通濾波-UDCP 先驗(yàn)估計(jì)方法，雖考慮到光的衰減特性，但存在人造光源時(shí)導(dǎo)致估計(jì)錯(cuò)誤；基于四叉樹(shù)分級(jí)搜索方法雖考慮到背景光的平坦性，但未考慮光的衰減，可能導(dǎo)致估計(jì)不準(zhǔn)確。因此，設(shè)計(jì)類(lèi)似Sigmoid 的融合函數(shù)S(σ，δ)準(zhǔn)確求解背景光，其表達(dá)式為：

式中：σ為復(fù)原前圖像中強(qiáng)度高于0.5 的像素占比。δ為偏移量，當(dāng)偏移量過(guò)大時(shí)，估計(jì)結(jié)果偏向于較大的背景光值，可能無(wú)法準(zhǔn)確地估計(jì)低背景光的情況；當(dāng)偏移量過(guò)小時(shí)，估計(jì)結(jié)果偏向于中間值，而無(wú)法捕捉到較大或較小背景光值的變化。m為斜率，當(dāng)斜率過(guò)大時(shí)，估計(jì)時(shí)對(duì)噪聲和細(xì)微變化過(guò)于敏感，估計(jì)結(jié)果不穩(wěn)定；當(dāng)斜率過(guò)小時(shí)，背景光估計(jì)的響應(yīng)較為平緩，無(wú)法準(zhǔn)確地跟隨背景光的變化。根據(jù)文獻(xiàn)［26］，以及進(jìn)行實(shí)驗(yàn)驗(yàn)證與調(diào)節(jié)，參數(shù)分別設(shè)置為δ=0.2，m=18。當(dāng)σ趨于1，背景光較明亮，選取較大候選背景光為最終背景光，即有：

圖3 展示了各背景光的估計(jì)結(jié)果和基于估計(jì)值的處理結(jié)果。圖中，B1 為第一種候選背景光，B2 為第二種候選背景光，B3 為文獻(xiàn)［26］中的融合背景光，B 為本文算法的融合背景光。從圖中可知，B1 和B2 估計(jì)方法會(huì)導(dǎo)致圖像出現(xiàn)不同程度的色偏，而B(niǎo) 估計(jì)方法使用的融合函數(shù)中和了兩種色偏，細(xì)節(jié)更加清晰；B3 估計(jì)方法雖也運(yùn)用了融合理念，但所選的背景光估計(jì)方法未進(jìn)行改進(jìn)，會(huì)受到淺色場(chǎng)景或人造光源的影響，導(dǎo)致估計(jì)錯(cuò)誤，產(chǎn)生了更大程度的色偏。因此，本文估計(jì)的融合背景光更貼近真實(shí)水下環(huán)境，處理結(jié)果也最優(yōu)。

圖3 兩種候選背景光及融合背景光Fig.3 Two candidate background lights and fused background lights

3.3 優(yōu)化介質(zhì)透射率

UDCP 先驗(yàn)假設(shè)水下圖像大部分視覺(jué)信息存在于藍(lán)綠色通道，并結(jié)合水下成像模型估計(jì)相應(yīng)的介質(zhì)透射率。然而，不同波長(zhǎng)的可見(jiàn)光在水下傳播時(shí)吸收和散射衰減程度不同，盡管進(jìn)行了色彩補(bǔ)償，圖像仍受到水下光學(xué)衰減的影響，即紅色可見(jiàn)光衰減迅速，藍(lán)色光衰減緩慢。因此，基于UDCP 算法獲取初始透射率t'，定義為水體背景顏色的藍(lán)綠色較大通道透射率（以t'=tB為例），再根據(jù)Lambert-Beer 定律求解另兩通道的透射率，表達(dá)式為：

式中：μR=βR/βB和μG=βG/βB為相對(duì)衰減率，分別表示對(duì)應(yīng)通道的散射系數(shù)的比值。

波長(zhǎng)越長(zhǎng)的可見(jiàn)光在水中衰減越快，散射系數(shù)越小，對(duì)應(yīng)的水體背景顏色分量值也越小，因此，光的衰減特性及各顏色分量散射系數(shù)的內(nèi)在聯(lián)系可以通過(guò)水體背景顏色體現(xiàn)。水體背景顏色與散射系數(shù)成正比，即：

通過(guò)式（20）計(jì)算兩個(gè)相對(duì)衰減率，得到：

此外，先后使用引導(dǎo)濾波和高通濾波優(yōu)化透射率，達(dá)到平滑和增強(qiáng)細(xì)節(jié)的雙重效果。引導(dǎo)濾波可以平滑透射率圖像，減少噪聲的影響；高通濾波可以突出透射率變化的細(xì)節(jié)，提高透射率優(yōu)化的準(zhǔn)確性和可靠性。透射率優(yōu)化的表達(dá)式為：

式中γ為控制細(xì)節(jié)分量放大程度的增強(qiáng)參數(shù)。如圖4 所示，透射率優(yōu)化后恢復(fù)更多的顏色信息，細(xì)節(jié)信息更為豐富。

圖4 透射率優(yōu)化前后的效果對(duì)比Fig.4 Comparison of processed images with transmission enhancement before and after optimization

4 實(shí)驗(yàn)結(jié)果與分析

將本文算法與多種算法在不同數(shù)據(jù)集上進(jìn)行定性和定量比較，以驗(yàn)證其有效性。對(duì)比算法包括復(fù)原算法UDCP［14］，GDCP［16］和DRDCP［17］；增強(qiáng)算法Fusion［11］，MLLE［12］；深度學(xué)習(xí)算法FUnIE-GAN［18］，Shallow-uwnet［19］和Uiess［20］。數(shù)據(jù)集為：包含藍(lán)、綠、藍(lán)綠色3 種色偏各100 張圖像的UCCS 數(shù)據(jù)集［27］；包含A，B，C，D 和E 5 種可見(jiàn)度各726 張圖像的UIQS［27］數(shù)據(jù)集；包含950 張不同水下場(chǎng)景圖像的UIEB［28］數(shù)據(jù)集；包含7 張由不同相機(jī)拍攝的水下色卡圖像的Color-Check7 數(shù)據(jù)集［29］。

4.1 主觀評(píng)價(jià)

在Color-Check7 數(shù)據(jù)集上，使用不同算法對(duì)7 張色卡圖像進(jìn)行處理，以4 張色卡為例進(jìn)行展示。如圖5 所示，從上至下分別是以Panasonic_TS1，Cannon_D10，Olympus_T8000 和FujiFilm_Z33 拍攝的水下色卡圖及各算法的處理結(jié)果。原圖亮度低、對(duì)比度低且存在色偏現(xiàn)象；GDCP 算法雖改善色偏且增強(qiáng)亮度，但亮度增強(qiáng)過(guò)度，視覺(jué)效果不佳，如TS1 色卡；Fusion 和MLLE 算法改善色偏，但Fusion 亮度有待提高，MLLE 飽和度欠佳，色卡顏色恢復(fù)不自然，如D10，T8000 和Z33 色卡；其他對(duì)比算法未解決圖像色偏現(xiàn)象，甚至加劇了顏色失真，如DRDCP，F(xiàn)UnIE-GAN 等算法；所提算法恢復(fù)的圖像顏色真實(shí)自然，具有較好的視覺(jué)效果。

圖5 顏色恢復(fù)實(shí)驗(yàn)結(jié)果Fig.5 Results of color recovery experiment

在UCCS 數(shù)據(jù)集上比較不同算法的顏色校正能力，圖6 從上至下分別展示了藍(lán)色、藍(lán)綠色和綠色色偏各一張圖像及其結(jié)果圖。對(duì)于藍(lán)色水下圖像，UDCP 和GDCP 未能校正藍(lán)色色偏；DRDCP 校正藍(lán)色偏差效果欠佳；其他對(duì)比算法都消除了藍(lán)色偏差，但Fusion 和Shallow-uwnet結(jié)果圖的對(duì)比度有待提高；FUnIE-GAN 和Uiess結(jié)果圖引入了淡黃色；MLLE 結(jié)果圖顏色不夠真實(shí)自然。對(duì)于藍(lán)綠色水下圖像，UDCP 無(wú)法校正藍(lán)綠色色偏；GDCP 和Uiess 結(jié)果圖引入了紅色偏差；FUnIE-GAN 和Shallow-uwnet 結(jié)果圖引入了淡黃色偏差且對(duì)比度低；DRDCP，F(xiàn)usion 和MLLE 結(jié)果圖偏灰調(diào)，顏色恢復(fù)不夠自然。對(duì)于綠色水下圖像，UDCP，GDCP 和DRDCP 未能校正綠色偏差；Fusion 和MLLE 結(jié)果圖像偏灰色；FUnIE-GAN 和Shallow-uwnet 結(jié)果圖引入了淡黃色偏差；Uiess 引入了紅色偏差。相比之下，所提方法在顏色校正、對(duì)比度和細(xì)節(jié)增強(qiáng)方面均優(yōu)于對(duì)比算法，有效地提高可見(jiàn)性，顏色恢復(fù)更為自然。

圖6 UCCS 數(shù)據(jù)集上的視覺(jué)比較Fig.6 Visual comparisons on UCCS dataset

在UIQS 數(shù)據(jù)集上比較不同算法對(duì)圖像可見(jiàn)性的改進(jìn)效果，圖7 從上至下分別展示了A，B 和E 級(jí)別各一張圖像及其結(jié)果。UDCP 一定程度上提高了對(duì)比度，但B 和E 等級(jí)的圖像顏色校正效果不理想；GDCP 能夠有效消除光散射引起的影響，但對(duì)顏色偏差處理效果不佳，特別是在水呈綠色時(shí)，存在亮度增強(qiáng)過(guò)度現(xiàn)象；DRDCP 顯著提高了圖像的亮度和對(duì)比度，但引入了少量紫色色偏。Fusion 能夠提高亮度和對(duì)比度，但對(duì)結(jié)構(gòu)細(xì)節(jié)的增強(qiáng)效果欠佳；MLLE 顯著提高了對(duì)比度、亮度和飽和度，但顏色恢復(fù)不自然，整體呈灰色。相比之下，所提方法能夠有效消除顏色偏差，突出結(jié)構(gòu)細(xì)節(jié)，并在不過(guò)度增強(qiáng)或過(guò)飽和的情況下提高可見(jiàn)性。

圖7 UIQS 數(shù)據(jù)集上的視覺(jué)比較Fig.7 Visual comparisons on UIQS dataset

為了進(jìn)一步評(píng)估不同方法的有效性和穩(wěn)定性，隨機(jī)選擇UIEB 數(shù)據(jù)集中幾個(gè)不同水下場(chǎng)景的圖像。如圖8 所示，對(duì)于模糊的水下圖像，UDCP 和GDCP 加劇了色偏，且結(jié)果圖像整體偏暗或偏亮；FUnIE-GAN，Shallow-uwnet 和Uiess 額外引入了色偏；DRDCP 和Fusion 在增強(qiáng)低能見(jiàn)度水下圖像的可見(jiàn)度方面不能令人滿(mǎn)意，無(wú)法完全消除霧狀外觀。MLLE 能夠有效增強(qiáng)圖像的可見(jiàn)度，但會(huì)引入局部黑暗，且飽和度有待增強(qiáng)。相比之下，所提方法能夠去除色偏，在沒(méi)有明顯的過(guò)度增強(qiáng)、欠增強(qiáng)和局部黑暗的情況下有效提高可見(jiàn)性。

圖8 UIEB 數(shù)據(jù)集上的視覺(jué)比較Fig.8 Visual comparisons on UIEB dataset

4.2 客觀評(píng)價(jià)

在UCCS，UIQS 和UIEB 數(shù)據(jù)集上，使用水下彩色圖像質(zhì)量評(píng)價(jià)［30］（Underwater Color Image Quality Evaluation，UCIQE）、頻域無(wú)參考的水下圖像質(zhì)量評(píng)估［31］（A reference-free underwater image quality assessment metric in frequency domain，F(xiàn)DUM）、信息熵［32］（Information Entropy，IE）、自然圖像質(zhì)量評(píng)估［33］（Natural Image Quality Evaluator，NIQE）和色彩對(duì)比度霧密度指數(shù)［34］（Colorfulness Contrast Fog Density Index，CCF）5 個(gè)無(wú)參考指標(biāo)進(jìn)行評(píng)價(jià)。其中，UCIQE綜合評(píng)估圖像色調(diào)、飽和度和清晰度，值越大效果越好；FDUM 綜合評(píng)估色彩、對(duì)比度和銳度，值越大圖像質(zhì)量越高；IE 衡量圖像邊緣、紋理等細(xì)節(jié)信息，值越大去霧效果越好；NIQE 反映圖像自然程度，值越小視覺(jué)效果越好；CCF 綜合評(píng)估圖像的色度、對(duì)比度和霧密度，值越大效果越好。由于UIEB 數(shù)據(jù)集存在相對(duì)應(yīng)的增強(qiáng)參考對(duì)比圖，額外使用結(jié)構(gòu)相似性［35］（Structural Similarity Index Metric，SSIM）和峰值信噪比［36］（Peak Signal to Noise Ration，PSNR）兩個(gè)全參考指標(biāo)進(jìn)行評(píng)價(jià)。SSIM 綜合評(píng)估圖像的相似程度，值越大圖像越相似；PSNR 衡量原始與結(jié)果圖像之間的信號(hào)與噪聲比例，值越大圖像質(zhì)量越好。在Color-Check7 數(shù)據(jù)集上，使用CIEDE2000 標(biāo)準(zhǔn)［37］進(jìn)行評(píng)估，裁剪結(jié)果中，各色塊與標(biāo)準(zhǔn)色塊的色差越小顏色恢復(fù)越好。

為了客觀評(píng)估算法的顏色校正能力，在Color-Check7 數(shù)據(jù)集上使用CIEDE2000 指標(biāo)對(duì)各算法進(jìn)行評(píng)估，結(jié)果如表1 所示，最優(yōu)值加粗。所提算法處理D10，Z33，T8000 和TS1 圖像時(shí)指標(biāo)最優(yōu)，且在整個(gè)數(shù)據(jù)集上的平均指標(biāo)也達(dá)到了最佳水平。結(jié)果表明，對(duì)于不同相機(jī)拍攝的水下圖像，所提算法均可最大程度地還原真實(shí)顏色。

表1 不同算法在Color-Check7 數(shù)據(jù)集上的CIEDE2000 評(píng)測(cè)值對(duì)比Tab.1 CIEDE2000 comparison of different methods on Color-Check7 dataset

表2 展示了在UCCS 和UIQS 數(shù)據(jù)集上使用不同方法計(jì)算的UCIQE，F(xiàn)DUM，IE，NIQE 和CCF 指標(biāo)結(jié)果。由表可知，所提算法相較對(duì)比算法，在UCCS 數(shù)據(jù)集中UCIQE，F(xiàn)DUM 和CCF指標(biāo)最優(yōu)，其余指標(biāo)次優(yōu)；在UIQS 數(shù)據(jù)集中UCIQE 和FDUM 指標(biāo)最優(yōu)，其余指標(biāo)次優(yōu)。綜合定性和定量評(píng)估結(jié)果可知，所提算法具有優(yōu)越的顏色校正能力，對(duì)不同質(zhì)量級(jí)別的水下圖像處理效果更優(yōu)。

表2 不同算法在UCCS 和UIQS 數(shù)據(jù)集上的客觀指標(biāo)對(duì)比Tab.2 Quantitative comparison of different methods on UCCS and UIQS datasets

根據(jù)表3 中UIEB 數(shù)據(jù)集的定量比較可知，所提算法的UCIQE，NIQE，SSIM 和PSNR 指標(biāo)最優(yōu)，其余指標(biāo)次優(yōu)，能夠顯著增強(qiáng)對(duì)比度、亮度和紋理細(xì)節(jié)，復(fù)原結(jié)果總體上呈現(xiàn)高可見(jiàn)度和自然顏色。3 個(gè)數(shù)據(jù)集的無(wú)參考指標(biāo)均值兩個(gè)最優(yōu)，3 個(gè)次優(yōu)，充分體現(xiàn)出所提算法在客觀指標(biāo)上的優(yōu)勢(shì)。

表3 不同算法在UIEB 及三個(gè)數(shù)據(jù)集上的客觀指標(biāo)對(duì)比Tab.3 Quantitative comparison of different methods on UIEB and three datasets

4.3 細(xì)節(jié)增強(qiáng)對(duì)比

精細(xì)的結(jié)構(gòu)細(xì)節(jié)對(duì)于高質(zhì)量的水下圖像尤為重要。如圖9 所示，與對(duì)比算法的細(xì)節(jié)增強(qiáng)效果對(duì)比，從全局來(lái)看，所提算法在提升圖像色彩和對(duì)比度方面表現(xiàn)出顯著優(yōu)勢(shì)；從局部來(lái)看，在增強(qiáng)結(jié)構(gòu)細(xì)節(jié)方面表現(xiàn)出色，如方框所示的放大區(qū)域。

圖9 細(xì)節(jié)增強(qiáng)的視覺(jué)比較Fig.9 Visual comparisons of detail enhancement

4.4 運(yùn)行時(shí)間對(duì)比

為驗(yàn)證算法效率，在Windows10 操作系統(tǒng)，硬件環(huán)境為Intel i5-12400CPU、16GB 內(nèi)存以及12GB 顯存的GTX3060 顯卡，使用MATLAB R2018b 和PyCharm 軟件，隨機(jī)選取UIEB 數(shù)據(jù)集中100 張256×256 的圖像進(jìn)行時(shí)間測(cè)試與對(duì)比，實(shí)驗(yàn)結(jié)果如表4 所示。由于GPU 加速，基于深度學(xué)習(xí)的方法在速度方面具有優(yōu)勢(shì)，盡管Shallowuwnet 和MLLE 算法的運(yùn)行時(shí)間小于所提算法，但所提方法能以較少的矩陣運(yùn)算實(shí)現(xiàn)更為顯著的圖像效果，定性和定量的評(píng)價(jià)結(jié)果都優(yōu)于這兩種算法。此外，深度學(xué)習(xí)算法Shallow-uwnet 需要大量的模塊訓(xùn)練時(shí)間，并且占據(jù)更大的內(nèi)存資源。

表4 不同算法的運(yùn)行時(shí)間Tab.4 Running time of different methods（s）

4.5 消融實(shí)驗(yàn)

為驗(yàn)證算法各組成部分的有效性，在數(shù)據(jù)集上隨機(jī)選取圖像進(jìn)行消融研究。實(shí)驗(yàn)包括以下4 個(gè)部分：所提算法去除色彩補(bǔ)償模塊、所提算法去除背景光融合、所提算法去除透射率優(yōu)化以及包含所有模塊的本文算法，實(shí)驗(yàn)結(jié)果如表5 和圖10 所示。

表5 消融實(shí)驗(yàn)的客觀評(píng)價(jià)指標(biāo)Tab.5 Objective evaluation indexes of ablation experiment

圖10 消融實(shí)驗(yàn)結(jié)果Fig.10 Results of ablation experiment

由圖10 可知，與原圖相比，所提算法去除色彩補(bǔ)償模塊的圖像對(duì)比度得到增強(qiáng)，但未能進(jìn)行顏色校正；所提算法去除背景光融合的圖像對(duì)比度和色偏得到改善，但仍存在色偏校正不徹底或引入其他色偏以及過(guò)度增強(qiáng)的現(xiàn)象；所提算法去除透射率優(yōu)化的圖像對(duì)比度得到有效增強(qiáng)，但仍存在部分色偏以及塊狀區(qū)域現(xiàn)象；包含所有模塊的本文算法的圖像顏色恢復(fù)自然，對(duì)比度得到顯著提高，細(xì)節(jié)表現(xiàn)清晰，視覺(jué)效果最佳。

為了更加客觀地評(píng)價(jià)各模塊對(duì)算法性能的影響，選取2 個(gè)全參考指標(biāo)和5 個(gè)無(wú)參考指標(biāo)作為消融實(shí)驗(yàn)客觀評(píng)價(jià)指標(biāo)，如表5 所示。實(shí)驗(yàn)結(jié)果表明，各模塊都有助于提高算法性能，本文算法實(shí)現(xiàn)了最佳性能。

4.6 應(yīng)用測(cè)試

為驗(yàn)證所提算法的應(yīng)用效果，采用SURF算法評(píng)估特征點(diǎn)匹配。特征點(diǎn)匹配是計(jì)算機(jī)視覺(jué)領(lǐng)域的核心任務(wù)之一，圖像紋理特征越清晰，匹配的特征點(diǎn)數(shù)量越多。如圖11 所示，選取3組代表性圖像進(jìn)行實(shí)驗(yàn)對(duì)比，其特征點(diǎn)匹配數(shù)目在圖右上方。綜合考慮各算法的主觀評(píng)價(jià)和客觀指標(biāo)，所提算法的復(fù)原圖像顏色自然，對(duì)比度高且細(xì)節(jié)清晰，客觀評(píng)價(jià)指標(biāo)中4 個(gè)最優(yōu)，3個(gè)次優(yōu)；而MLLE 算法細(xì)節(jié)增強(qiáng)明顯，但顏色恢復(fù)不自然，整體呈現(xiàn)灰色調(diào)，局部過(guò)亮或過(guò)暗，客觀指標(biāo)整體不如所提算法；其他算法在亮度、顏色以及對(duì)比度等一個(gè)或多個(gè)方面有待改善。結(jié)合圖11 可知，所提算法能夠匹配到更多特征點(diǎn)，更有利于水下目標(biāo)識(shí)別等工作。

圖11 特征點(diǎn)匹配Fig.11 Feature point matching

5 結(jié)論

針對(duì)復(fù)雜水下成像環(huán)境導(dǎo)致的圖像顏色失真、對(duì)比度低和細(xì)節(jié)模糊等現(xiàn)象，簡(jiǎn)化大氣散射模型的局限性以及背景光與透射率估計(jì)的準(zhǔn)確性問(wèn)題，本文提出一種結(jié)合色彩補(bǔ)償與雙背景光融合的水下圖像復(fù)原方法。首先，結(jié)合Retinex與白平衡算法引入并求取色彩補(bǔ)償分量，避免衰減過(guò)快的顏色通道影響；然后，根據(jù)背景光強(qiáng)度及顏色分布特性，提出雙背景光融合估計(jì)算法，準(zhǔn)確估計(jì)背景光；最后，利用水體背景顏色與散射系數(shù)的內(nèi)在關(guān)系修正各通道透射率，進(jìn)一步解決霧化導(dǎo)致的顏色損失，并使用引導(dǎo)-高通濾波優(yōu)化透射率，降低噪聲影響的同時(shí)增強(qiáng)細(xì)節(jié)信息。實(shí)驗(yàn)結(jié)果表明，該方法恢復(fù)的圖像顏色自然、細(xì)節(jié)清晰、可見(jiàn)度高，具有更好的視覺(jué)效果；客觀評(píng)價(jià)指標(biāo)在多個(gè)數(shù)據(jù)集中整體較優(yōu)，UCIQE和FDUM 指標(biāo)分別較復(fù)原算法UDCP 提高17%和45%；較增強(qiáng)算法Fusion 提高14%和63%；較深度學(xué)習(xí)算法Shallow-uwnet 提高40% 和1.7倍。未來(lái)研究將進(jìn)一步提高算法效率。