基于透射率融合與優(yōu)化的水下圖像復(fù)原

楊愛萍，楊炳旺，曲 暢，王 建,

(1. 天津大學(xué)電氣自動化與信息工程學(xué)院，天津 300072；2. 國家海洋技術(shù)中心，天津 300112)

海洋資源是近年來各國都爭相發(fā)展的資源，統(tǒng)計可知，海水的面積占整個地球面積的 70%，海洋包含著許多的生態(tài)、能源資源，保存著地球演化的重要信息. 目前，水下圖像處理在很多方面有著重要的應(yīng)用，例如資源的開采、海洋生態(tài)的研究以及海洋的軍事利用等[1-2].光線在水下傳播時受溶解的有機(jī)質(zhì)和微小的懸浮顆粒的散射，水下圖像顯示異常的色彩，例如偏藍(lán)或偏綠，并出現(xiàn)對比度下降或細(xì)節(jié)丟失現(xiàn)象[3].

目前有兩類方法用于處理水下圖像：一類為基于圖像增強(qiáng)的方法[4-6]，此類方法主要為改善圖像的對比度信息和顏色信息，采用圖像處理相關(guān)算法獲得增強(qiáng)圖像；另一類是基于水下圖像形成模型的方法[7-11]，這種方法利用圖像在水下的降質(zhì)過程，并使用水下圖像形成模型進(jìn)行水下圖像恢復(fù).

Henke等[4]提出一種顏色恒常性方法，但會出現(xiàn)紅通道過補(bǔ)償現(xiàn)象.Fu等[5]所提出的方法使用retinex方法來拆分反射分量和輻射度分量，并分別對其進(jìn)行增強(qiáng)和合成，雖然這種方法在提升圖像亮度方面有著良好的效果，但問題是易引入噪聲. Ancuti等[6]將融合思想與水下圖像增強(qiáng)相結(jié)合，定義4個權(quán)重圖實現(xiàn)多尺度顏色校正和對比度增強(qiáng)以獲得清晰化圖像，但其缺點(diǎn)是計算復(fù)雜度較高. Drews等[8]和Galdran等[9]則是考慮利用暗通道方法，前者不考慮紅通道的暗通道先驗，只對另外兩個通道進(jìn)行處理，但該先驗對渾濁程度較高的水下環(huán)境并不適用，后者則是對紅通道進(jìn)行了反轉(zhuǎn). De Oliveria等[10]提出了一種水下復(fù)合先驗，基于背景光與對比度兩種先驗估計透射率. 雖然以上方法可以將水下圖像恢復(fù)的視覺質(zhì)量不同程度上提升，但在高濁度或嚴(yán)重污染的水體中其性能不令人滿意.

通過上述分析，本文不僅考慮水體吸收和散射造成的圖像降質(zhì)，還充分考慮其對比度等細(xì)節(jié)損失，提出基于水體約束和對比度先驗相結(jié)合的透射率融合與優(yōu)化方法，并基于此提出新的水下圖像復(fù)原方法.首先，建立了基于顏色衰減差異的水下圖像形成模型，其場景環(huán)境光由成像光源計算得到.下一步，由于水下圖像的色彩偏移嚴(yán)重，本文利用色彩校正的方法來對色偏進(jìn)行去除.然后，基于水下場景約束，提出水體透射率估計方法，同時基于對比度先驗估計對比度透射率，而后，融合上述兩種透射率并優(yōu)化.最后通過求解基于顏色衰減差異的水下圖像形成模型來恢復(fù)圖像.

1 水下圖像形成模型

1.1 水下圖像形成模型

對于原始水下圖像形成模型，成像結(jié)果為3個部分的疊加即前向散射分量、直流分量和背向散射分量，如圖1所示.

圖1 水下圖像形成模型Fig.1 Underwater imaging model

在實際情況中，因為攝像機(jī)和物體之間的間隔比較小，以致前向散射的影響能夠被略去.水下圖像形成模型能夠簡化為

式中：x為像素點(diǎn)；J(x)t(x)為直流分量；A ( 1 - t( x) )為背向散射分量；I( x)為未經(jīng)處理的水下圖像；J( x)為清晰的圖像；A為水中的背景光；t( x)為光在水下的透 射率.

1.2 水下光源顏色

受水下懸浮顆粒影響，物體反射光及環(huán)境光發(fā)生散射，造成目標(biāo)物體成像質(zhì)量下降.關(guān)于水下圖像，任何點(diǎn)的像素值可寫成

式中：ω為可見光譜范圍；e(λ)為某波段光的分布；M (λ)為成像物體表面反射率；λ為可見光波長；C (λ)為相機(jī)對某種波段的敏感度.如果認(rèn)為水下光源由相同光源發(fā)出的情況下，則光源的顏色e為

1.3 基于顏色衰減差異的水下圖像模型

目前通常使用計算大氣環(huán)境光的方法估計水下場景的環(huán)境光，但獲得的結(jié)果不準(zhǔn)確. 為解決這一問題，本節(jié)考慮一種水下環(huán)境光估計的新思路，而后引出了一種基于顏色衰減差異的水下圖像生成模型.

顏色恒常性理論認(rèn)為光源的色彩在整幅圖像中不變. 一般地，認(rèn)定水下圖像遠(yuǎn)景處的亮度信息與環(huán)境光強(qiáng)相近. 但是，環(huán)境光在水下由自然光和物質(zhì)反射光所組成. 因此，可以認(rèn)定環(huán)境光Ac是光源的顏色e. 根據(jù)式(1)～(3)，可以得到

式中下標(biāo)c為通道. 水下環(huán)境光Ac可由光源的顏色e計算得到. 另外，因為不同色彩通道的水下衰減特性具有差異性，分別計算每個通道的場景透射率，則可以推導(dǎo)出基于顏色衰減差異的水下圖像形成模型

2 水下圖像恢復(fù)方法

為解決目前許多水下圖像清晰化方法不適用于水體濁度偏高或嚴(yán)重污染的情況，本文提出一種基于透射率融合與優(yōu)化的水下圖像恢復(fù)方法.首先，消除圖像的色彩失真，估計水下光源的顏色并用作環(huán)境光；為盡可能恢復(fù)水下圖像對比度信息、細(xì)節(jié)以及色彩信息，先充分研究水中光的傳輸特性，并受基于場景邊界約束去霧方法啟發(fā)，本文提出了一種基于水體約束的估計透射率辦法，同時基于對比度先驗估計其對比度透射率以增強(qiáng)復(fù)原圖像的細(xì)節(jié)信息；而后對兩個透射率進(jìn)行融合再優(yōu)化，再經(jīng)過對水下圖像形成模型的求解，實現(xiàn)了水下圖像的復(fù)原.算法流程如圖 2所示.

圖2 算法流程Fig.2 Flowchart of the proposed algorithm

2.1 去除色彩失真

3個色彩通道的最大值以及最小值能夠由水下圖像 Ic(x)的均值和均方差得到，即

如圖 3所示，原始圖像中存在嚴(yán)重的色偏現(xiàn)象，經(jīng)過顏色校正后圖像的視覺效果顯著提升.但對于整體顏色失真過于嚴(yán)重的圖像，即使使用顏色校正后仍會出現(xiàn)紅通道過飽和現(xiàn)象.

圖3 色彩失真去除前、后效果Fig.3 Comparison of original underwater image and color corrected underwater image

由圖(3)可知，圖 3(a)中的水下圖像中有嚴(yán)重的色彩偏差；圖 3(b)顯示了消除色彩失真后的圖像，表明視覺質(zhì)量大大提高.

2.2 水下環(huán)境光估計

如第 1.3節(jié)所述，環(huán)境光的估計可以通過計算水下場景光源的顏色得到.灰度色調(diào)算法[12]通常用于估計場景光源的顏色，但灰度色調(diào)算法基于場景中各個波段的光同時衰減的前提，即光源顏色應(yīng)具有一致性.因此，在首先對水下圖像進(jìn)行色彩失真去除之后，基于灰度色調(diào)算法估計場景的光源顏色并將其用作水下環(huán)境光.

2.3 基于水體約束和對比度先驗的透射率融合

透射率估計是否準(zhǔn)確是水下圖像恢復(fù)質(zhì)量的關(guān)鍵.為了最大程度恢復(fù)圖像的色彩和細(xì)節(jié)，本文的研究基于使用場景邊界約束[13]來計算透射率，并用于霧霾去除方法，再結(jié)合對比度先驗，提出了一種可用于高濁度水下場景的透射率融合方法.

2.3.1 基于水體約束的透射率估計

為有效利用各通道的衰減差異，本文對水下圖像3通道的透射率分別計算. 受霧霾去除方法[13]的啟發(fā)，可以得到對應(yīng)于水下圖像的清晰圖像對于每個顏色通道具有有限的值域，由式(5)的成像模型可以得到水下場景光傳輸約束條件，因此，可得到基于水體約束的透射率估計.

由式(5)可得3個顏色通道透射率為

由于圖像清晰時，目標(biāo)物體的外表反射率 Mc(x)的取值區(qū)間有限，可利用該限制推導(dǎo)出水介質(zhì)透射率tc(x)的約束條件.環(huán)境光強(qiáng)度與成像物體外表反射率 Mc(x)的取值為

由式(9)得

由式(8)可知，tc(x)的取值區(qū)間進(jìn)一步受到約束，對于各個像素x，獲得透射率的下邊界 tlow_c(x)，且有

2.3.2 局部窗口自適應(yīng)選擇

在計算場景的透射率時，通常假定它在局部塊ω(x)中是恒定的，導(dǎo)致復(fù)原圖像在物體邊界處出現(xiàn)塊效應(yīng). 為避免該問題，本文利用局部窗口自適應(yīng)選擇方法[14].

任意圖像塊y∈ω(x)，定義x和 y兩個像素之間強(qiáng)度的差異為

通常，局部圖像塊ωc(x)為 3個通道中具有最小差異的前40%的像素.

通過式(12)獲得的透射率應(yīng)用局部最大濾波得

式中y為局部塊ωc(y)的中心位置. 同時，對 tbd_c(y)進(jìn)行局部最小濾波來避免局部透射率估計過大.

式中x為局部塊ωc(x)的中心位置.

由式(14)、(15)，得到各通道水體約束透射率tbd_c(x)為

圖 4給出了基于水體約束透射率. 可以看出，通過該方法得到的透射率可以直接表示水下各通道的衰減差異，各通道信息具有優(yōu)勢互補(bǔ)特性.

圖4 水體約束透射率Fig.4 Water constrained transmission

2.3.3 基于對比度先驗的透射率估計

水體透射率可用來恢復(fù)因介質(zhì)吸收和散射造成的圖像顏色失真和部分模糊現(xiàn)象，為充分復(fù)原圖像的細(xì)節(jié)保真度，顯著提升圖像的對比度，本文提出了一種基于對比度先驗的估計透射率方法，并將其融入圖像復(fù)原模型.

通常，圖像的部分塊的對比度將與水的濁度成負(fù)相關(guān)關(guān)系. 因此，可將對比度透射率tcon(x)定義為

式中Jλ(y)為水下清晰圖像.式(17)能夠解釋為由于水下傳播過程能量衰減引起的對比度損失的比率.在式(17)中，因為清晰圖像Jλ(y)的對比度是未知的，通?？杉俣ㄇ逦鷪D像的部分圖像塊的每個像素的最大差異是1.

結(jié)合式(17)和式(18)，基于對比度先驗的估計透射率可寫成

從圖 5可以看出，與圖 4(c)中的紅通道水體透射率相比，遠(yuǎn)景區(qū)域中對比度透射率值不再接近于零(圖中紅框內(nèi)所示)，因此水體透射率能夠較好地彌補(bǔ)對比度透射率的不足.兩種透射率信息相結(jié)合，既可以去除水體散射影響，還可以有效去除對比度下降造成的模糊現(xiàn)象，有效恢復(fù)圖像細(xì)節(jié).

圖6 融合透射率Fig.6 Fusion transmission

圖5 對比度透射率Fig.5 Contrast transmission

2.3.4 基于水體約束和對比度先驗的透射率融合

本文通過融合水體約束和對比度先驗獲得高準(zhǔn)確度透射率用于恢復(fù)高質(zhì)量清晰圖像. 對于圖像中的像素，透射率越大，視覺信息越有效，而越小意味著包含更多不需要的噪聲. 因此，將水體透射率和對比度透射率的最大值作為融合的透射率，即

由圖6可以看出，對于紅通道衰減嚴(yán)重的水下圖像，其水體透射率在近景區(qū)域內(nèi)具有更高強(qiáng)度值，而對比度透射率在遠(yuǎn)景區(qū)域內(nèi)具有更高的強(qiáng)度值，二者之間具有很好的互補(bǔ)性，雙模式透射率能夠更加準(zhǔn)確地反映水下圖像3通道各自不同的衰減特性.

由圖6可以看出，對于具有較強(qiáng)紅色通道衰減的水下圖像，水體透射率能夠較好地彌補(bǔ)對比度透射率的不足.具體體現(xiàn)在前者在接近相機(jī)的場景具有較高的值，而后者在遠(yuǎn)離相機(jī)的場景具有較高的強(qiáng)度值.

2.4 基于多方向梯度加權(quán)正則化的透射率細(xì)化

加權(quán)函數(shù)W( x, y)的作用是降低鄰近像素點(diǎn)的景深差異，如像素點(diǎn)x和y之間景深的差值較小時，加權(quán)函數(shù)W( x, y)則接近于 1，當(dāng)情況相反時，則接近于0.

由此，構(gòu)造加權(quán)TV正則化的目標(biāo)函數(shù)為

式中：第 1項是衡量兩種透射率的保真度衡量項；第2項則是準(zhǔn)確透射率tcop_c；λ為正則化參數(shù)；?代表卷積運(yùn)算；?是一種平滑乘性算子；Wj為權(quán)重矩陣，其計算式為

引入輔助變量uj并利用分量變量法求解式(23)的未知變量進(jìn)而求解透射率的最優(yōu)解，通過將復(fù)雜問題分解的方法，將目標(biāo)函數(shù)改寫成

式中β為權(quán)重值，β→∞時，式(24)與式(22)等同.

在式(24)中，為求解輔助變量uj和透射率tcop_c這兩個未知變量，利用復(fù)雜問題分解為子問題的方法，經(jīng)過交替更新來處理子問題的最優(yōu)解.第 1步，tcop_c不變，對uj進(jìn)行求解，得到子問題

由收縮定理[15]可得到uj，

保持uj值不變，對tcop_c進(jìn)行求解，式(24)改寫為

其中，快速傅里葉變換用于獲得tcop_c為

式中：F-1(·)、F(·)分別為逆傅里葉變換、傅里葉變換；k為迭代次數(shù)，實驗中設(shè)定k=9.

由圖7可知，實驗結(jié)果中邊緣效應(yīng)與塊效應(yīng)都能夠被有效地抑制，并且所得到的透射率能夠反映水下圖像的衰減特性.

圖 7顯示了細(xì)化后的融合透射率，可以看出，正則化方法能較好地處理塊效應(yīng).

圖7 細(xì)化后的融合透射率 t c o p _ c(x)Fig.7 Refined fusion transmission t c o p _ c(x)

2.5 圖像復(fù)原

根據(jù)獲得的環(huán)境光和透射率，可以獲得恢復(fù)的圖像

式中tc0為 3通道透射率tcop_c的最小值.通過多次實驗，選定tG0和tB0的值在區(qū)間[0.15,0.25].紅通道tR0設(shè)為0.3，以預(yù)防紅通道過補(bǔ)償.

3 分析與評價

該實驗由運(yùn)行在主頻為 3.4GHz的英特爾酷睿i7-6700上的Matlab程序完成，內(nèi)存容量為8GB.實驗數(shù)據(jù)集由互聯(lián)網(wǎng)收集.

3.1 主觀評價

通過將本文算法與水下圖像處理領(lǐng)域的典型算法對比以證明有效性.由于文獻(xiàn)[12]是針對特定的水下平臺而設(shè)計，并且考慮了人造光源，故沒有進(jìn)行比較.各算法復(fù)原效果展示于圖 8～圖 11，其細(xì)節(jié)效果如圖 12～圖 15所示.從圖 8～圖 11不難發(fā)現(xiàn)，Henke等[4]算法在水體極其渾濁的情況下會過補(bǔ)償紅通道致使恢復(fù)的圖片偏紅，從圖12～圖15中可以發(fā)現(xiàn)其對細(xì)節(jié)的恢復(fù)也不夠明顯，對比之后，本文算法色彩沒有失真，細(xì)節(jié)恢復(fù)也較為清晰；如圖 8～圖 11所示，F(xiàn)u等[5]算法恢復(fù)的圖像對比度得到顯著改善，不足的是具有較多的噪聲，在圖12～圖15中也能發(fā)現(xiàn)在細(xì)節(jié)處存在大量噪聲，本文算法在抑制噪聲方面更有效，整個圖像不失真；在圖 8～圖 11中，Ancuti等[6]算法可以恢復(fù)圖像的細(xì)節(jié)，但在某些區(qū)域會有過度增強(qiáng)，如圖 12(e)、圖 14(e)，會引入少許噪聲，恢復(fù)效果不夠理想，圖 10(d)、圖 11(d)在紅色通道出現(xiàn)了過補(bǔ)償，圖片偏紅，本文算法能恢復(fù)一定程度的細(xì)節(jié)，同時準(zhǔn)確恢復(fù)紅通道；從圖 8～圖 11所知，He等[7]算法與 Drews等[8]算法無法校正水下圖像顏色偏移現(xiàn)象，也無法有效地恢復(fù)圖片細(xì)節(jié)，如圖 12～圖15所示,其不能有效地改善圖像的有效信息；如圖8～圖 11所示，Galdran等[9]算法恢復(fù)的圖像能較好地處理紅通道，也有較強(qiáng)的對比度提升，但亮度信息處理不好，致使視覺效果不自然，在圖12(h)中，遠(yuǎn)景處的細(xì)節(jié)比較模糊，比較之下，本文算法亮度恢復(fù)更好；De Oliveria等[10]算法復(fù)原圖像可視性良好，但在紅色通道會出現(xiàn)過補(bǔ)償，如圖 10(h)、圖 11(h).圖12(i)顯示其遠(yuǎn)景處的細(xì)節(jié)不及本文算法，本文算法能理想地恢復(fù)紅通道，同時保證細(xì)節(jié)信息完整.綜上所述，在主觀評價中，使用本文方法能有效去除顏色失真、減弱原始圖像中的色偏問題，較好地保持了保證了圖像細(xì)節(jié)和水下圖像的主色調(diào)，同時，圖像的對比度得到較大提升.

圖8 圖像Coral清晰化對比Fig.8 Comparison of sharpening results for image Coral

圖9 圖像Fishes清晰化對比Fig.9 Comparison of sharpening results for image Fishes

圖10 圖像Divers清晰化對比Fig.10 Comparison of sharpening results for image Divers

圖11 圖像Buddha清晰化對比Fig.11 Comparison of sharpening results for image Buddha

圖12 圖像Coral細(xì)節(jié)對比Fig.12 Comparison of detail for image Coral

圖13 圖像Fishes細(xì)節(jié)對比Fig.13 Comparison of detail for image Fishes

圖14 圖像Drivers細(xì)節(jié)對比Fig.14 Comparison of detail for image Drivers

圖15 圖像Buddha細(xì)節(jié)對比Fig.15 Comparison of detail for image Buddha

3.2 客觀評價

通過計算兩種客觀評價指標(biāo)：色偏因子[16]和對比度，并用于本文算法的有效性驗證.色彩的偏移程度可通過色偏因子K的值直觀反映[16]，即C可寫成

式中：L(x)為x處的亮度值；N為圖中像素點(diǎn)的總數(shù).圖像的清晰度和C值呈正相關(guān)關(guān)系.

使用上述指標(biāo)，本文算法和其他典型算法在不同圖像上的質(zhì)量評估結(jié)果如表1所示.計算出的色彩偏移程度數(shù)據(jù)K表明本文算法優(yōu)于其他算法，本文算法處理的圖像視覺效果保證良好的水準(zhǔn).對比度的計算數(shù)據(jù)也顯示，本文算法優(yōu)于其他算法，該結(jié)果表明本文算法對比度信息能有效地提升.本文以4組圖像為例，經(jīng)實驗發(fā)現(xiàn)對大量數(shù)據(jù)統(tǒng)計有類似結(jié)果.

式中：Thres表示閾值；L的方差為2σ；Lab模式空間中的 a和 b顏色通道的平均值表示為 m eana和meanb；標(biāo)準(zhǔn)差表示為Ma和Mb.圖像色彩偏移的程度與K值正相關(guān).

采用 Lab模式空間的亮度值構(gòu)建的對比度指標(biāo)

表1 不同方法的評價指標(biāo)對比Tab.1 Comparison of evaluation indicators of different methods

4 結(jié) 語

本文提出一種基于透射率融合的水下圖像清晰化方法，旨在解決水體深度渾濁時圖像的復(fù)原問題.本文首先設(shè)計了基于顏色衰減差異的水下圖像形成模型，其假設(shè)場景中的環(huán)境光是水下光源的顏色；而后利用色彩校正的方法來去除色彩偏差；然后，提出一種透射率融合與優(yōu)化的方法來有效地估計透射率信息，用于提升圖像的細(xì)節(jié)和對比度.最后，求解新水下圖像形成模型，以達(dá)到水下圖像復(fù)原的效果.通過主觀評價和客觀評價，該方法復(fù)原圖像的色彩較為自然，同時保持著良好的細(xì)節(jié)和對比度信息.今后可以研究更有效的融合方法，以取得更準(zhǔn)確的透射率，來改善恢復(fù)效果.