基于圖像融合的水下圖像清晰化方法

孫 杰

(中國人民解放軍91550部隊， 遼寧 大連 116023)

近年來，水下成像技術在海洋環(huán)境監(jiān)測、海洋資源勘探、水下軍事目標監(jiān)視等領域發(fā)揮著越來越重要的作用。由于水體對光的吸收和散射作用，水下圖像存在對比度低、模糊、色偏等缺陷，嚴重影響了水下成像的質(zhì)量，如何提高水下圖像的清晰度是水下成像技術需要解決的重要問題。

已有的水下圖像清晰化方法主要分為兩類：一類是圖像復原方法，通過建立水下成像物理模型，求解模型參數(shù)反演出真實圖像；另一類是圖像增強方法，不依賴于成像模型，僅通過調(diào)節(jié)圖像的灰度值提高圖像的清晰度。典型的水下圖像復原方法有Galdran等[1]提出的紅通道反轉(zhuǎn)的暗通道先驗(Dark Channel Prior，DCP)方法、Jr等[2]提出的藍綠通道的DCP方法、Pen等[3]提出的推廣的暗通道先驗(Generalization of Dark Channel Prior，GDCP)方法等。紅通道反轉(zhuǎn)的DCP方法是經(jīng)典的DCP去霧方法[4]的變形，它利用正向的藍綠通道和反向的紅通道估算背景光和透射率，可以有效提高人工照明條件下水下圖像的復原質(zhì)量，但復原圖像會出現(xiàn)偏暗的情況。藍綠通道的DCP方法在進行水下圖像復原時則不考慮紅通道，該方法復原的圖像有時也會偏暗。GDCP方法通過估算景深提高背景光的估計精度，從而改善DCP方法的性能。水下圖像增強方法包括直方圖均衡方法[5-6]、基于Retinex理論的圖像增強方法[7-8]、圖像融合方法[9]等。直方圖均衡方法通過調(diào)整灰度值增加圖像灰度的動態(tài)范圍，提高圖像的對比度，但無法解決水下圖像的顏色失真問題?；赗etinex理論的圖像增強方法將反射光分量從圖像中分離出來，降低照射分量對圖像的影響，從而達到增強圖像的目的，該方法簡單易于實現(xiàn)，并且具有校正色偏的功能。圖像融合方法先對水下圖像分別進行顏色校正和對比度增強處理，再對得到的兩幅圖像進行加權(quán)融合，獲得的融合圖像既減少了色偏，又具有較高的對比度。

本文提出了一種圖像融合方法用于提高水下圖像的清晰度。首先采用GDCP方法、帶有色彩恢復的多尺度Retinex(Multiscale Retinex with Color Restoration，MSRCR)方法以及對比度受限自適應直方圖均衡(Contrast Limited Adaptive Histogram Equalization，CLAHE)方法對水下圖像分別進行復原和增強處理，得到圖像融合的3個輸入圖像。然后利用可見度、飽和度、對比度和顯著度等性能指標定義輸入圖像的權(quán)重圖，采用基于金字塔分解的多尺度融合方法對輸入圖像進行加權(quán)融合。最后通過水下圖像處理實驗檢驗本文算法的性能。

1 GDCP方法

忽略水體對光的前向散射作用，水下成像模型表示為

Ic(x)=Jc(x)t(x)+Ac(1-t(x))c∈{R,G,B}

(1)

其中，c表示顏色通道，Jc(x)為場景的真實圖像，Ic(x)為降質(zhì)圖像，t(x)為透射率，0≤t(x)≤1，Ac為背景光。

利用暗通道先驗信息可以得到透射率的估計[4]：

(2)

其中，Ω(x)表示以x為中心的局部塊。進而獲得復原圖像：

(3)

DCP方法利用暗通道0.1%最大值的像素點確定背景光，對于背景較暗的水下圖像，往往會將較明亮的前景誤認為是背景光，導致圖像復原效果不佳。

(4)

(5)

其中，ωc=tanh(4|ac|)為c通道的重要性權(quán)重，dc為布爾型變量，當ac>0時，dc取1，此時c通道隨景深增加而增加，否則，dc取0，對應于c通道隨景深增加而減少的情況。

為避免個別噪聲點的影響，將D(x)從大到小排列，取前0.1%的像素點對應的原圖像灰度的平均值作為背景光。然后透射率t(x)的估計表示為

(6)

為去除復原圖像的光暈和塊效應，可利用導向濾波對透射率作進一步優(yōu)化處理。最后得到的復原圖像表示為

(7)

式中，透射率下限t0為0.1。

利用GDCP方法對圖1所示的原始水下圖像進行復原，粗略景深圖如圖2所示，可以看出：近景的梯度較大，而遠景的梯度較小。圖3為改進的景深圖，與圖2相比，景深的計算更加準確。由圖4和圖5可以看出：GDCP方法可顯著提高圖像的清晰度，而DCP方法的清晰化效果不明顯。

圖1 原始圖像 圖2 粗略景深圖

圖5 DCP方法復原的圖像

2 MSRCR方法

根據(jù)Retinex理論，采集到的圖像可表示為照射光和物體反射光的乘積，即

Ic(x)=Lc(x)Rc(x)c∈{R,G,B}

(8)

其中，Lc(x)為照射光部分，Rc(x)為物體反射光部分。為實現(xiàn)圖像清晰化，需從Ic(x)中分離出Rc(x)，從而還原出物體的本來面貌。

MSRCR方法通過多個不同尺度的高斯函數(shù)估算出照射光，然后從原圖像上摳除照射光即可獲得多尺度反射光[10]。第i個尺度反射光的計算公式為

Rc,i(x)=log(Ic(x))-log(Ic(x)*Fi(x))

i=1,2,…,N

(9)

(10)

其中，權(quán)系數(shù)wi通常取為1/N。為解決圖像的色偏問題，將各通道乘以顏色修正因子Cc(x)，即

(11)

Cc(x)用于調(diào)整各通道之間的比例關系，其計算公式如下：

(12)

其中，α和β為經(jīng)驗常數(shù)，通常取為125和46。

3 CLAHE方法

CLAHE方法將原始圖像劃分為互不重疊的子塊，對每個子塊定義灰度映射：

(13)

其中，M為子塊的像素總數(shù)，N為灰度級的數(shù)量，h(k)表示子塊第k個灰度級的像素數(shù)量，灰度映射將灰度值為n的像素點賦予了新的灰度值f(n)。整幅圖像的灰度映射F(n)為四個相鄰子塊映射函數(shù)的合成。為減少圖像增強帶來的噪聲影響，需對F(n)的斜率做出適當限制[11]。利用灰度映射F(n)可實現(xiàn)灰度值的重新分配，增加圖像灰度的動態(tài)范圍，從而提高圖像的對比度。為避免顏色失真，本文將圖像由RGB空間轉(zhuǎn)換到HSV空間，僅對V通道進行對比度增強。

4 圖像融合

分別采用GDCP、MSRCR和CLAHE 3種方法對原始水下圖像進行復原和增強處理，將獲得的3幅圖像I1(x)、I2(x)和I3(x)作為圖像融合的輸入圖像。下面采用多尺度融合方法獲得最終清晰化圖像。

4.1 融合權(quán)值選取

這里定義照度圖、飽和圖、局部對比圖和顯著圖四種權(quán)重圖，用于確定輸入圖像I1(x)、I2(x)和I3(x)在融合圖像中所占的比重。

1) 照度圖。將輸入圖像Ik(x)(k=1,2,3)由RGB空間轉(zhuǎn)換到HSV空間，Ik(x)的照度圖定義為RGB三通道與亮度通道V的偏差的均方根：

(14)

圖像某個區(qū)域的WL,k越大，該區(qū)域的亮度越均衡，可見度越高，照度圖用于增大高可見度的圖像區(qū)域在融合圖像中的比重。

2) 飽和圖。輸入圖像Ik(x)(k=1,2,3)的飽和圖定義為

WS,k=exp(-(Sk-1)2/(2σ2))

(15)

(16)

其中，Sk為Ik(x)的飽和度，RK,GK,BK分別為Ik的彩色圖像分量值，σ為標準差，通常取為0.25。圖像某個區(qū)域具有較大的WS,k，則該區(qū)域的飽和度較大，色彩越鮮艷。飽和圖用于選擇色彩豐富的圖像區(qū)域加入到融合圖像中。

3) 局部對比圖。將輸入圖像Ik(x)(k=1,2,3)由RGB空間轉(zhuǎn)換到Lab空間，Lk為亮度通道。局部對比圖定義為每個像素的亮度與其周圍像素平均亮度的偏差，輸入圖像Ik(x)(k=1,2,3)的局部對比圖的計算公式為

WLC,k=|Lk-Lωhc,k|

(17)

其中，Lωhc,k為亮度通道的高斯低通濾波，該濾波的截止頻率通常取為ωhc=π/2.75。局部對比圖用于增強融合圖像的局部對比度。

4) 顯著圖。顯著圖的計算公式為

WSal,k=||Pμ,k-Pωhc,k||

(18)

其中，Pμ,k是Lab三通道的均值，Pωhc,k是Lab三通道的高斯低通濾波，該濾波的截止頻率通常取為ωhc=π/2.75。

顯著圖用于突出圖像的顯著性區(qū)域，增強顯著性區(qū)域與相鄰區(qū)域的對比度，從而提高圖像的全局對比度。

對亮度圖、飽和圖、局部對比圖和顯著圖進行求和：

(19)

(20)

將Wk定義為輸入圖像Ik(x)的權(quán)重圖，作為圖像融合的權(quán)值。

4.2 融合方法

像素級融合方法容易出現(xiàn)光暈現(xiàn)象，因此本文采用基于金字塔分解的多尺度融合方法。

圖像融合的流程如圖6所示，步驟如下：

步驟1分別對權(quán)重圖Wk(x)(k=1,2,3)進行低通濾波和降采樣，生成K層高斯金字塔，高斯金字塔的第i層記為Gi(Wk(x))，不同分解層對應于不同的尺度。

圖6 圖像融合的流程示意圖

步驟2分別對輸入圖像Ik(x)(k=1,2,3)進行K層拉普拉斯金字塔分解。首先生成高斯金字塔，再對低尺度的高斯金字塔層進行上采樣和低通濾波，與上一尺度的高斯金字塔層作差即可得到拉普拉斯金字塔的分解層，拉普拉斯金字塔的第層記為Li(Ik(x))，不同分解層同樣對應于不同的尺度。

步驟3對每一個尺度的普拉斯金字塔層Li(Ik(x))采用同一尺度的高斯金字塔層Gi(Wk(x))進行加權(quán)求和，獲得多尺度的融合圖像：

(21)

步驟4對拉普拉斯金字塔Fi(x)(i=1,2,…,K)進行重構(gòu)，即可獲得融合圖像F(x)。

5 實驗結(jié)果

如圖7所示，選取4幅水下圖像，將本文方法與文獻[1]的紅通道反轉(zhuǎn)的DCP方法、文獻[8]的基于Retinex理論的圖像增強方法以及文獻[6]的直方圖均衡方法進行對比驗證?？梢钥闯?，文獻[1]的方法提高了圖像整體的清晰度，但部分區(qū)域亮度偏暗，并且色偏較為嚴重。文獻[8]的方法增強了圖像的細節(jié)，但圖像偏白，噪聲較多。文獻[6]的方法提高了圖像的對比度，但沒有糾正色偏，獲得的圖像仍然呈現(xiàn)藍綠色。而本文方法在提高對比度的同時，能夠有效糾正色偏，細節(jié)更加突出，圖像更加清晰，具有較好的視覺效果。

圖7 處理效果對比

下面利用分塊對比度質(zhì)量指數(shù)(Patch-based Contrast Quality Index，PCQI)、水下彩色圖像質(zhì)量評價(Underwater Color Image Quality Evaluation，UCIQE)、水下圖像質(zhì)量度量(underwater image quality measure，UIQM)3種評價指標檢驗本文方法的性能。其中，PCQI用于衡量一般降質(zhì)圖像的對比度，UCIQE用于衡量水下圖像的色偏、模糊度和對比度的綜合指標，UIQM用于衡量水下圖像的色彩度、清晰度和對比度的綜合指標，這3個指標的值越大，圖像的質(zhì)量越高。表1給出了上述各方法對4幅圖像處理結(jié)果的評價，本文方法相對其他方法在每個指標上都是最優(yōu)的。

表1 評價指標的計算結(jié)果

6 結(jié)論

本文提出了一種基于圖像融合的水下圖像清晰化方法，即GDCP方法，由顏色的變化規(guī)律確定景深，利用景深信息估計背景光。分別采用GDCP、MSRCR以及CLAHE 3種方法對水下圖像進行復原和增強處理，獲得了圖像融合的3個輸入圖像。利用圖像的可見度、飽和度、對比度和顯著度等性能指標定義3個輸入圖像的權(quán)重圖，采用基于金字塔分解的多尺度融合方法對輸入圖像進行加權(quán)融合。實驗結(jié)果表明，本文方法能夠顯著提高水下圖像的清晰度和糾正色偏，并且在水下圖像的質(zhì)量評價指標上優(yōu)于其他方法。