基于圖像融合的自適應水下圖像增強

顏 陽，王 穎，丁雪妍，王 玨，付先平

(大連海事大學 信息科學技術學院，遼寧 大連 116026)

0 引 言

受到水中介質的散射、吸收等影響，光線在水中傳播時會產生衰減現(xiàn)象，這使得水下圖像存在著細節(jié)模糊、顏色失真、對比度低下等問題。傳統(tǒng)的水下圖像增強方法如Chang等[1]提出的限制對比度自適應直方圖均衡(contrast limited adaptive histogram equalization，CLAHE)算法實現(xiàn)簡單，在實際工作中解決了水下圖像對比度低下的問題，但仍存在顏色失真、放大噪聲等缺陷。為了更好地消除色偏對水下圖像的影響，諸如白平衡等[2,3]的色彩校正方法被應用于水下圖像增強，但該方法復原結果的細節(jié)和對比度方面都不夠理想。Ghani等[4]在RGB和HSV兩個模型中分別拉伸顏色通道和亮度通道。其效果有了明顯的改進。Fu等[5]提出了水下圖像增強的兩步方法：第一步使用色彩校正策略來處理色偏，第二步采用最優(yōu)對比度改進方法減少偽影，有效處理低對比度。近年來基于有監(jiān)督深度學習的圖像增強方法表現(xiàn)突出。Cai等[6]提出了一種名為 DehazeNet 的端到端的網絡進行圖像增強，將該方法應用在水下圖像增強中時需要大量包括水下原始圖像及其對應的ground-truth圖像的訓練集，使得該方法存在時效性問題。而無論是基于傳統(tǒng)還是深度學習方法，在同時兼顧圖像增強的健壯性、有效性等方面仍有欠缺。為此本文提出了一種基于圖像融合的自適應水下圖像增強方法。實驗結果表明，該方法能對水下圖像進行自適應處理，有效解決色偏、細節(jié)模糊、低對比度的問題。

1 基于圖像融合的自適應水下圖像增強方法

考慮到水下圖像的固有特性和成像特點，本文提出一種基于圖像融合的自適應水下圖像增強方法。具體方法如圖1所示。首先，對原始水下圖像用顏色校正算法[7]進行顏色均衡化預處理去除色偏，并獲得優(yōu)化后的亮度分量；然后對L進行Gamma校正，提升亮度圖像的對比度；接著，對兩個亮度分量執(zhí)行三級小波分解，分別得到兩組低頻和高頻分量，對低頻分量進行線性融合，同時對高頻分量進行基于L2范數(shù)的自適應融合，得到融合后的亮度圖像。最后，將其結合顏色通道A和B并轉化到RGB空間輸出最終結果。

圖1 整體方法結構

值得一提的是，本文提出了一個基于融合的水下圖像增強方法，實驗驗證該方法相比于現(xiàn)有的方法可以達到更好的水下圖像增強效果。

1.1 基于改進白平衡算法的顏色校正

(1)

其中，C代表RGB這3個通道。如式(1)分別對RGB這3個通道進行拉伸，得到顏色校正后的圖像IC C。

1.2 Gamma校正

顏色校正將各通道像素值拉伸至[0，255]范圍，雖去除了色偏，圖像中仍存在著亮度過大的問題。因此在L通道上應用Gamma校正[8]，通過對輸入的亮度圖像灰度值進行指數(shù)變換s，進而校正亮度偏差。表達式定義為

LG=A*Lγ

(2)

其中，L是IC C的亮度通道。A是常數(shù)，這里取A=1。 指數(shù)γ是Gamma值，其大小可以影響圖像的亮度。當γ<1時，照射強度變強，相反，當γ>1時，光強度變弱。大量實驗分析表明，令γ=2時，可以使結果圖像達到最合適的亮度。

1.3 多尺度融合策略

(1)小波分解

對上述步驟得到的兩個亮度通道L和LG分別采用小波分解得到高頻和低頻信息作為融合的輸入。本文選擇Db4小波基[9]對L和LG做三層小波分解，第一層小波分解將圖像分解為低頻信息和高頻信息，第二層小波分解是在第一層的基礎上把低頻信息部分再分解為低頻與高頻兩部分，依此類推，直至分解到第三層。若分解層次過少，會導致亮度圖像的輪廓信息分解不完全，若分解層次過多則會導致低頻部分過度丟失，同時還伴隨著計算量越來越大的問題。綜合考量以上原因，既要保證結果圖像的細節(jié)增強又要避免算法計算復雜度的問題，本文對兩個亮度圖采取三層小波分解。

(2)融合規(guī)則

圖像融合的一般思想是多個特征圖通過一定的融合規(guī)則，使其重要的特征信息在結果圖像中得以保留，起到圖像增強的效果。為了達到自適應增強圖像的目的，本文提出了一種融合規(guī)則，對亮度LL和LLG分別進行三級小波分解，得到的高頻帶特征圖采用基于L2范數(shù)[10]的自適應融合，以達到增強細節(jié)，提高對比度的作用；同時，為了防止細節(jié)過度校正產生過多噪點對低頻帶進行線性融合。最后將融合結果重構得到最終的融合亮度通道，具體步驟如下：

1)高頻帶融合規(guī)則：L和LG小波分解后的每一層高頻帶都包含亮度在垂直、水平以及對角線方向的信息，為了保留其中重要的特征信息，對高頻帶分量采用基于L2范數(shù)[10]的自適應融合策略。該融合策略要達到的目的是計算出L和LG每一層各個方向所包含信息的最優(yōu)融合解，相當于結合了L和LG每一層的重要特征信息。公式描述為

(3)

為了更容易對式(3)進行求解，可以將其看作是一個最小二乘的問題，使用快速傅立葉變換(fast fourier transformation，F(xiàn)FT)得到式(3)的近似解如下

(4)

2)低頻帶融合規(guī)則：對小波分解后的低頻分量LL和LLG采用線性融合規(guī)則，引入兩個權重系數(shù)λ1，λ2， 對LL和LLG進行加權操作，得到融合后的低頻分量，公式如下

LL′=λ1LL+λ2LLG

(5)

其中，λ1+λ2=1， 且λ1=λ2=0.5時融合效果最佳。對低頻分量線性融合可達到防止高頻分量融合產生過度校正的目的。

經過上述步驟，得到了亮度L和LG融合后的高頻和低頻信息，將這兩組信息分別重構，便得到校正后的亮度通道L′。 然后結合亮度通道，并轉換圖像為RGB空間，得到最終的增強圖像。亮度通道優(yōu)化前后的結果對比如圖2所示，可以看出，優(yōu)化后的結果在圖像細節(jié)與對比度方面都明顯加強。

圖2 亮度通道優(yōu)化結果

2 實驗與結果分析

2.1 實驗數(shù)據(jù)與分析

為了驗證本文方法的有效性，本文以水下圖像作為實驗對象精心設計了一系列實驗，水下圖像色偏嚴重， 對比度低且細節(jié)模糊。在運行本文算法的同時，使用文獻[1，2，6]幾種算法對水下圖像進行處理，為了保證實驗過程的公正性，所有圖像均無損地預處理為600*400像素大小，實驗所用處理器：Intel Core i7-7700K@4.2 GHz，內存8.00 GB，在Matlab R2017a環(huán)境下進行實驗。

2.2 定性分析

圖3所示是本文方法和文獻[1，2，6]的增強結果的視覺比較。圖中可以明顯看出，對于不同種類的水下圖像，Shades-of-grey對水下圖像進行了有效的顏色校正，但處理后的圖像仍然很模糊。CLAHE實際上可以很好地增強水下圖像的對比度，但在去除色偏和增強細節(jié)方面表現(xiàn)不佳。而 DehazeNet 的結果對水下圖像只有一點增強。可以看出，與這些方法相比，本文方法處理的圖像細節(jié)更豐富，色彩失真更小，對比度更好。

圖3 不同方法增強結果比較

圖4是水下采集到的原始圖像與文獻[1,2,6]以及本文方法增強后的圖像的RGB這3個通道的直方圖對比結果。直方圖是一種統(tǒng)計報告圖，圖像各個通道的直方圖可以直觀顯示圖像各通道的灰度分布情況，通過直方圖分析圖像的質量是對圖像的一種常用評價方法。圖中從上到下3行分別代表RGB這3個通道，可以看出，在水中直接獲取到的退化圖像的每個通道像素值的大小相差較大，且只分布在集中區(qū)域，這表示原始圖像存在對比度低和色偏的問題；Shades-of-grey恢復了色彩偏差；CLAHE和DehazeNet只對直方圖起到了拉伸的作用；而本文方法對每個通道的灰度值進行了拉伸，且3個通道的像素值大小均衡，與其它3種方法的結果圖相比，增強效果明顯更好。

圖4 RGB通道直方圖對比結果

SURF(speeded up robust features)[11]是一種高效而穩(wěn)健的局部特征點檢測和描述算法，本文采用SURF算法對原始圖像和幾種方法增強后的圖像進行特征點提取，并對提取后的圖像進行特征點匹配。質量高的圖像細節(jié)清晰，特征點明顯，因此對特征點的檢測與匹配結果可以用來評估圖像的質量，提取的特征點越多，匹配到的特征點比例越高，驗證圖像質量越高。如圖5所示是各方法結果圖像的SURF匹配結果。

圖5 各方法SURF匹配結果

圖5中可以看出，前面評估中在去除色偏方面表現(xiàn)比較優(yōu)秀的Shades-of-grey方法檢測到的特征點卻最少；CLAHE方法由于大大加強了原始圖像的對比度，其結果圖5(b)檢測出的特征點明顯增多；DehazeNet的結果圖5(c)表明該方法在匹配特征點上沒有明顯的增強；而本文檢測到的特征點圖5(d)是幾種方法中最多的，且匹配到的特征點成功率也極高。該對比實驗結果表明本文算法對水下圖像處理效果的有效性，在顏色保真的同時恢復了對比度并突出了圖像的細節(jié)。

2.3 定量分析

從人眼視覺角度分析得到本文結果在這些方法中都獲得了最好的增強效果。在此基礎上，使用PCQI(patch-based contrast quality index)[12]和Blur Metric[13]定量評估指標進一步支持上述主觀結論，表1為圖3中4組圖像的評價指標對比結果：其中PCQI是用于評估圖像對比度的度量，其值越大，代表圖像對比度越高；Blur Metric則是一種估計圖像模糊效果的度量，其值越小，表示圖像視覺越好。從表1中可以看出，在圖像對比度和模糊程度上本文方法所得到的增強后的圖像質量在這幾種方法中幾乎可以達到最好，也就是可以得到最適應于人類視覺效果的圖像。

表1 增強結果評估

3 結束語

由于水中環(huán)境復雜，水下圖像都呈現(xiàn)出較差的視覺效果，本文方法主要從顏色校正與亮度調節(jié)兩方面入手，自適應提升水下圖像的清晰度。與現(xiàn)有的水下圖像增強方法相比，本文方法的融合策略可以自適應的對不同類型的水下圖像起到恰當?shù)脑鰪娦Ч?，最終獲得清晰的水下圖像。定性與定量分析可以看出本文方法有效提高了水下圖像的清晰度，增強了圖像細節(jié)。盡管本文方法獲得了良好的增強效果，但是仍然在以下方面存在不足：本文方法提出的自適應融合策略雖然可以達到去除色偏、增強細節(jié)的目的，但是如果采集到的圖像過于暗淡，本文方法則不能達到最優(yōu)效果。