結(jié)合導向濾波與自適應算子的水下圖像增強

常 戩，韓 旭

遼寧工程技術(shù)大學 軟件學院，遼寧 葫蘆島 125105

海洋是地球上最廣闊的水體，海洋中蘊藏著豐富的生物資源、礦產(chǎn)資源?，F(xiàn)今各國對煤炭、石油、天然氣的需求日益增長，而陸地上的資源越發(fā)短缺，人們對海洋資源的探索迫在眉睫。獲得清晰的水下圖像對海洋礦產(chǎn)探索、深海未知生物研究、資源探索、軍事預防都起著至關(guān)重要的作用。因此，水下圖像處理技術(shù)是海洋探索重要的一環(huán)。但水下環(huán)境復雜，光線在水中傳播時會被散射和吸收，即使是過濾后的純凈水，它對光的衰減也是十分嚴重的，光在水中傳輸時的能量按照指數(shù)規(guī)律迅速衰減[1]，紫色區(qū)域可見光最短[2]。水下成像技術(shù)主要應用于水下作業(yè)，在介質(zhì)水中傳播時光的能量會有較多損耗，同時容易產(chǎn)生光噪聲，光在水中還會發(fā)生折射和散射，這樣一方面會造成光的能量受損，成像質(zhì)量差，另一方面會導致系統(tǒng)成像距離受損[2]。

水下圖像增強算法不考慮成像原理中的物理模型，通過對成像的空間域或頻域進行某些數(shù)學模型處理，達到增強圖像的目的。He 等[3]通過先驗原理求出大氣光成分A和透射率t，求得目標值，實現(xiàn)圖像的去霧處理，水下圖像與霧天圖像有著相似之處，此模型也經(jīng)常用于水下圖像增強，但在處理曝光度低的圖像時表現(xiàn)不佳，處理后圖像整體顏色發(fā)黑，背景模糊不清。Ancuti 等[4]對圖像進行白平衡和銳化處理，采用多尺度融合策略，融合白平衡和銳化后的圖像，改進全局對比度和邊緣清晰度，但在處理深度場景時有局限性，未能消除藍綠色背景。Peng 等[5]基于圖像模糊和光吸收的水下場景深度估計，采用圖像形成模型來恢復和增強水下圖像，但此方法只考慮場景深度和背景光，忽略了水中的噪聲，在復原過程中會加重圖像噪聲。Song 等[6]提出一種基于手動注釋的背景燈數(shù)據(jù)庫，根據(jù)背景光與水下圖像直方圖分布的關(guān)系處理水下圖像，但過于補償背景光，處理后的水下圖像過度曝光，背景模糊不清，圖像中的細節(jié)也被過度補償背景光出現(xiàn)的白霧遮蓋。上述算法僅針對水下環(huán)境出現(xiàn)的個別情況進行改進，其實際應用有局限性。

綜上所述，為了改善水下圖像光照不均、模糊不清、色彩失真等情況，提出一種結(jié)合導向濾波與自適應算子的水下增強算法。首先根據(jù)在水下環(huán)境中可見光紅色光衰減過快原理，為RGB 三通道設(shè)計自適應色彩修正算子，還原水下圖像的真實色彩，使圖像更具色彩對比度，增強水下圖像觀賞性。再將圖像放入導向濾波和與Retinex結(jié)合的模型中，利用導向濾波特性，平滑處理水下圖像的同時保留圖像邊緣信息，增強水下圖像清晰度和細節(jié)信息。最后計算圖像的權(quán)重，根據(jù)圖像權(quán)重進行多尺度融合，避免一般圖像融合的偽影現(xiàn)象。實驗表明，與現(xiàn)有的算法相比，該算法能更好地還原圖像在大氣中的顏色，同時具有更好的數(shù)值表現(xiàn)，并具有更多圖像細節(jié)信息，改善暗區(qū)域低曝光度，增強圖像整體對比。

1 自適應色彩修正算子

水對光的吸收在不同的光譜區(qū)域有著明顯的不同，光波長在可見光波段紅色區(qū)域最長，紫色區(qū)域最短[2]。

如圖1，在較為清澈的海洋中藍綠區(qū)域投射比量大，波長為462～475 mm 的藍色光衰減較少，這也是水下圖像大多偏藍偏綠的原因。本文算法在此基礎(chǔ)上對RGB三通道設(shè)計自適應色彩修正算子，具體公式如下：

圖1 海水體積衰減系數(shù)隨波長的變化Fig.1 Variation of seawater volume attenuation coefficient with wavelength

式中，[Imin,Imax]是自適應色彩修正算子，D屬于RGB三通道，自適應色彩修正算子對水下圖像進行三通道拉伸，i為三通道的像素值，分別為三通道像素值平均值。1到n為三通道像素值個數(shù)。均值用來表示數(shù)據(jù)集中較多的中間值，能夠很好地表達數(shù)據(jù)集特征，易受極端數(shù)據(jù)的影響，但又與所有數(shù)據(jù)的差和為零，能夠考慮到水下圖像所有像素，為了平衡均差與像素值之間的誤差，將三通道像素值與均值公式結(jié)合作為拉伸主體。但僅考慮均值是不夠的，每個數(shù)據(jù)與均值還是有一定差異的，因此為了彌補此差異，引入后續(xù)的計算和系數(shù)?控制誤差。后續(xù)的計算要與三通道像素值和像素均值相關(guān)，因此將三通道與均方差結(jié)合，彌補主體帶來的誤差。基于水下光波能量衰減，紅光首先消失，其次為藍綠光原理，要對?R分別設(shè)計。具體公式如下：

式中，rmax、bmax、gmax分別表示RGB 三通道圖像中像素點的最大值。紅色波長在700 mm左右，衰減最嚴重，因此通過計算紅色通道最大值占據(jù)三通道最大值的百分比，決定作為R紅色通道控制系數(shù)?R。藍綠色通道衰減較弱，且衰減系數(shù)維持在0.1～0.01 之間[2]。因此藍色控制系數(shù)?B和綠色控制系數(shù)?G具體公式如下：

式中，當G綠色通道的最大值大于B藍色通道最大值且數(shù)值超過100 時，整個圖像過于偏綠，考慮到B藍色通道過于衰減，因此對B藍色通道進行自適應加大補償，但要小于R紅色通道，以避免過度補償。如果相差數(shù)值未超過100，則設(shè)置系數(shù)為2。當B藍色通道的最大值大于G綠色通道且數(shù)值超過100 時，考慮到G通道過于衰減，因此對G綠色通道進行自適應加大補償，但要小于R紅色通道避免過度補償。如果相差數(shù)值未超過100，則設(shè)置系數(shù)為2。計算好自適應色彩修正算子，將其進行總體計算：

式中，c表示RGB三通道，為輸出圖像，Ic為原圖像也就是輸出圖像。其中控制系數(shù)的設(shè)定來自大量實驗測試，控制系數(shù)過大會過度補償，出現(xiàn)圖像發(fā)紅現(xiàn)象，過小會沒有效果。最終大量實驗表明β=15,ε=3.5 時，效果最佳，差異補償最優(yōu)。

圖2為自適應色彩補償算子補償后的對比圖，顏色矯正后的三通道灰度直方圖不再像原水下圖像中的灰度過度集中，處理后灰度更加平均化，更加接近正常情況下的彩色圖。相比較Yang等[7]實驗中的色彩補償，本文補償后的圖像不泛灰，更加清晰明亮，且接近真實圖像。Zhang 等[8]實驗中補償后的圖像紅色通道補償過度，圖像整體泛紅。從圖2 中可以看出，本文算法有效地改善色偏，顏色更加自然，符合人眼觀察。

圖2 色彩補償結(jié)果Fig.2 Color compensation results

2 導向濾波與Retinex模型結(jié)合

2.1 Retinex模型

水體對光的吸收使得深水下的世界變?yōu)槠岷?，需要通過輔助光照才能拍攝清晰的水下圖像。但由于水中存在的顆粒狀等物質(zhì)，造成了光的散射，使得水下成像對比度低，圖像細節(jié)模糊，可觀察事物變少。針對水體散射對水下圖像的影響，本文對單尺度Retinex[9]中的高斯低通卷積函數(shù)進行導向濾波改進，通過處理水下圖像，增強圖像細節(jié)，去除圖像存在模糊現(xiàn)象。基于物體色彩恒常性，Retinex 理論認為人眼對物體顏色、亮度、形狀、細節(jié)等的感知取決于光線照射以及物體表面對光線的反射，即人體本身視覺感知器接收到的圖像I(x,y)是由入射信息L(x,y)和反射信息R(x,y)組成。許多實驗表明，多尺度Retinex 模型在圖像亮度相差較大時會出現(xiàn)光暈現(xiàn)象，而水下圖像往往亮度相差較大，因此為避免光暈現(xiàn)象的產(chǎn)生，本文選擇單尺度Retinex 模型。而經(jīng)過單尺度Retinex模型處理后的水下圖像邊緣細節(jié)不完整，為了解決此現(xiàn)象，引入導向濾波。單尺度Retinex模型其公式如下：

單尺度Retinex 算法（single scale Retinex，SSR）目前大多采用高斯低通卷積[10]，求得理想的光照估計，具體計公式如下：

式中，σ為高斯函數(shù)的尺寸，系數(shù)K要滿足：

目標物體的理想反射圖像特性R(x,y) 具體公式如下：

高斯低通濾波本質(zhì)是根據(jù)鄰域內(nèi)各點與中心點的距離設(shè)置不同的權(quán)重，并進行平滑處理，平滑的同時保證圖像整體的灰度值特征。但是圖像經(jīng)過高斯低通濾波處理后，邊緣被過度平滑，導致理想光照圖像缺乏邊緣細節(jié)，所得的理想反射圖像不可避免地缺失邊緣大量細節(jié)。一般濾波無法區(qū)分噪聲和邊緣，圖像噪聲周圍的像素梯度較大，導致邊緣出現(xiàn)了梯度斷層。

針對此現(xiàn)象，本文算法采用導向濾波代替高斯低通函數(shù)求取理想的光照圖像，導向濾波最大的優(yōu)勢是盡可能讓輸出圖像邊緣梯度與導向圖相似，最大程度地保留邊緣細節(jié)，保留圖像本質(zhì)的同時，達到去除噪聲的目的。

2.2 導向濾波

導向濾波認為輸出的濾波圖像qi和輸入的導向圖像Ii線性的。因為具有線性關(guān)系，導向圖像的梯度可以被傳遞，輸出圖像可以把邊緣紋理保留，具體公式如下：

式中，半徑為3，k=5，Wk是以k為中心5×5的窗口，ak、bk為局部線性系數(shù)。同時認為輸入圖像pi是由輸出的濾波圖像qi和不被期望保留的噪聲或紋理ni的和。具體公式如下：

首先使得qi、pi差別盡量小，再用線性嶺回歸模型求解局部線性系數(shù)，其中正化參數(shù)ε=0.01，濾波噪聲ni具體計算如下：

式中，mk、stdk分別為導向圖像I在窗口中的均值和方差，|w|為窗口內(nèi)像素個數(shù)，為輸出圖像在窗口內(nèi)的平均值。

求得ak、bk后平均化，具體計算如下：

式中，qi為導向濾波輸出圖像。

在Retinex 算法中用導向濾波代替高斯低通函數(shù)，將導向濾波與Retinex模型結(jié)合，具體計算如下：

式中，G(x,y)為導向濾波函數(shù)。

如圖3所示，水下圖像經(jīng)過導向濾波改進的Retinex處理后的圖像與單通道Retinex（SSR）、多通道Retinex（multi-scale Retinex with color restoration，MSRCR）[12]、原圖相比，具有更高的清晰度和還原度，更加接近自然光照下的圖像。圖4 局部放大圖像300 倍后，本文算法與SSR、MSRCR相比能夠更好地平滑圖像并去除噪聲，同時保留圖像的邊緣細節(jié)，使整體細節(jié)更加突出。增強后的圖像暗區(qū)域更加明亮，色彩真實，邊緣細節(jié)保持完整。

圖3 導向濾波改進的Retinex處理后的對比圖Fig.3 Comparison plot of improved Retinex processing by guide filtering

圖4 局部細節(jié)圖Fig.4 Local detail drawing

2.3 權(quán)重計算

傳統(tǒng)的簡單加權(quán)融合具有易實現(xiàn)、原理簡單、運行速度快、提高圖像的峰值信噪比、減少噪聲等優(yōu)點，但這種算法在優(yōu)化圖像的同時一定程度上削減了圖像中的細節(jié)信息，使得圖像邊緣保留不完整，圖像對比度低，出現(xiàn)偽影等。為了解決上述問題，本文算法計算拉普拉斯權(quán)重、光度權(quán)重、顯著權(quán)重，并引入金字塔多尺度融合[4]以得到更好的圖像。首先將RGB圖像轉(zhuǎn)化為HSV（hue，saturation，value）圖像，計算輸入圖像亮通道的拉普拉斯濾波器的絕對值來估計全局對比度，得到拉普拉斯權(quán)重。圖5 為自適應色彩補償系數(shù)補償后的拉普拉斯權(quán)重圖和導向濾波改進后的拉普拉斯權(quán)重圖。

圖5 權(quán)重圖Fig.5 Weight chart

顯著權(quán)重著重突出水下圖像中失去顯著性的顯著對象。首先將RGB 圖像轉(zhuǎn)換為LAB 圖像，計算三通道的均值，再計算三通道均值平方的加和。具體公式如下：

式中，Wx為顯著權(quán)重，L為亮度，a、b分別為兩種顏色；Lmean是亮度均值，amean、bmean是顏色均值。圖4 為色彩補償系數(shù)補償后的顯著權(quán)重圖和導向濾波改進后的顯著圖。顯著權(quán)重傾向于突出具有高亮度值的區(qū)域，因此引入基于降低亮區(qū)域飽和度的光度權(quán)重。首先將RGB 轉(zhuǎn)換為LAB，得到亮通道L，再計算RGB 三通分別與L亮通道的偏差。具體公式如下：

式中，WL為光度權(quán)重，R、G、B分別為RGB 三通道像素值，l為L亮通道數(shù)值。圖5為色彩補償系數(shù)補償后的光度權(quán)重圖和導向濾波改進后的光度權(quán)重圖。將自適應色彩補償系數(shù)補償后的三種權(quán)重和導向濾波改進后的三權(quán)重進行歸一化，再用歸一化權(quán)重構(gòu)建拉普拉斯金字塔和高斯金字塔進行多尺度融合。

首先，對輸入的水下增強圖像進行拉普拉斯金字塔分解，再對輸入的權(quán)重圖像進行高斯金字塔分解，最后將圖像金字塔與對應的權(quán)重金字塔相乘進行多尺度融合，得出最終的水下增強圖像。具體公式如下：

式中，Iout為最終輸出圖像，k取5也就是5層，GWRk為導向濾波與Retinex 模型結(jié)合的圖像權(quán)重高斯金字塔，GWLk為自適應算子的圖像權(quán)重高斯金字塔，LWLk為自適應算子的水下圖像拉普拉斯金字塔，LWRk為導向濾波與Retinex模型結(jié)合的圖像拉普拉斯金字塔。

2.4 算法流程圖

基于可見光在水中被吸收嚴重的是紅色光原理[2]，對水下圖像的R紅色通道、B藍色通道、G綠色通道，進行自適應算子色彩補償，對水下圖像進行顏色修正；其次通過導向濾波與Retinex 模型結(jié)合，對水下圖像進行去模糊優(yōu)化，調(diào)整圖像清晰度的同時保留邊緣細節(jié)，避免邊緣模糊，過度曝光；最后計算圖像拉普拉斯權(quán)重、顯著性權(quán)重、光度權(quán)重，根據(jù)三種權(quán)重進行多尺度融合得到最終的增強后的水下圖像。本文算法的流程圖如圖6。

圖6 算法流程圖Fig.6 Algorithm flowchart

2.5 消融實驗

為了驗證算法過程的有效性，分別對算法過程中的步驟進行消融實驗，評價標準選取平均梯度與信息熵。

如表1、表2 所示，融合后的算法具有更好的表現(xiàn)值。經(jīng)過融合后處理的水下圖像，相較其他單獨模型，評價數(shù)值表現(xiàn)更佳，說明經(jīng)過算法處理后的水下圖像更加清晰，包含更多的信息。

表1 圖像下潛消融實驗數(shù)值Table 1 Value of image submersible ablation experiment

表2 圖像珊瑚消融實驗數(shù)值Table 2 Value of image coral ablation experiment

3 實驗結(jié)果與分析

實驗過程采用CPU i7-670，8 GB DDR，作為硬件仿真環(huán)境。軟件仿真環(huán)境是Matlab 2019b，Win 10 操作系統(tǒng)。

3.1 實驗結(jié)果對比

為了驗證本文算法的有效性，將本文算法處理后的水下圖像與基于暗原色先驗原理的單一圖像去霧技術(shù)（HE）[3]、基于背景光統(tǒng)計模型和透射圖優(yōu)化（MBOT）[6]的水下圖像增強、基于水下圖像增強的色彩平衡和融合（CBFU）[4]、基于圖像模糊性和光線吸收的水下圖像恢復（IBLA）[5]進行客觀評價。其中CBFU 算法進行白平衡和銳化處理，為水下圖像進行顏色修正，再采用多尺度融合策略，本文算法與其比較具有更加直觀的感受。通過尺度不變特征匹配算法（scale-invariant feature transform，SIFT）[13]對比原圖像和本文算法處理后的圖像，驗證本文算法有效增強了圖像紋理細節(jié)。

為了進一步證明本文算法的有效性，對本文算法處理后的水下圖像與對比算法進行數(shù)據(jù)相關(guān)的客觀質(zhì)量評價。針對水下圖像特點，本文采用三個客觀質(zhì)量評價指標作為算法性能的衡量標準，分別是信息熵（entropy）、無參考圖像主觀評價分數(shù)（natural image quality evaluator，NIQE）[14]、水下圖像質(zhì)量評價指標（underwater image quality measure，UIQM）[15]，加黑字體為最佳結(jié)果。

信息熵是指每個水下圖像中所含信息平均量和信息內(nèi)容的豐富程度；信息熵測評數(shù)字越大，圖像增強效果越好，所含信息量越大。NIQE 指標是將預先鍛煉好的數(shù)據(jù)模型參數(shù)與待評估的圖像進行對比，得出增強后的圖像參數(shù)；主要是評價圖像自然性；其自然評測數(shù)值越小，說明圖像的感知質(zhì)量越好。UIQM是基于人眼視覺系統(tǒng)激勵的無參考水下圖像質(zhì)量評價指標；針對水下圖像色彩、明暗對比度等方面；其自然評測數(shù)值越大，說明圖像色彩平衡，清晰度、對比度更佳。

3.2 主觀對比與客觀對比

如圖7所示，HE算法[3]基于暗通道先驗對圖像進行調(diào)整，雖然能夠去除水下圖像中后向散射造成的霧化，但水下圖像色差問題沒有解決，圖像存在偏綠現(xiàn)象，增強后圖像整體過于發(fā)暗。IBLA 算法[5]根據(jù)水對光線的吸收，對水下圖像進行恢復處理。雖然處理后圖像減弱水體對光線衰減的影響，但是沒考慮到水對光線中通道吸收的差異，進而使增強后圖像泛紅。CBFU 算法[4]有效地改善水下圖像色彩失真，但過度增強散射效應，局部圖像發(fā)暗，局部信息丟失。MBOT 算法[6]有效改善圖像暗區(qū)域的失曝和色彩失真，但存在過度曝光和局部模糊現(xiàn)象。

圖7 原圖1增強結(jié)果對比圖Fig.7 Enhancement result comparison chart in original figure 1

如圖8～圖10所示，相比較于其他算法，本文提出的結(jié)合導向濾波與自適應算子的水下圖像增強算法，能夠很好地去除白霧和模糊，增強整體清晰度的同時保留邊緣細節(jié)，將水下圖像中色彩還原為接近大氣中的色彩。

圖8 原圖2增強結(jié)果對比圖Fig.8 Enhancement result comparison chart in original figure 2

圖9 原圖3增強結(jié)果對比圖Fig.9 Enhancement result comparison chart in original figure 3

圖10 原圖4增強結(jié)果對比圖Fig.10 Enhancement result comparison chart in original figure 4

從表3～表7 中可以得出，本文算法增強后圖像的Entropy、NIQE、UIQM值均優(yōu)于其他對比算法。表明本文算法增強后的水下圖像能很好地保留圖像細節(jié)，在增強過程中更好地還原水下圖像色度，提高對比度和飽和度。在消除散射影響方面，本文算法能夠得到更加清晰的圖像。從主觀評價和客觀評價的比較當中可以看出，本文算法在處理水下圖像方面，能夠還原圖像色彩，提高圖像清晰度，并保留圖像細節(jié)信息，圖像質(zhì)量更好。

表3 原圖1增強參數(shù)對比Table 3 Comparison of enhancement parameters in original figure 1

表4 原圖2增強參數(shù)對比Table 4 Comparison of enhancement parameters in original figure 2

表5 原圖3增強參數(shù)對比Table 5 Comparison of enhancement parameters in original figure 3

表6 原圖4增強參數(shù)對比Table 6 Comparison of enhancement parameters in original figure 4

表7 隨機10個圖像增強參數(shù)平均值對比Table 7 Comparison of average value of enhancement parameters of 10 random graphs

3.3 應用測試

為了驗證本文算法在實際應用中的有效性，選用尺度不變特征匹配SIFT 進行測試，測試增強后圖像和原本圖像特征點匹配的效果。測試結(jié)果如表8、表9所示，特征匹配點數(shù)目越多說明圖像紋理越清晰。從表8、表9 中可以觀察到原始水下圖像特征匹配點數(shù)目分別為86、274 個，經(jīng)過本文算法增強后的水下圖像特征匹配點數(shù)目分別為1 294、1 520，特征匹配點大幅度增加。而其他算法的匹配個數(shù)遠小于本文算法的匹配個數(shù)。由此可知，經(jīng)過本文算法增強后的圖像具有較好的紋理細節(jié)，在目標識別和特征匹配方面表現(xiàn)更佳。

表8 原圖4中SIFT個數(shù)Table 8 Number of SIFTs in original figure 4

表9 原圖5中SIFT個數(shù)Table 9 Number of SIFTs in original figure 5

4 結(jié)束語

海洋中的水下環(huán)境十分復雜，水下圖像受水體對光線吸收和顆粒物質(zhì)散射的影響，產(chǎn)生色彩失真、成像模糊、細節(jié)丟失等現(xiàn)象。針對上述現(xiàn)象，本文提出一種結(jié)合導向濾波與自適應算子的水下圖像增強算法。此算法不需要先驗訓練的數(shù)據(jù)集，首先對原水下圖像進行色彩相關(guān)系數(shù)補償，根據(jù)水下圖像三通道不同特點進行三通道色彩修正，使其色彩符合人眼在大氣下看見的色彩特點，增強圖像紋理細節(jié)；再經(jīng)過導向濾波改進Retinex對原水下圖像進行去模糊處理，消除散射帶來的模糊，調(diào)整水下圖像整體亮度；最后計算處理后圖像的權(quán)重，進行多尺度融合，調(diào)整過亮和過暗區(qū)域的不平衡，更好地調(diào)整水下圖像的色衰。實驗結(jié)果表明，所提算法能夠有效修正水下圖像存在的色差現(xiàn)象，增強視覺效果；能夠更好地提高整體對比度和清晰度，同時解決光照不均的現(xiàn)象，針對色衰嚴重的水下圖像具有更好的魯棒性。