非均勻光照條件下的水下圖像增強算法

(山東科技大學(xué) 電氣與自動化工程學(xué)院，山東 青島 266590)

海洋蘊藏著巨大的資源，水下圖像作為海洋信息的重要載體，受到了越來越多的關(guān)注和重視，同時水下圖像增強技術(shù)也得到了廣泛應(yīng)用，如水下目標(biāo)檢測與跟蹤[1]、水下基礎(chǔ)設(shè)施檢查[2]和海洋生物研究[3]等。與一般圖像不同，由于光的吸收和散射效應(yīng)，導(dǎo)致水下圖像可見性差。其中，光的吸收減少了光照強度，且由于不同波長的光譜在水中的傳播距離不同，造成水下圖像的顏色失真；光的散射引起了光傳播方向的變化，使圖像產(chǎn)生霧狀模糊。這些降質(zhì)特性導(dǎo)致水下圖像普遍存在模糊、偏色、對比度低等問題，極大限制了水下圖像在海洋資源利用中的實際應(yīng)用。因此，提升水下圖像的質(zhì)量具有重要意義。

針對光的吸收和散射效應(yīng)，Lu等[4]結(jié)合引導(dǎo)三角雙邊濾波器提出一種新的水下模型對光進(jìn)行補償，實現(xiàn)對水下圖像的增強和顏色校正。Prasath等[5]通過對比度和色彩校正來克服水下光衰減以及光散射的問題，實現(xiàn)對水下圖像的增強。Guo等[6]針對水下圖像的模糊和偏色問題，將暗通道先驗與定量直方圖拉伸技術(shù)相結(jié)合，提出一種改進(jìn)的基于暗通道先驗的去霧增強算法。Abunaser等[7]利用粒子群優(yōu)化算法來減少光吸收和光散射對水下圖像的影響。Wang等[8]提出一種基于集成視網(wǎng)膜機(jī)制啟發(fā)模型的方法來實現(xiàn)對水下圖像的顏色校正和對比度改善。

水下圖像增強可根據(jù)人類的視覺感官系統(tǒng)進(jìn)行相應(yīng)的評估，Retinex理論建立在色感恒常性和人對光線感知能力的基礎(chǔ)上，許多學(xué)者通過Retinex理論增強水下圖像。Petro等[9]提出一種基于Retinex帶色彩恢復(fù)的多尺度視網(wǎng)膜增強算法，對水下淺層圖像具有較好的色彩還原效果。Alex等[10]將圖像轉(zhuǎn)換到Y(jié)CbCr色彩空間，并在Retinex框架下使用高斯環(huán)繞函數(shù)進(jìn)行卷積，提出一種基于單尺度Retinex的水下圖像增強算法。Tang等[11]利用多尺度Retinex對水下圖像進(jìn)行預(yù)校正，并采用逆灰度世界算法選擇性的保留圖像顏色，以實現(xiàn)顏色校正和改善水下圖像的對比度。

上述研究成果主要針對自然光照射下水下淺層的圖像增強，對于人工光源照明為主的夜間水域或深海區(qū)域中的圖像增強效果不佳，相比于淺層圖像，深水圖像的可見度更低[12]，光的吸收和散射效應(yīng)更加突出，獲取的圖像存在嚴(yán)重的光照不均，造成圖像質(zhì)量下降，如圖1中(a)、(b)、(c)所示。

圖1 非均勻光照條件下的水下圖像

受人工光源影響，這類圖像近光點部分亮度偏強，遠(yuǎn)光點則偏暗，同時存在著水對光的吸收和散射情況，若對整幅圖像增強處理，現(xiàn)有的算法效果不理想。為此，針對上述非均勻光照條件下的水下圖像，提出基于圖的視覺顯著性(graph-based visual saliency, GBVS)[13]和Retinex算法相結(jié)合的圖像增強方法，流程如圖2所示。首先，對水下圖像進(jìn)行降噪預(yù)處理，利用GBVS算法將原圖像分割為前景區(qū)域與背景區(qū)域。然后，基于Retinex算法分別對兩個區(qū)域增強處理，背景區(qū)域再利用伽馬變換進(jìn)行二次增強。最后，采用泊松融合算法合成兩個區(qū)域的增強圖像。

圖2 非均勻光照條件下的水下圖像增強流程圖

1 視覺顯著性分割

1.1 GBVS

GBVS是Harel等[13]基于Itti模型并結(jié)合圖論提出的一種自下而上視覺顯著性檢測方法。在非均勻光照條件下，水下圖像的前景區(qū)域相對于背景區(qū)域具有較強的顯著性，可采用GBVS算法分割兩區(qū)域。GBVS算法基本流程為：①對原圖像構(gòu)建{1/2,1/4}尺度圖像，并分別提取顏色特征、亮度(灰度)特征和方向特征(Gabor濾波器在{0°,45°,90°,135°}四個方向)；②利用馬爾可夫鏈的特性分別計算每層特征圖的顯著值并生成激活圖；③融合三種特征的激活圖生成最終的顯著性圖。流程如圖3所示。

圖3 GBVS算法流程圖

1.2 區(qū)域分割

首先，分別對顏色、亮度、方向特征激活圖進(jìn)行尺度歸一化，再將每種特征的激活圖相加，得到對應(yīng)的顯著圖，如圖4所示，3種顯著圖從不同角度描述了圖像的顯著性；其次，將3幅顯著圖按照1∶1∶1的比例進(jìn)行線性疊加，生成最終的顯著圖S(i,j)和著色顯著圖(顯著性越強的區(qū)域越紅)；然后，將S(i,j)按像素值由小到大形成列向量，并通過線性插值函數(shù)計算分割閾值T；最后，利用分割閾值T將原水下圖像分割為前景區(qū)域與背景區(qū)域。顯著圖及分割結(jié)果如圖5所示。從分割結(jié)果可以看出，根據(jù)視覺顯著性特征，可將非均勻光照下的水下圖像分割成不同區(qū)域，進(jìn)而分別實現(xiàn)對兩區(qū)域增強處理。

圖4 原圖及3中特征的顯著圖

圖5 顯著圖及分割結(jié)果

2 前景和背景區(qū)域增強算法

在視覺顯著性分割基礎(chǔ)上，根據(jù)非均勻光照下水下圖像前景和背景區(qū)域的不同特點可采用相應(yīng)的增強算法。

2.1 前景區(qū)域增強

前景區(qū)域具有一定的視覺顯著性特征，但受到了水下非均勻光照影響，為此基于Retinex理論[14]對前景區(qū)域進(jìn)行增強，其基本原理如下：

將前景區(qū)域圖像Ifg(i,j)定義為：

Ifg(i,j)=L(i,j)×R(i,j)，

(1)

其中：R(i,j)為反射光圖像，即圖像內(nèi)在屬性，應(yīng)保留；L(i,j)為入射光圖像，應(yīng)去除。對式(1)等號兩邊分別取對數(shù)并移項得：

logR(i,j)=logIfg(i,j)-logL(i,j)。

(2)

其中，R(i,j)無法直接從圖像Ifg(i,j)得到，可通過估計L(i,j)后利用式(2)間接獲取。采用文獻(xiàn)[15]中的方法對入射光圖像L(i,j)進(jìn)行估計：

(3)

2.2 背景區(qū)域增強

水下背景區(qū)域圖像除受到非均勻光照影響外，整體偏暗且光線成非線性發(fā)散。在前景區(qū)域增強算法的基礎(chǔ)上，利用伽馬非線性變換對背景區(qū)域圖像Ibg(i,j)進(jìn)行二次增強，則式(2)可改寫為：

logRbg(i,j)=γ(logIbg(i,j)-logLbg(i,j))+logc。

(4)

其中，Lbg(i,j)表示背景區(qū)域的入射光圖像，Rbg(i,j)表示背景區(qū)域的反射光圖像，c為常數(shù)，γ∈(0,1)。

利用上述前景和背景區(qū)域增強算法分別對圖5(c)、(d)兩個區(qū)域進(jìn)行增強，增強后圖像如圖6所示。從增強效果可以看出，前景和背景區(qū)域都實現(xiàn)了增強，特別是背景區(qū)域的效果更為明顯。由于將整幅圖像分割成了兩部分，增強時根據(jù)不同特點分別處理，互不影響，特別整體偏暗的背景區(qū)域得到了較大的亮度范圍擴(kuò)展。

圖6 前景區(qū)域與背景區(qū)域增強結(jié)果

3 泊松融合

圖像的前景和背景區(qū)域分別增強后，區(qū)域間鄰接部分存在明顯差異，采用泊松融合算法實現(xiàn)區(qū)域間的融合。泊松圖像編輯[16]是通過泊松方程實現(xiàn)圖像間的融合，合成后的圖像內(nèi)容平滑、邊界一致。首先求取圖像梯度向量場，然后對融合區(qū)域進(jìn)行引導(dǎo)性插值處理，進(jìn)而將區(qū)域間融合問題轉(zhuǎn)變成求函數(shù)的極值問題。其基本原理如下：

設(shè)二維圖像I上有一閉合子區(qū)域Ω，Ω的邊界為?Ω，定義Ω上的梯度向量場為V，f為I上的標(biāo)量函數(shù)。已知f在?Ω上的取值為f*，則f在Ω內(nèi)取V引導(dǎo)下的插值函數(shù)，即求解極值問題：

(5)

(6)

對式(5)進(jìn)行有限差分離散化得：

(7)

式中,〈p,q〉是一對4連通相鄰像素點，fp和fq分別為f在像素點p和q上的取值，Vpq為V中由p到q的向量。則式(7)的解滿足：

(8)

其中，|Np|表示p的四鄰域。

將待融合區(qū)域劃分成若干子區(qū)域，對于每個子區(qū)域由式(8)進(jìn)行求解，進(jìn)而得到融合區(qū)域的解，最后實現(xiàn)區(qū)域間的圖像融合。

4 實驗與分析

實驗數(shù)據(jù)集來源于網(wǎng)絡(luò)搜集的自然水域下非均勻光照圖像。數(shù)據(jù)集包含40幅圖像，主要按場景(12幅)、光衰減性(18幅)和渾濁程度(10幅)分為三類，部分?jǐn)?shù)據(jù)集如表1所示。實驗所用計算機(jī)的配置為CPU Intel(R)Core(TM)i5-6300HQ 2.30 GHz，RAM 8 GB。軟件平臺為MATLAB 2016b。針對上述數(shù)據(jù)集，通過實驗驗證提出增強方法的有效性，并與直方圖均衡化(histogram equalization, HE)算法和單尺度Retinex(single scale Retinex, SSR)算法[17]進(jìn)行了比較。

表1 實驗數(shù)據(jù)集

4.1 增強效果主觀評價

選取數(shù)據(jù)集中3幅不同類型的圖像進(jìn)行增強算法的主觀評價，圖像分別為Light1、Background1、Turbid1，實驗結(jié)果如圖7所示，其中放大了增強后圖像的局部效果。

圖7 圖像增強效果對比

從圖7可以看出，3種算法對水下圖像都有一定的增強效果，其中小方框為局部放大區(qū)域。HE算法增強處理后，圖像亮度有較大的提升，但沒有解決偏色問題，同時過度增強了前景區(qū)域(如Background1中的魚)，且背景區(qū)域出現(xiàn)了明顯的噪音(如Light1中的魚尾和Turbid1中的魚鰭)；SSR算法增強處理后，雖然提升了圖像的亮度，對顏色具有一定的校正作用，但細(xì)節(jié)紋理不清晰(如Turbid1中的魚鰭)，且處理后的圖像具有泛白現(xiàn)象，較為模糊；本研究提出算法增強處理后，圖像中前景、背景區(qū)域細(xì)節(jié)清晰可見，且區(qū)域間自然融合，有效解決了色偏問題，改善了圖像的整體視覺效果。

4.2 增強效果客觀評價

為客觀評價不同增強算法性能，本節(jié)對比常用的圖像平均灰度值、標(biāo)準(zhǔn)差、信息熵三項統(tǒng)計指標(biāo)。平均灰度值指標(biāo)與圖像的亮度動態(tài)變化相關(guān)；標(biāo)準(zhǔn)差統(tǒng)計了像素值間的變化情況，其值越大對比度越大；信息熵是圖像中含有信息量的反映，表征圖像灰度分布的聚集特性，反映了圖像的清晰度。

利用上述的性能指標(biāo)分別對圖7中的三幅圖像增強前后效果評估，結(jié)果如表2所示。

表2 圖像增強效果的客觀評價

從表2可以看出，由于水下圖像較暗，3種情況下增強后算法都提高了圖像的平均灰度值指標(biāo)，使得整幅圖像亮度均值在一個合適范圍；在圖像的標(biāo)準(zhǔn)差方面，HE算法和SSR算法對于不同的圖像增強后標(biāo)準(zhǔn)差變化不穩(wěn)定，存在降低圖像對比度現(xiàn)象(如Turbid1)，本文提出算法表現(xiàn)了更好的性能；增強后，HE算法降低了三幅圖像的信息熵，SSR算法略有提高，本算法的效果更佳，明顯地增強了圖像清晰度。

表3 圖像增強效果的客觀評價

Tab.3 Objective evaluation of image enhancement effects %

指標(biāo)平均提高百分比HE算法SSR算法本文算法平均灰度值251.18267.73190.21標(biāo)準(zhǔn)差23.4223.7525.12信息熵-8.624.9617.71

為了評價算法的整體性能，分別對40幅非均勻光照水下圖像進(jìn)行實驗，并計算增強處理后性能指標(biāo)參數(shù)的平均提高百分比，結(jié)果如表3所示。

從表3可以看出，由于數(shù)據(jù)集中的非均勻光照水下圖像亮度一般整體偏暗，HE算法主要實現(xiàn)了一幅圖像中所有像素的亮度范圍均衡化，提高了圖像的對比度，由于存在灰度級合并現(xiàn)象，信息熵有所損失；SSR算法提高了水下數(shù)據(jù)集圖像的整體亮度和對比度，但圖像信息熵只是略有提升；本算法相比于其他兩種增強算法具有更好的性能，在增加圖像平均灰度值和標(biāo)準(zhǔn)差的同時，較大地提高了圖像的信息熵。

5 結(jié)論

針對非均勻光照條件下的水下圖像特點，利用GBVS視覺顯著性算法將水下圖像分割為前景區(qū)域與背景區(qū)域，并基于Retinex算法分別對兩部分進(jìn)行增強，采用伽馬變換對背景區(qū)域進(jìn)行二次增強，最后通過泊松融合算法將兩部分合成水下增強圖像。利用提出算法對多幅非均勻光照條件下的水下圖像進(jìn)行增強，圖像質(zhì)量得到顯著提高，并與其他算法進(jìn)行了比較，表現(xiàn)出更好的性能。由于波長較長的紅光在水下比藍(lán)色和綠色的光更容易被吸收，考慮到紅色分量衰減造成的顏色失真，在今后的工作中嘗試進(jìn)行顏色補償。