基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法

李向春，張浩，劉曉燕，宗芳伊，劉軍禮

(齊魯工業(yè)大學(xué)(山東省科學(xué)院)，山東省科學(xué)院海洋儀器儀表研究所，山東 青島 266001)

海洋蘊(yùn)藏著極其豐富的資源，是國防戰(zhàn)略安全的重要領(lǐng)域，海洋軍事競爭日趨激烈。水下圖像是海洋信息的重要載體，在海洋科學(xué)研究的諸多領(lǐng)域，都涉及到水下成像技術(shù)。在海洋工程方面，水下圖像可用于海底管道鋪設(shè)、泄露檢測，壩體裂縫檢測，水下環(huán)境監(jiān)測，沉船打撈等；在海洋開發(fā)方面，可應(yīng)用于海底地貌勘測以及海底資源勘探，為海洋資源的開發(fā)提供有用信息；在水下目標(biāo)探測與識(shí)別方面，可偵察、探測和識(shí)別可疑目標(biāo)。

在海洋環(huán)境中，由于復(fù)雜的成像環(huán)境和光照條件導(dǎo)致水下圖像存在顏色失真、對(duì)比度低、信噪比低等弱點(diǎn)，水下圖像降質(zhì)主要是由水體對(duì)光的吸收和散射造成的。由于不同波長的光在水中傳播時(shí)有不同的衰減率，造成水下圖像的顏色退化，前向散射導(dǎo)致圖像的細(xì)節(jié)模糊，水中溶解的有機(jī)物和懸浮顆粒對(duì)光的背景散射導(dǎo)致圖像對(duì)比度降低，不能直接提取出有用的信息，降質(zhì)的圖像難以直接應(yīng)用于海洋工程、海洋開發(fā)。為獲取更加清晰有用的水下圖像，研究水下圖像增強(qiáng)技術(shù)，對(duì)后續(xù)圖像多特征提取與目標(biāo)識(shí)別具有重要意義。

現(xiàn)有的水下圖像增強(qiáng)和復(fù)原技術(shù)，大致可分為非物理模型方法和基于物理模型方法。非物理模型方法包括空域法、變換域法、基于顏色恒常性理論的方法以及綜合型方法。水下圖像增強(qiáng)的空域法常用的處理技術(shù)是增強(qiáng)對(duì)比度，包括對(duì)比度拉伸、銳化、直方圖均衡化和限制對(duì)比度直方圖均衡化?；诳沼蚍ǖ膱D像增強(qiáng)技術(shù)較為成熟，實(shí)現(xiàn)簡單，處理后的水下圖像對(duì)比度增強(qiáng)較為明顯，但仍存在顏色失真、放大噪聲、引入偽影等缺陷。2013年，Henke等[1]提出了一種基于特征的彩色恒常假設(shè)算法修正水下圖像顏色失真，該算法基于灰度世界假設(shè)條件，首先分離水下圖像的前景與背景，只對(duì)前景區(qū)域進(jìn)行白平衡算法處理，但該方法處理結(jié)果的對(duì)比度和偏色校正結(jié)果都不夠理想。2015年，Li等[2]提出了一種水下圖像增強(qiáng)綜合方案。首先，通過簡單的去霧算法去除散射衰減的影響，接下來依次采用顏色補(bǔ)償、直方圖均衡、飽和度和光強(qiáng)度拉伸算法提高水下圖像的對(duì)比度、亮度以及獲得相對(duì)真實(shí)的色彩，最后使用雙邊濾波進(jìn)行去噪，實(shí)驗(yàn)結(jié)果驗(yàn)證了該方法的有效性。

基于物理模型的方法可分為基于假設(shè)條件或先驗(yàn)知識(shí)的方法、基于圖像去霧模型的改進(jìn)方法以及基于水下成像光學(xué)屬性的方法。2010年，Carlevaris-Bianco等[3]研究發(fā)現(xiàn)不同顏色的光照在水中傳播時(shí)衰減程度不同，通過該先驗(yàn)知識(shí)估計(jì)成像場景深度，進(jìn)而移除光照散射對(duì)水下圖像造成的影響。2012年，Chiang等[4]提出的基于波長補(bǔ)償和去霧模型的水下圖像復(fù)原方法，考慮自然光照和人造光源的影響修正水下成像模型，由背景光各顏色的衰減程度估計(jì)場景處的深度，結(jié)合標(biāo)準(zhǔn)殘余能量比率進(jìn)行波長補(bǔ)償，最終有效提高了水下圖像的清晰度和顏色保真度，其建立的水下成像數(shù)學(xué)模型的普適性有限，從而導(dǎo)致無法準(zhǔn)確的恢復(fù)水下丟失的顏色和對(duì)比度。2013年，Kim等[5]提出了一種新的得到粗透射率圖的方法，針對(duì)大氣中去霧圖像的透射率估計(jì)，利用最小信息量損失原理估計(jì)透射率，當(dāng)一些物體比大氣光更明亮?xí)r，該方法比暗通道先驗(yàn)去霧法[6]更準(zhǔn)確地估計(jì)出透射率。2016年，Li等[7]提出了一種基于藍(lán)綠信道去霧和紅信道修正的方法來復(fù)原水下圖像。首先，對(duì)經(jīng)典的暗通道先驗(yàn)去霧進(jìn)行擴(kuò)展和修正來處理水下圖像的藍(lán)綠信道；然后，根據(jù)灰度世界假設(shè)理論進(jìn)一步修正紅信道；最后，使用一種自適應(yīng)的曝光算法來解決水下圖像出現(xiàn)的過飽和或欠飽和問題。2017年，倪錦艷等[8]采用大氣光暗原色先驗(yàn)去霧算法求取水下圖像透射率，并根據(jù)物體和背景光顏色對(duì)透射率進(jìn)行自適應(yīng)優(yōu)化，利用色溫調(diào)節(jié)還原物體顏色。朱文青等[9]提出根據(jù)水下圖像成像特點(diǎn)，建立水下光學(xué)成像模型，采用改進(jìn)的暗原色算法進(jìn)行圖像去模糊，由直方圖均衡化和雙邊濾波器對(duì)去模糊之后的圖像增強(qiáng)對(duì)比度。

綜上所述，水下圖像增強(qiáng)和復(fù)原技術(shù)在一定程度上均可改善圖像質(zhì)量問題，但已有方法仍然存在一些不足。本研究結(jié)合非物理模型和基于物理模型方法的優(yōu)勢，針對(duì)水下圖像因背景散射及水對(duì)光的選擇吸收作用而導(dǎo)致的圖像模糊、顏色失真問題，根據(jù)先去除背景散射影響后修正顏色失真的思路，提出一種基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法，能夠有效地提高圖像對(duì)比度，改善顏色失真，方法的實(shí)時(shí)性較好。

1 水下成像模型

1.1 經(jīng)典水下成像模型

McGlamery[10]提出的經(jīng)典的水下成像系統(tǒng)計(jì)算模型認(rèn)為，相機(jī)系統(tǒng)接收到的光分量有3部分(圖1)，分別為直接入射分量、前向散射分量(反射光隨機(jī)偏離傳播路徑后被相機(jī)接收)及后向散射分量(部分光照在未到達(dá)場景前被水或懸浮微粒反射，隨后被相機(jī)接收)。

圖1 水下光學(xué)成像原理圖Fig.1 Principle diagram of underwater optical imaging

在通常情況下，由于場景與相機(jī)距離很短，可忽略前向散射對(duì)成像造成的影響，自然光照條件下，水下成像模型可簡化為：

I(x)=J(x)t(x)+A(1-t(x)),

(1)

式中，I(x)表示水下退化圖像；J(x)表示清晰圖像；J(x)·t(x)表示直接分量；A(1-t(x))表示背景散射分量；A表示水下背景光；t(x)表示場景光透射率。

1.2 基于不同波長衰減差異的水下成像模型

由于水對(duì)光能量的選擇性吸收作用，使得不同波長的光衰減情況不一致，不同于在大氣中傳播，考慮到各顏色通道具有不同的透射率，基于不同波長衰減差異的水下成像模型為：

Ic(x)=Jc(x)tc(x)+Ac[1-tc(x)],c∈{r,g,b},

(2)

式中，c表示圖像中的紅綠藍(lán)3個(gè)顏色通道；Ic(x)表示水下退化圖像；Jc(x)表示清晰圖像；即真實(shí)場景圖像，tc(x)表示場景光透射率(tc(x)∈[0,1])；Ac表示水下背景光，得到清晰圖像Jc(x)為

(3)

2 基于透射率優(yōu)化與顏色修正的水下圖像增強(qiáng)方法

水體對(duì)光具有散射作用，因前向散射導(dǎo)致圖像的細(xì)節(jié)模糊，后向散射導(dǎo)致圖像對(duì)比度降低，不同波長的光在水中傳播時(shí)有不同的衰減率，紅光首先消失，綠光次之，藍(lán)光傳輸最遠(yuǎn)，造成水下拍攝的圖像呈現(xiàn)藍(lán)綠基調(diào)。為了去除圖像模糊、提高圖像的對(duì)比度以及修正顏色偏差，根據(jù)先去除背景散射影響，然后使用直方圖均衡化進(jìn)一步提高圖像對(duì)比度，最后使用白平衡算法修正顏色失真的思路，提出一種基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法，該方法能夠改善水下圖像細(xì)節(jié)模糊、顏色失真的缺陷。

2.1 水下背景光Ac的估計(jì)

水下背景光通常被認(rèn)為是水下圖像中最亮的顏色。He等[6]利用暗通道獲取水下背景光，選取暗通道中亮度最大的前0.1%像素，其中像素值最大的點(diǎn)作為背景光的估計(jì)值，此時(shí)水下圖像全局背景光的選取極易受到水中白色物體的干擾，使得背景光數(shù)值估計(jì)過高?；谕干渎蕛?yōu)化和顏色修正的水下圖像增強(qiáng)方法中，提出選取藍(lán)/綠-紅差異最大的像素點(diǎn)作為水下背景光的估計(jì)值，可有效避免背景光估計(jì)偏高的問題[11]。

四叉樹細(xì)分分層搜索算法步驟：

步驟1：將一幅輸入圖像均分為4個(gè)矩形區(qū)域，記為Bi,i∈{1,2,3,4}區(qū)域；

步驟2：記SBi=平均像素值-標(biāo)準(zhǔn)差，SBi最高區(qū)域?yàn)楹蜻x區(qū)域，在該候選區(qū)域中選取前0.1%最亮的像素點(diǎn)，并存儲(chǔ)到一個(gè)集合Ω(x)中；

步驟3：重復(fù)上述過程，直至候選區(qū)域像素?cái)?shù)目小于設(shè)定的閾值T；

步驟4：在集合Ω(x)中選取藍(lán)/綠-紅差異最大的像素點(diǎn)作為水下背景光Ac的估計(jì)值[7]。

2.2 R通道透射率估計(jì)

根據(jù)公式(3)得到透射率映射函數(shù)一個(gè)樣例圖(圖2)，若輸入像素在[α,β]范圍內(nèi)(100<α<150,200<β<250)，則輸出像素在[0,255]范圍內(nèi)。若輸入像素不在[α,β]范圍內(nèi)，則輸出像素超出[0,255]的范圍(斜線陰影區(qū)域?yàn)樾畔p失部分)，這樣就會(huì)造成視覺上的瑕疵。使用最小信息量損失原理[5]估計(jì)透射率t(x)，使用導(dǎo)向?yàn)V波進(jìn)行細(xì)化[12]。在x∈Ω的一小塊圖像中，假設(shè)透射率是相同的，信息量損失定義如公式(4)所示：

(4)

圖2 透射率映射函數(shù)樣例圖Fig.2 Sample diagram of the transmittance mapping function

將公式(3)代入公式(4)中，得到

(5)

式中，Dloss表示信息量損失，Ir(x)表示紅色通道的水下退化圖像，Ar表示紅色通道的水下背景光，tr(x)表示紅色通道的場景光透射率(tr(x)∈[0,1])。

為了使信息量損失最小，公式(5)應(yīng)滿足以下兩個(gè)約束條件：

(6)

對(duì)公式(6)進(jìn)行推導(dǎo)，推導(dǎo)如下：

(7)

即：

(8)

結(jié)合導(dǎo)向?yàn)V波對(duì)tr*(x)進(jìn)行細(xì)化：

(9)

其中，s=(sr,sg,sb)T是一個(gè)尺度向量，ψ是一個(gè)補(bǔ)償因子，如公式(10)所示， (s*,ψ*)為最佳參數(shù)值。

(10)

2.3 G和B通道透射率估計(jì)

在本項(xiàng)目的圖像增強(qiáng)方法中，選取一個(gè)典型的線性關(guān)系表達(dá)式，來近似常見水下成像環(huán)境中散射系數(shù)隨波長的變化[13]：

bc=(-0.001 13λc+1.625 17)b(555)。

(11)

研究表明，浮游植物對(duì)波長為440 nm和675 nm附近的光具有明顯的吸收峰值，而對(duì)550～650 nm的光吸收較弱，因此上式中選擇555 nm為參考波長[14]。

因?yàn)樗惴ㄖ兄恍枰啦煌ㄩL光散射系數(shù)之間的比值，所以并不需要知道參考波長555 nm處的散射系數(shù)值。根據(jù)相機(jī)感光元件對(duì)不同波長光的響應(yīng)曲線，在本算法中選取特定的波長620、540和450 nm來分別代表3個(gè)顏色通道的標(biāo)準(zhǔn)波長。標(biāo)準(zhǔn)波長的選擇依據(jù)是相機(jī)成像時(shí)對(duì)光譜的響應(yīng)及sRGB色彩空間各顏色通道與光譜的關(guān)系。因此可得不同顏色通道的光衰減系數(shù)比為：

(12)

其中，cg/cr表示“綠-紅衰減系數(shù)比”，cb/cr表示“藍(lán)-紅衰減系數(shù)比”。這兩個(gè)比值均小于1，因?yàn)榧t光在水中的衰減要比綠光和藍(lán)光強(qiáng)。

利用R通道的透射率和各顏色通道間衰減系數(shù)比，可估算G和B通道的透射率：

(13)

2.4 對(duì)比度增強(qiáng)與顏色修正

去模糊之后的水下圖像灰度分布不均勻，就需要利用直方圖均衡化對(duì)其進(jìn)行進(jìn)一步的對(duì)比度增強(qiáng)。由于水體對(duì)光的選擇性吸收，水下圖像整體以藍(lán)綠色調(diào)為主，因此使用白平衡算法修正顏色偏差。

2.5 算法流程

算法流程圖如圖3所示。方法步驟如下：

輸入：水下降質(zhì)圖像Ic(x)

步驟1：利用四叉樹細(xì)分分層搜索算法估計(jì)水下背景光Ac，針對(duì)不同波長的光在水中具有不同的衰減系數(shù)，從水下背景光中估計(jì)出不同顏色通道的衰減系數(shù)比；

步驟2：以大氣中霧化圖像可準(zhǔn)確估計(jì)透射率的方法為基礎(chǔ)，使用最小信息量損失原理估計(jì)紅色通道透射率tr(x)，在水下降質(zhì)圖像中選擇參考圖像，根據(jù)參考圖像，結(jié)合導(dǎo)向?yàn)V波對(duì)tr(x)進(jìn)行透射率精細(xì)估算，結(jié)合各顏色通道的衰減系數(shù)比，根據(jù)公式(13)估計(jì)tg(x)、tb(x)，從而可估算出G和B通道傳輸圖；

步驟3：將水下背景光Ac、透射率值tc(x)代入公式(3)中，通過逆求解水下成像模型得到清晰化的水下圖像Jc(x)；

步驟4：通過直方圖均衡化算法，提高水下圖像對(duì)比度；

步驟5：使用白平衡算法進(jìn)行顏色修正，得到增強(qiáng)的水下圖像。

圖3 水下圖像增強(qiáng)方法流程圖Fig.3 Flow chart of underwater image enhancement method

3 實(shí)驗(yàn)結(jié)果與分析

為了說明基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法的有效性，對(duì)網(wǎng)絡(luò)上收集的真實(shí)水下圖像進(jìn)行處理，圖像的分辨率為412×310，分別使用直方圖均衡化算法、暗通道去霧算法[6]、GIMP內(nèi)嵌的Retinex算法[15]、優(yōu)化對(duì)比度增強(qiáng)算法[5]、基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法對(duì)水下圖像進(jìn)行增強(qiáng)處理，效果如圖4所示。

從主觀進(jìn)行評(píng)價(jià)，直方圖均衡化算法提高了圖像對(duì)比度，但整體圖像偏藍(lán)色基調(diào)；暗通道去霧算法雖然擴(kuò)大了場景中的可見范圍，但局部區(qū)域顏色失真較嚴(yán)重；GIMP內(nèi)嵌的Retinex算法整體增強(qiáng)效果較好，但視覺效果不自然，部分區(qū)域呈現(xiàn)紅色；優(yōu)化對(duì)比度增強(qiáng)算法中，該方法采用最小信息量損失原理來估計(jì)透射率，圖像處理結(jié)果相比較于原圖像提高了對(duì)比度，但一些細(xì)節(jié)信息未恢復(fù)。相比之下，基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法處理效果較好地去除霧狀模糊，遠(yuǎn)處的魚群、礁石清晰可見，視覺效果更自然。

為了進(jìn)一步說明基于透射率優(yōu)化與顏色修正的水下圖像增強(qiáng)方法的有效性， 采用客觀指標(biāo)對(duì)各種算法和方法進(jìn)行了評(píng)估。利用信息熵(Entropy)來衡量圖像所包含的信息量，其值越大，信息含量越高，細(xì)節(jié)越豐富; 利用水下彩色圖像質(zhì)量評(píng)價(jià)(UCIQE)[16]來量化水下圖像非均勻顏色偏差、模糊以及對(duì)比度。

U=c1×σc+c2×nl+c3×μs,

(14)

式中，U為水下彩色圖像質(zhì)量評(píng)價(jià)值，σc為色度的標(biāo)準(zhǔn)方差，nl為亮度的對(duì)比度，μs為飽和度的平均值，c1、c2、c3分別為線性組合的權(quán)重值。

對(duì)于水下圖像：

U=0.468 0×σc+0.274 5×nl+0.257 6×μs。

圖4 水下圖像增強(qiáng)算法結(jié)果對(duì)比圖Fig.4 Comparison charts of underwater image enhancement algorithm results

表1給出了水下圖像的Entropy和UCIQE的比較結(jié)果。從表1中可以看出，基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法具有較高的信息熵和UCIQE值。

表1 基于信息熵和水下彩色圖像質(zhì)量客觀評(píng)價(jià)方法的平均值

4 結(jié)論

在海洋環(huán)境中，由于噪聲干擾，水下光學(xué)圖像具有模糊、顏色失真等問題，為了解決該問題，提出了一種基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法。從主觀評(píng)價(jià)上，該方法與直方圖均衡化算法結(jié)果相比，改善了顏色偏差的缺陷；與暗通道去霧算法相比，改善了局部區(qū)域顏色失真的缺陷；與GIMP內(nèi)嵌的Retinex相比，色彩更自然；與優(yōu)化對(duì)比度增強(qiáng)算法結(jié)果相比，改善了水下圖像細(xì)節(jié)模糊的缺陷。水下背景光的估計(jì)容易受水中白色物體、人工光源及圖像中過曝區(qū)域的影響，導(dǎo)致估計(jì)值偏大。在下一步的研究中，擬建立一種基于海洋光學(xué)理論的水下成像背景光估計(jì)模型，使得水下背景光的估計(jì)更加準(zhǔn)確。