結(jié)合改進(jìn)紅通道先驗(yàn)與冪律校正CLAHE的水下圖像復(fù)原方法

朱佳琦，周麗麗，閆晶晶，王橋橋，蔣玉紅，何立風(fēng)

（1.陜西科技大學(xué) 電氣與控制工程學(xué)院，陜西 西安 710021；2.陜西科技大學(xué) 電子信息與人工智能學(xué)院，陜西 西安 710021）

0 引言

水下圖像是一種重要的信息載體，在水下資源勘探、水下環(huán)境監(jiān)測(cè)、海洋軍事工程及水下機(jī)器人等研究領(lǐng)域有著重要的意義[1]。在水下環(huán)境中，水分子和懸浮顆粒對(duì)可見(jiàn)光的散射會(huì)造成水下成像模糊，不同波長(zhǎng)可見(jiàn)光在水中衰減程度不一致會(huì)使得水下成像產(chǎn)生色偏，最終導(dǎo)致水下圖像出現(xiàn)明顯的退質(zhì)現(xiàn)象。因此，水下圖像復(fù)原具有很大的現(xiàn)實(shí)意義。

在研究方向上，主要是圖像增強(qiáng)和圖像復(fù)原，二者的結(jié)合使用也較為普遍。圖像增強(qiáng)是通過(guò)提升圖片的對(duì)比度或色彩系數(shù)等改善其視覺(jué)效果，典型算法如Retinex 算法[2]、CLAHE 算法等，在處理亮度較大的圖片時(shí)，該類(lèi)算法存在放大噪聲，色彩校正過(guò)度等問(wèn)題。圖像復(fù)原則是基于圖像退化過(guò)程的先驗(yàn)知識(shí)，將其恢復(fù)還原，近年研究較多的有暗通道先驗(yàn)算法[3]。結(jié)合水下成像特點(diǎn)，2016年Li 等人[4]采用G，B 兩通道求取水下圖像透射率，規(guī)避R 通道的影響，增強(qiáng)了圖片的清晰度；曹美等[5]利用通道直方圖的統(tǒng)計(jì)特性預(yù)估暗通道先驗(yàn)?zāi)Ｐ椭械乃w光強(qiáng)，并利用雙邊濾波優(yōu)化模型中的透射率，在此基礎(chǔ)上利用灰線性拉伸方法進(jìn)行顏色校正；2018年徐巖等[6]基于各通道透射率圖與光學(xué)傳遞函數(shù)的關(guān)系，采用逆濾波及高斯分布線性拉伸去除前向散射分量、提高圖像對(duì)比度。在采用暗通道先驗(yàn)理論時(shí)，常選取整幅圖像暗通道前一定占比像素值的均值作為背景光值，該方法易受白色物體、人工光源等因素的干擾，造成估計(jì)偏差；而僅采用G，B 通道預(yù)估透射率又進(jìn)一步引入色偏問(wèn)題。2019年，李煉等[7]將圖像復(fù)原和圖像增強(qiáng)方法相結(jié)合，基于紅色暗通道先驗(yàn)和CLAHE 算法進(jìn)行水下圖像增強(qiáng)，一方面可以克服結(jié)果偏藍(lán)偏綠的問(wèn)題，另一方面提升圖像對(duì)比度。然而CLAHE 算法易產(chǎn)生高光偽影等問(wèn)題。近年，在圖像增強(qiáng)、復(fù)原領(lǐng)域，又相繼提出了圖像融合[8]，基于場(chǎng)景深度先驗(yàn)[9]以及歸一化冪律校正等算法[10]。

針對(duì)上述問(wèn)題，本文提出一種結(jié)合改進(jìn)紅通道先驗(yàn)和冪律校正CLAHE 算法的水下圖像復(fù)原方法。該算法首先通過(guò)選取最佳背景光取值區(qū)域的方式來(lái)規(guī)避干擾，以提高背景光預(yù)估的準(zhǔn)確性，然后使用紅通道先驗(yàn)理論進(jìn)行圖像復(fù)原，并對(duì)復(fù)原結(jié)果進(jìn)行歸一化冪律校正，最終使用CLAHE 算法進(jìn)行圖像增強(qiáng)處理。下面主要對(duì)水下光學(xué)成像模型、本文的圖像復(fù)原算法原理以及實(shí)驗(yàn)進(jìn)行介紹。

1 水下光學(xué)成像模型

如圖1所示，水下光學(xué)成像模型[1]主要由直接照射分量Dλ，前向散射分量Fλ和后向散射分量Bλ三部分組成。即水下圖像Iλ可表示為：

圖1 水下光學(xué)成像模型Fig.1 Underwater optical imaging model

式中：λ表示R，G，B 三通道。該模型可進(jìn)一步表示為：

式中：Jλ(x)為待求目標(biāo)場(chǎng)景；tλ(x)為透射率；gλ(x)為點(diǎn)擴(kuò)散函數(shù)；Bλ,∞表示水體光照度。一般情況下拍攝水下圖片時(shí)，相機(jī)距景物距離較小，可以忽略前向散射分量的影響，則水下成像模型最終可表示為：

而Jλ(x)可表示為：

根據(jù)公式(4)，Jλ(x)的求解實(shí)質(zhì)上轉(zhuǎn)化為對(duì)Bλ,∞的預(yù)估及tλ(x)的求解。

2 水下圖像復(fù)原算法

本文的水下圖像復(fù)原流程主要有3 個(gè)部分：首先提出超像素圖像分割算法獲取背景光取值區(qū)域的方法，提升背景光預(yù)估準(zhǔn)確性，并采用紅通道先驗(yàn)算法進(jìn)行紅通道信息補(bǔ)償，求取預(yù)估透射率，獲得初步復(fù)原圖像；然后利用歸一化冪律校正對(duì)由紅通道先驗(yàn)復(fù)原的圖像進(jìn)行預(yù)處理，以改善后續(xù)直方圖均衡化所產(chǎn)生的偽影；最后使用CLAHE 算法進(jìn)行圖像增強(qiáng)。如圖2所示。

圖2 本文所提算法流程Fig.2 The algorithm flow proposed in this article

2.1 改進(jìn)的背景光預(yù)估方式及紅通道先驗(yàn)算法處理

2.1.1 改進(jìn)的背景光選取

理論上，背景光是圖像無(wú)窮遠(yuǎn)處的光源數(shù)值，其所在區(qū)域應(yīng)該是平滑無(wú)紋理的。假設(shè)水下圖像拍攝方式存在兩種情況：一種是俯視拍攝，此場(chǎng)景下難以獲取無(wú)窮遠(yuǎn)處的背景光，但是成像距離較近，場(chǎng)景照明度比較均勻，可直接選取全局暗通道前一定占比的像素值均值作為背景光值；另一種是水平拍攝，此時(shí)圖片中存在一定的無(wú)紋理平滑區(qū)域，本文則在該區(qū)域進(jìn)行背景光預(yù)估，取值方式為將前一定占比的像素值均值作為背景光值。

圖3(a)為水平拍攝的水下圖像，此處背景光所在區(qū)域的判定方法采用超像素圖像分割算法[11]，首先通過(guò)k均值聚類(lèi)方法生成超像素，然后進(jìn)行圖像分割，再利用連通域標(biāo)記方法得到區(qū)域邊界信息，并對(duì)圖像進(jìn)行二值化處理，如圖3所示。圖3(d)白色部分即為背景光取值區(qū)域。文中聚類(lèi)中心k＝4，背景光取值占比為0.1%。

圖3 超像素分割及其二值化區(qū)域鄰接圖Fig.3 Superpixel segmentation and Binary area adjacency graph

2.1.2 紅通道先驗(yàn)算法

2011年，HE 等人[3]針對(duì)圖像去霧提出的暗通道先驗(yàn)算法，具有較強(qiáng)的普適性和魯棒性。該算法假設(shè)在大多數(shù)非天空?qǐng)鼍盁o(wú)霧圖像的局部區(qū)域中，至少有一個(gè)彩色通道的像素值具有非常低的強(qiáng)度，即：

式中：Jλ表示待求無(wú)霧圖像的R，G，B 三個(gè)通道；Ω(x)表示以x為中心的局部塊；Jdark表示圖像J的暗通道。根據(jù)霧天成像模型[3]，利用暗通道進(jìn)行霧天圖片透射率預(yù)估可得：

進(jìn)而可得透射率tλ(x)：

根據(jù)得到的透射率及預(yù)估的背景光即可求得Jλ。水下成像的降質(zhì)原因與霧天成像類(lèi)似，均是由于環(huán)境中的介質(zhì)微粒對(duì)光散射的影響，這將導(dǎo)致場(chǎng)景可見(jiàn)度降低，圖片出現(xiàn)模糊，除此之外大多數(shù)水下場(chǎng)景也存在著陰影或某些顏色鮮艷的物體，滿足暗通道先驗(yàn)成立條件。因此，暗通道先驗(yàn)算法理論上亦可用于水下圖像復(fù)原。但與大氣場(chǎng)景不同，水體對(duì)不同波段的可見(jiàn)光具有不同的吸收衰減效應(yīng)。根據(jù)朗伯比爾定律[2]，紅色可見(jiàn)光衰減最嚴(yán)重，藍(lán)綠色光次之。直接采用公式(7)會(huì)導(dǎo)致tλ(x)預(yù)估偏差大。為解決該問(wèn)題，Galdran等[12]提出紅通道先驗(yàn)理論，將公式(7)修改為：

式中：tR(x)，tG(x)，tB(x)分別為Iλ(x)三通道的歸一化透射率；分別為3 個(gè)通道的歸一化強(qiáng)度值；BR,∞，BG,∞，BB,∞分別為估計(jì)的各通道背景光強(qiáng)度值；c(R)，c(G)，c(B)則分別為各顏色光的衰減系數(shù)值，本文在計(jì)算衰減系數(shù)比值的過(guò)程中，選取紅、綠、藍(lán)光的波長(zhǎng)分別為620 nm、540 nm、450 nm[13]。為解決暗通道先驗(yàn)?zāi)Ｐ瓦M(jìn)行圖像復(fù)原時(shí)存在的塊效應(yīng)[3]，本文對(duì)透射率圖進(jìn)一步采用導(dǎo)向?yàn)V波細(xì)化處理[12]。

2.2 基于歸一化冪律校正的CLAHE 算法

CLAHE 算法是對(duì)傳統(tǒng)自適應(yīng)直方圖均衡（Adaptive Histogram Equalization，AHE）方法的改進(jìn)[10]，通過(guò)限制每個(gè)像素鄰域的對(duì)比度來(lái)抑制AHE 方法的噪聲放大現(xiàn)象，增強(qiáng)圖像視覺(jué)效果，但該算法仍然存在圖像亮度過(guò)度增加的問(wèn)題。2020年Shi 等人將歸一化冪律校正引入該方法以解決上述問(wèn)題，并將其應(yīng)用于沙暴天氣圖像處理[10]，本文為了抑制對(duì)比度失衡的問(wèn)題在使用CLAHE 算法進(jìn)行水下圖像增強(qiáng)時(shí)，亦引入該歸一化冪律校正方法。

冪律變換[11]是一種灰度轉(zhuǎn)換函數(shù)，可用于校正圖像對(duì)比度失衡的問(wèn)題，其函數(shù)定義式如下：

式中：Jλ,RDCP為紅通道先驗(yàn)處理后各通道的歸一化圖像；Jλ,correc為經(jīng)過(guò)冪律校正的圖像；γ為冪律值；c為控制亮度的常數(shù)。通過(guò)改變參數(shù)γ的值可以控制變換函數(shù)。為了防止γ值過(guò)大，圖像由于過(guò)度補(bǔ)償變暗，將式(9)進(jìn)一步歸一化處理，即：

式中：Jλ,NGC是歸一化冪律校正后各通道的灰度圖。通過(guò)統(tǒng)計(jì)歸一化的全部動(dòng)態(tài)范圍特征，歸一化冪律校正有助于降低亮度和增強(qiáng)對(duì)比度，用以改善CLAHE的增強(qiáng)效果。一般而言，在使用冪律校正時(shí)選取c＝1，然后根據(jù)經(jīng)驗(yàn)確定γ的值，本實(shí)驗(yàn)中為了抑制高光，補(bǔ)償圖片動(dòng)態(tài)范圍，最終根據(jù)實(shí)際效果選取γ＝0.5。

CLAHE 算法[10]過(guò)程如下：

1）將冪律校正后的各通道灰度圖Jλ,NGC分別分成一定數(shù)量的連續(xù)不重疊子塊，每個(gè)子塊大小為M×N，本文中M＝N＝8。

2）使用累計(jì)分布函數(shù)fi,j(n)計(jì)算每個(gè)子塊的灰度直方圖：

式中：hi,j(k)是像素k的灰度直方圖索引；M，N和n＝1, 2, 3,…,N－1 是每個(gè)子塊中的像素?cái)?shù)；i和j是像素k的位置索引。

3）計(jì)算裁剪極限值β：

式中：α是裁剪因子，取值范圍為[0,100]；Smax是最大斜率，取值范圍為[1,Smax]。

4）對(duì)超過(guò)β的直方圖進(jìn)行裁剪，并將所有裁剪下來(lái)的像素值重新均勻分配到各灰度級(jí)中以保持直方圖總面積不變。

5）獲得每個(gè)子塊的中心點(diǎn)。將這些點(diǎn)作為樣本點(diǎn)，利用雙線性插值求出各像素點(diǎn)的灰度值，得到經(jīng)CLAHE 增強(qiáng)的各通道灰度圖，融合后即為最終的增強(qiáng)結(jié)果。

3 實(shí)驗(yàn)結(jié)果與分析

該部分將本文算法結(jié)果與近年提出的基于場(chǎng)景深度先驗(yàn)算法、圖像融合算法和紅通道先驗(yàn)算法的處理結(jié)果進(jìn)行比對(duì)。

3.1 定性分析

圖4～7 四組圖片給出了原圖及分別采用4 種方法的處理結(jié)果。從圖中可以看出，場(chǎng)景深度先驗(yàn)算法的處理結(jié)果具有一定程度的去模糊效果，相較于原圖細(xì)節(jié)更加豐富，但是與本文算法相比，色彩還原較差，基本維持了原圖的色偏現(xiàn)象，而圖6(b)則出現(xiàn)明顯的紅色色偏問(wèn)題；圖像融合算法的處理結(jié)果色彩較為柔和，比較符合人眼視覺(jué)習(xí)慣，但是與本文算法相比，該算法的清晰度稍差，如圖4(c)中的巖石和圖6(c)中的水草，陰影較為模糊，對(duì)比度偏低；紅通道先驗(yàn)算法處理結(jié)果較為均衡，在去模糊和色偏校正上均取得了一定效果，但是對(duì)比度稍遜于本文算法，細(xì)節(jié)上不夠明顯，層次感稍弱。顯然，文中方法的處理效果具有對(duì)比度更強(qiáng)、細(xì)節(jié)更突出、色彩恢復(fù)更真實(shí)以及高光更柔和等優(yōu)點(diǎn)。

圖4 海底地面Fig.4 Sea floor

圖5 珊瑚Fig.5 Coral

圖6 魚(yú)群Fig.6 Fishes

3.2 定量分析

主觀上對(duì)圖像的評(píng)價(jià)具有個(gè)體差異性，不夠準(zhǔn)確。因此，需要采用客觀評(píng)價(jià)方法進(jìn)一步分析。在圖像質(zhì)量評(píng)價(jià)方面，采用平均梯度、彩色圖片信息熵以及最大對(duì)比度與最小偽影（Maximizing Contrast With Minimum Artefact，MCMA）[14]3 種圖像質(zhì)量評(píng)估標(biāo)準(zhǔn)對(duì)實(shí)驗(yàn)結(jié)果進(jìn)行客觀分析。其中平均梯度通過(guò)圖像邊緣灰度變化率的大小來(lái)反映圖像的清晰度和紋理變化，其值越大說(shuō)明圖像越清晰；彩色圖片信息熵則表征圖像的平均信息量，其值越大說(shuō)明色彩越艷麗，色偏校正效果越好；MCMA 通過(guò)視覺(jué)質(zhì)量改善和信息保存兩個(gè)因素來(lái)衡量對(duì)比度增強(qiáng)方法的性能，其值越高，表明圖片的視覺(jué)效果越好，信息保存越好。由表1中的數(shù)據(jù)可以看出：

表1 各項(xiàng)評(píng)價(jià)指標(biāo)值Table 1 Evaluation index values

1）4 幅圖像經(jīng)過(guò)各算法處理后，圖像信息熵較原圖均有一定幅度的提升，但是場(chǎng)景深度先驗(yàn)算法受圖像影響較大，提升效果有一定起伏，魯棒性稍弱。而本文算法不僅提升效果較為穩(wěn)定，且始終高于其他算法，表明使用本文算法，會(huì)獲得色彩信息更加豐富的結(jié)果。

2）從平均梯度數(shù)據(jù)對(duì)比中可以看出，對(duì)于圖4～6，本文算法相較其他3 種算法而言，平均梯度值均有顯著提升，在圖7中，也僅有圖像融合一種算法結(jié)果較為接近?？梢?jiàn)本文算法結(jié)果更加清晰，紋理更加明顯。

圖7 潛水員Fig.7 Diver

3）從MCMA 數(shù)據(jù)對(duì)比中可以看出，本文算法的處理結(jié)果，除在圖7中稍遜于圖像融合算法的結(jié)果外，均優(yōu)于其他算法的結(jié)果。說(shuō)明本文算法能夠在保存信息的同時(shí)，獲得良好的視覺(jué)質(zhì)量改善效果。

綜合考慮圖片質(zhì)量改善程度和人眼視覺(jué)效果，本文算法具有更好的適用性和明顯的優(yōu)越性。

4 結(jié)語(yǔ)

本文針對(duì)水下圖像畫(huà)質(zhì)模糊，色偏嚴(yán)重等問(wèn)題，提出一種結(jié)合改進(jìn)紅通道先驗(yàn)和歸一化冪律校正CLAHE 算法的水下圖像復(fù)原方法，該方法首先對(duì)背景光預(yù)估方式進(jìn)行改進(jìn)，用以避免水下環(huán)境中白色物體和人工光源的影響，然后根據(jù)水下成像特點(diǎn)利用紅通道先驗(yàn)理論對(duì)圖像進(jìn)行去模糊處理。為了避免進(jìn)一步圖像增強(qiáng)時(shí)因亮度過(guò)度增加而產(chǎn)生偽影，對(duì)處理結(jié)果進(jìn)行歸一化冪律校正，再采用CLAHE 算法進(jìn)行圖像增強(qiáng)。最后通過(guò)主觀和客觀的評(píng)價(jià)方法對(duì)本文算法進(jìn)行了評(píng)估。結(jié)果表明，本文的方法能夠提高水下圖像的畫(huà)質(zhì)，保留圖像細(xì)節(jié)信息的同時(shí)去除模糊，而且復(fù)原圖像色彩準(zhǔn)確，貼近自然，具有一定實(shí)際應(yīng)用價(jià)值。