基于暗通道和伽馬變換的水下圖像增強(qiáng)

胡 易， 鄒 立， 昝世良， 曹芳芳， 趙 猛

(山東科技大學(xué)電氣與自動(dòng)化工程學(xué)院，山東 青島 266590)

0 引言

海底資源勘探、水下設(shè)施維修、海洋救援、水下目標(biāo)的檢測與跟蹤[1]等工作需要借助大量的圖像數(shù)據(jù)。攝像機(jī)在采集水下圖像時(shí)受光吸收和散射的影響，圖像存在顏色失真、邊緣模糊和對(duì)比度低等問題。不同波長的光在水中傳播時(shí)，會(huì)受到不同程度的衰減，水下顏色衰減隨深度變化[2]，其中藍(lán)、綠光衰減較少，因此水下圖像以藍(lán)色或綠色色調(diào)為主。此外，水中懸浮的粒子吸收了大部分光能，造成光譜的退化效應(yīng)，導(dǎo)致圖像對(duì)比度低、模糊。

提高水下圖像質(zhì)量的方法一般分為兩類：圖像恢復(fù)技術(shù)和圖像增強(qiáng)技術(shù)[3]。圖像恢復(fù)技術(shù)通過對(duì)水下成像模型參數(shù)估計(jì)，恢復(fù)退化圖像。王國霖等[4]提出基于雙透射率水下成像模型的圖像顏色校正，解決了水下圖像的顏色失真問題，提高了圖像的視覺質(zhì)量；李向春等[5]提出基于透射率優(yōu)化和顏色修正的水下圖像增強(qiáng)方法，根據(jù)水下光學(xué)成像模型，解決了水下光學(xué)圖像對(duì)比度低、顏色失真的問題，提高了圖像對(duì)比度和清晰度；霍光堯等[6]提出基于暗通道先驗(yàn)和自適應(yīng)顏色校正的水下圖像處理方法，有效地改善了圖像的質(zhì)量。圖像增強(qiáng)技術(shù)不依賴于成像的物理模型，通過修改圖像像素值來增強(qiáng)水下圖像。IQBAL等[7]提出使用無監(jiān)督的色彩校正方法增強(qiáng)低質(zhì)量圖像，簡稱為UCM算法；鄒立等[8]提出視覺顯著性分割和Retinex算法相結(jié)合的水下圖像增強(qiáng)方法,提高水下非均勻光照條件下的圖像清晰度；ZHANG等[9]提出基于色彩校正和光照調(diào)節(jié)的水下圖像增強(qiáng)方法,簡稱為ISM算法；ZHANG等[10]提出基于圖像降噪與顏色校正的水下圖像增強(qiáng)，簡稱為VCIP算法。上述處理水下圖像所用方法，雖然解決了一定水域環(huán)境下圖像恢復(fù)或增強(qiáng)問題，但部分算法運(yùn)算復(fù)雜度不高，僅適用于特定環(huán)境場合，對(duì)于不同環(huán)境的水下圖像，缺少自適應(yīng)性。

近年來，基于深度學(xué)習(xí)的水下圖像增強(qiáng)方法越來越多。2018年，LU 等[11]利用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)水下圖像進(jìn)行深度估計(jì)，解決了水下光散射效應(yīng)的問題，實(shí)現(xiàn)了在低照度水下環(huán)境下的圖像增強(qiáng)；同年，LI等[12]提出了一種基于弱監(jiān)督顏色傳遞的水下圖像增強(qiáng)方法，通過水下圖像與空氣圖像之間的跨域映射函數(shù)來增強(qiáng)圖像。2019年，受生成性對(duì)抗性網(wǎng)絡(luò)(GANS)的啟發(fā),GUO等[13]提出了一種用于水下圖像增強(qiáng)的多尺度密集GAN算法，通過引入多尺度、密集級(jí)聯(lián)和殘差學(xué)習(xí)策略，提高了水下圖像增強(qiáng)的性能。2020年，LI等[14]提出了一種基于配對(duì)水下圖像和相應(yīng)參考圖像的深度基線模型，來提高水下圖像的視覺效果。由于深度學(xué)習(xí)算法的網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜性，在應(yīng)用于特定水下環(huán)境時(shí)需要調(diào)整大量參數(shù)，環(huán)境一旦改變，需重新訓(xùn)練大量樣本，不適用于水下圖像增強(qiáng)處理。

針對(duì)上述算法存在的問題，結(jié)合圖像恢復(fù)和增強(qiáng)技術(shù)，本文提出一種自適應(yīng)顏色校正和提高對(duì)比度的圖像增強(qiáng)算法，能夠有效地改善圖像顏色失真現(xiàn)象，實(shí)現(xiàn)水下圖像自適應(yīng)增強(qiáng)。首先，在圖像暗通道估計(jì)透射率和大氣光照值，進(jìn)而得到自適應(yīng)補(bǔ)償參數(shù)校正圖像顏色。然后，將RGB圖像空間轉(zhuǎn)化到HSV顏色空間，在亮度V通道中，通過估計(jì)的自適應(yīng)補(bǔ)償系數(shù)進(jìn)行伽馬變換，用來改善圖像對(duì)比度，最終實(shí)現(xiàn)圖像增強(qiáng)。

1 水下圖像顏色校正

1.1 水下圖像成像模型

Iλ(x)=Bλ(x)+Dλ(x)+Fλ(x)

(1)

式中：λ為圖像的三通道；Iλ(x)表示水下觀測到的圖像。

背景光Bλ由入射光經(jīng)過水中分布的懸浮粒子多次散射引起，與水下環(huán)境中的介質(zhì)有關(guān)，定義為

Bλ(x)=Aλ(x)·(1-t(x))

(2)

式中:Aλ(x)為當(dāng)前水下大氣光照值;水下光的透射率t(x)定義為

t(x)=e-εd(x)

(3)

式中:ε為水中的衰減系數(shù);d(x)為成像設(shè)備到觀測物體間的距離。

直接衰減光Dλ定義為

Dλ(x)=Jλ(x)t(x)

(4)

式中:Jλ(x)為待恢復(fù)圖像。

前向散射分量Fλ(x)表示物體以小角度散射反射的光量，由于反射光量很小，一般忽略不計(jì)。

將式(2)、式(4)代入式(1)，得到水下成像模型為

5.A專題教學(xué)（分為必講選將），B教學(xué)內(nèi)容優(yōu)化組合（重點(diǎn)難點(diǎn)）C以學(xué)理邏輯說服學(xué)生，努力構(gòu)建自己的新的邏輯框架。D要有理論自信：講出理論深度，泛講十點(diǎn)不如精講一點(diǎn)。言之有物超越教材⑤回應(yīng)爭議E要有亮點(diǎn)（邏輯、案例、詩歌）F用非理論化的語言講理論。

Iλ(x)=Jλ(x)t(x)+Aλ(x)·(1-t(x))。

(5)

利用水下成像模型來估計(jì)水下光的透射率和大氣光照值。

1.2 估計(jì)水下光的透射率值和大氣光照值

HE等[16]提出了暗通道先驗(yàn)去霧算法，大多數(shù)非天空區(qū)域中圖像的RGB三通道中，總存在某一個(gè)通道的灰度值很低，幾乎趨向于零。其暗通道先驗(yàn)表示為

(6)

式中：Ω(x)為水下圖像中以x點(diǎn)為中心的局部空間位置；Iλ(y)為原圖像；Idark(x)為求得的暗通道圖像。式(5)可變換為

(7)

對(duì)式(7)中的局部區(qū)域x進(jìn)行最小運(yùn)算，即

(8)

(9)

水下大氣光照Aλ通常假定為水下圖像中亮度值最高的像素強(qiáng)度，然而，這種假定會(huì)由于物體自身發(fā)光產(chǎn)生錯(cuò)誤結(jié)果。因此，通過計(jì)算局部區(qū)域x的最小值求解背景光對(duì)應(yīng)的最亮像素值，z作為整個(gè)圖像的背景光。Aλ定義為

(10)

利用估計(jì)的值作為自適應(yīng)補(bǔ)償系數(shù)，對(duì)圖像的顏色進(jìn)行校正。

1.3 圖像顏色校正

(11)

N=(m·n)/1000

(12)

(13)

式中：N為原水下圖像Iλ(x,y)的總像素點(diǎn)個(gè)數(shù)的前0.1%；Ar,Ag與Ab為三通道大氣光照均值。

由物體顏色感知空間處理模型[17]啟發(fā)，一幅圖像3個(gè)顏色分量的平均值趨于128。對(duì)原圖像顏色通道進(jìn)行調(diào)節(jié)，通過文獻(xiàn)[17]中公式將圖像顏色分量調(diào)節(jié)到128，實(shí)現(xiàn)圖像顏色校正。顏色校正方法[18]采用分段線性變換將圖像的像素均值拉伸到128。原方法需手動(dòng)調(diào)節(jié)參數(shù)，不具有魯棒性，同時(shí)，針對(duì)低像素圖像通道，進(jìn)行像素補(bǔ)償導(dǎo)致圖像補(bǔ)償過度，引起圖像色偏，產(chǎn)生過度增強(qiáng)的結(jié)果。最后，該算法用通道的最大、最小與均值做增強(qiáng)處理，圖像自身的偏色會(huì)影響后面求解的值，導(dǎo)致圖像顏色校正失敗。本文做出如下改進(jìn)，自適應(yīng)補(bǔ)償圖像的最大、最小與均值像素值，改進(jìn)顏色校正公式，即

(14)

(15)

式中:和分別為圖像均值與均方差;與分別為補(bǔ)償后的圖像像素最大值和最小值，d為圖像像素的自適應(yīng)補(bǔ)償系數(shù)。本文顏色校正公式表示為

(16)

式中：為顏色校正圖像；為圖像像素線性拉伸的標(biāo)準(zhǔn)，為圖像各通道的平均值，為圖像各通道的中值，為圖像最大值與最小值的平均值。

2 水下圖像伽馬變換

顏色校正后的水下圖像一般仍存在對(duì)比度低、亮度不均的情況。通過自適應(yīng)伽馬變換(AGCWD)[19]增強(qiáng)水下圖像，將RGB圖像轉(zhuǎn)換到HSV空間，然后保持飽和度和色度不變，對(duì)亮度通道V進(jìn)行自適應(yīng)伽馬變換，亮度成分可增強(qiáng)圖像的可見度和清晰度，即

Vre(x,y)=Vmax(V(x,y)/Vmax)γ

(17)

式中：Vre(x,y)表示對(duì)比度增強(qiáng)后的圖像V通道；Vmax表示V(x,y)通道最大亮度值。對(duì)于不同環(huán)境自適應(yīng)調(diào)節(jié)γ值。首先，定義概率密度函數(shù)f(V)為

f(V)=nv/(m·n)

(18)

式中：nv表示亮度分量為V值所對(duì)應(yīng)的像素?cái)?shù)；m·n表示圖像中的像素總數(shù)。定義亮度的權(quán)值分布函數(shù)fv(V)為

(19)

式中:fmax表示f(V)的最大值;fmin表示f(V)的最小值。將式(15)中的暗通道估計(jì)值d作為權(quán)值分布函數(shù)自適應(yīng)調(diào)節(jié)值。不同亮度對(duì)應(yīng)的校正系數(shù)γ表示為

(20)

3 實(shí)驗(yàn)與分析

實(shí)驗(yàn)數(shù)據(jù)集來源于公用水下圖像數(shù)據(jù)集(RUIE)。數(shù)據(jù)集共4857幅圖像，包含海參、扇貝、海膽、海刺等水下生物，主要按綠色場景(4757幅)和藍(lán)色場景(100幅)分為兩類，部分?jǐn)?shù)據(jù)集圖像如表1所示。實(shí)驗(yàn)所用計(jì)算機(jī)的配置為CPU Intel(R) Core (TM) i7-7700HQ，2.30 GHz，RAM 8 GiB，在Matlab R2017a上進(jìn)行仿真實(shí)驗(yàn)，驗(yàn)證本文算法對(duì)水下圖像的增強(qiáng)效果。為了驗(yàn)證本文算法的有效性，將本文算法的圖像輸出與以往研究中提出的其他方法的結(jié)果進(jìn)行對(duì)比分析。對(duì)比所用的方法有基于圖像降噪與顏色校正的ISM方法[9]、基于無監(jiān)督顏色模型的UCM方法[7]、基于色彩校正和光照調(diào)節(jié)的VCIP方法[10]。

表1 實(shí)驗(yàn)數(shù)據(jù)集

3.1 主觀評(píng)價(jià)

選取數(shù)據(jù)集中3幅2組不同場景的圖像進(jìn)行增強(qiáng)算法的主觀評(píng)價(jià)，圖像分別為Green1,Green3,Blue1,實(shí)驗(yàn)結(jié)果如圖1所示。

圖1 圖像增強(qiáng)效果對(duì)比

在RUIE數(shù)據(jù)集上比較了4種提高圖像質(zhì)量的方法。圖1的主觀結(jié)果比較表明，大多數(shù)方法能夠?qū)崿F(xiàn)水下圖像增強(qiáng)。對(duì)于UCM算法，在Green1圖像中顏色失真，且圖像亮度不均，導(dǎo)致圖像細(xì)節(jié)丟失；Green3和Blue1圖像顏色沒有得到較好校正。對(duì)于ISM算法，在Green1和Green3圖像中出現(xiàn)色彩過飽和，伴有顏色失真現(xiàn)象產(chǎn)生； Blue1圖像偏藍(lán)。對(duì)于VCIP算法，在Green1和Green3圖像中處理的結(jié)果出現(xiàn)顏色失真情況。此外，這3種方法由于固定參數(shù)設(shè)置，無法在各種環(huán)境中自適應(yīng)處理。本文算法有效地解決了圖像顏色失真問題，自適應(yīng)調(diào)節(jié)圖像增強(qiáng)結(jié)果，改善了圖像的整體視覺效果。

3.2 客觀評(píng)價(jià)

客觀評(píng)價(jià)不同水下增強(qiáng)算法的性能，常用圖像峰值信噪比(PSNR)、信息熵(EI)、結(jié)構(gòu)相似性(SSIM)、水下彩色圖像質(zhì)量評(píng)價(jià)(UCIQE)度量和無參考圖像主觀評(píng)價(jià)分?jǐn)?shù)的(NIQE)質(zhì)量評(píng)價(jià)共5種參考度量來定量評(píng)估水下圖像質(zhì)量。峰值信噪比表示圖像最大像素值與噪聲的比值，圖像處理后的峰值信噪比越大，圖像處理效果越好；信息熵表示測量圖像信息內(nèi)容的豐富程度，恢復(fù)圖像的熵越大，包含的信息越多，圖像的質(zhì)量越好；結(jié)構(gòu)相似性是一種衡量2幅圖像相似度的評(píng)估指標(biāo)，其值越大，圖像失真越小；水下彩色圖像質(zhì)量評(píng)價(jià)度量是評(píng)價(jià)水下圖像色度、飽和度和對(duì)比度的綜合指標(biāo)，其輸出值越大，輸出圖像的質(zhì)量越好；無參考圖像主觀評(píng)價(jià)分?jǐn)?shù)的質(zhì)量評(píng)價(jià)模型，在圖像評(píng)估方面有著穩(wěn)定性和單調(diào)性，能夠有效地進(jìn)行實(shí)時(shí)圖像質(zhì)量評(píng)價(jià)。

利用上述性能評(píng)估指標(biāo)分別對(duì)表1中的2組水下不同場景里的6幅圖像樣本進(jìn)行增強(qiáng)前后效果評(píng)估，整體評(píng)估結(jié)果如表2所示。

表2 各算法圖像增強(qiáng)效果的量化評(píng)估

如表2所示，PSNR評(píng)價(jià)指標(biāo)表示值越大，圖像的失真越小，ISM算法和VCIP算法部分圖像保持較低的失真率，優(yōu)于本文算法，UCM算法評(píng)價(jià)值稍小，圖像中出現(xiàn)部分區(qū)域的顏色失真。EI評(píng)價(jià)指標(biāo)表示圖像包含的信息大小，本文算法稍優(yōu)于對(duì)比算法。SSIM評(píng)價(jià)指標(biāo)表示增強(qiáng)圖像與原始圖像的相似度，3種算法與本文算法評(píng)價(jià)值大致一致。UCIQE評(píng)價(jià)為水下圖像色度、飽和度和對(duì)比度的綜合指標(biāo)，本文算法在2組水下場景下優(yōu)于其他3種對(duì)比算法。NIQE評(píng)價(jià)指標(biāo)更接近人眼的主觀評(píng)價(jià)，其值越低，失真越小，圖像的質(zhì)量越好，本文算法所表現(xiàn)的效果優(yōu)于其他對(duì)比算法。綜合來看，本文算法中的PSNR指標(biāo)部分(藍(lán)色圖像)稍低于對(duì)比算法，SSIM，UCIQE和NIQE評(píng)價(jià)指標(biāo)稍高于其他對(duì)比算法，圖像的顏色校正主觀上好于其他對(duì)比算法，在圖像亮度、對(duì)比度方面對(duì)比其他算法有顯著提高。本文算法的量化評(píng)估結(jié)果數(shù)值在各個(gè)評(píng)價(jià)指標(biāo)方面優(yōu)于其他對(duì)比算法，當(dāng)處理復(fù)雜圖像時(shí)，在保持圖像信息方面表現(xiàn)出較好的性能。經(jīng)過處理后的圖像視覺質(zhì)量顯著提高，實(shí)現(xiàn)水下圖像自適應(yīng)增強(qiáng)。

4 結(jié)束語

針對(duì)水下圖像顏色失真的特點(diǎn),利用暗通道先驗(yàn)估計(jì)圖像顏色通道的透射率和大氣光照值，線性加權(quán)處理后作為自適應(yīng)補(bǔ)償參數(shù)，對(duì)圖像進(jìn)行顏色校正調(diào)節(jié)，再將RGB空間圖像轉(zhuǎn)化到HSV顏色空間模型，最后利用伽馬變換對(duì)亮度V通道自適應(yīng)調(diào)節(jié)，提高圖像的對(duì)比度。實(shí)驗(yàn)的定性定量分析表明，所提算法針對(duì)公用水下圖像數(shù)據(jù)集(RUIE)進(jìn)行圖像增強(qiáng)，顯著提高了水下圖像的視覺質(zhì)量，與其他算法進(jìn)行比較，顯示出了更好的性能。由于本文只針對(duì)自然水域下的圖像進(jìn)行圖像增強(qiáng)處理，在今后的工作中嘗試進(jìn)行人工光源下的圖像增強(qiáng)。