水下圖像基于GAN 去模糊的增強(qiáng)技術(shù)

王宏媯史先鵬*

(1.國家深?；毓芾碇行?山東 青島 266237;2.杭州電子科技大學(xué) 自動化學(xué)院,浙江 杭州 310018)

海洋是一個巨大的自然資源寶庫,蘊藏著豐富的生物資源和礦產(chǎn)資源[1]。水下圖像處理技術(shù)可極大地幫助人類觀察和探索水下世界,在海底考古、海底地形調(diào)查和海底礦物勘探等活動中起著重要的作用,是載人潛水器、遙控水下機(jī)器人(Remotely Operated Vehicles,ROV)和自治水下機(jī)器人(Autonomous Underwater Vehicles,AUV)等水下載體應(yīng)用中的必要技術(shù)[2-4]。

水下圖像增強(qiáng)方法大致可分為有光學(xué)模型[5]和無光學(xué)模型[6-8]的方法。基于光學(xué)模型的方法有暗通道先驗(Dark Channel Prior,DCP)[9]、水下暗通道先驗(Underwater Dark Channel Prior,UDCP)以及基于圖像模糊和光吸收的恢復(fù)(Image Blurriness and Light Absorption,IBLA)方法。這幾種方法經(jīng)歷了一個發(fā)展過程。起先,考慮到霧天成像與水下成像的物理過程具有相似性,DCP被廣泛應(yīng)用于水下圖像[10-11]。但在超過30 m 深的水域下紅光衰減嚴(yán)重,使用DCP的效果受到限制[12]。因此,在2013年Drews等[13]結(jié)合水下圖像特點,提出了UDCP方法。后來,Peng和Cosman[14]提出了IBLA 方法,此方法雖然耗時,但恢復(fù)效果優(yōu)于UDCP?；跓o光學(xué)模型的方法包含傳統(tǒng)圖像增強(qiáng)和神經(jīng)網(wǎng)絡(luò)增強(qiáng)兩大類方法。其中,傳統(tǒng)圖像增強(qiáng)方法基于圖像的像素提高退化圖像的可見性,例如直方圖均衡化(Histogram Equalization,HE)、自適應(yīng)直方圖均衡化(Adaptive Histogram Equalization,AHE)、對比度限制的自適應(yīng)直方圖均衡化(Contrast Limited Adaptive Histogram Equalization,CLAHE)[15]和灰度世界(Gray World)[16]等方法。然而,基于深度學(xué)習(xí)的方法并不依賴于任何實驗或經(jīng)驗參數(shù),它具有計算效率高的特點,例如:Chen等[17]提出的恢復(fù)模型(GAN-based Restoration Scheme,GAN-RS)在特征提取中有很好的效果;Li等[18]提出了一個密集連接的FCNN(Fourier Convolutional Neural Networks)的UWCNN(Underwater Convolutional Neural Network)模型,這既能保留原始結(jié)構(gòu)和紋理,又能重建清晰的水下圖像輕量級網(wǎng)絡(luò)。但是,這些方法在分析退化圖像時都忽略了水下圖像運動模糊的問題。

隨著神經(jīng)網(wǎng)絡(luò)算法的興起,利用深度學(xué)習(xí)的方法改進(jìn)水下圖像處理技術(shù)已成大勢所趨?？紤]到現(xiàn)有方法的局限性,本文提出基于生成對抗網(wǎng)絡(luò)(Generative Adversarial Networks,GAN)的水下圖像去模糊技術(shù),先根據(jù)水下圖像顏色像素均值獲得主顏色通道自適應(yīng)恢復(fù)圖像色彩,然后利用含有殘差塊的Deblur GAN網(wǎng)絡(luò)[19-20]去除水下圖像中的模糊現(xiàn)象,使水下圖像處理后能夠達(dá)到良好的視覺效果。

1 水下圖像顏色恢復(fù)

水下圖像顏色的恢復(fù)階段需要考慮4個問題:①不能過度補(bǔ)償,使圖像產(chǎn)生紅色的偽影;②注意圖像曝光區(qū)域的顏色是否發(fā)生畸變;③最好能自適應(yīng)地補(bǔ)償被高度衰減的通道;④在顏色校正后不應(yīng)丟失圖中的細(xì)節(jié)特征,以保證一定的圖像質(zhì)量。因此,本文在恢復(fù)水下圖像顏色過程中,先銳化增強(qiáng)圖像的輪廓和細(xì)節(jié),然后通過自適應(yīng)的顏色補(bǔ)償恢復(fù)水下圖像顏色,最后采取線性校正的方法消除圖像中像素分布不均勻的情況。

1.1 銳化過程

高斯濾波[21]有增強(qiáng)輪廓的效果,均值漂移算法[22]有平滑色彩細(xì)節(jié)的作用,因此,將原始的水下圖像I依次進(jìn)行高斯濾波和均值漂移,可得到平滑圖像B:

式中:λ∈{b,g,r},其為圖像中BGR 3個通道;x為圖像在λ通道時的像素點。

基于圖像I和B,可獲得銳化后的圖像D:

式中,α為原始的水下圖像I的權(quán)重,用于調(diào)節(jié)圖像D的明暗度。

1.2 自適應(yīng)顏色校正過程

Ancuti等[23]考慮到水下綠色通道的衰減程度最小,所以將綠色通道固定為圖像的主導(dǎo)通道,并對剩余通道進(jìn)行補(bǔ)償。然而,這并不能保證所有水下圖像都由綠色通道主導(dǎo),在顏色校正過程中有局限性。為了達(dá)到自適應(yīng)顏色校正的效果,每個圖像動態(tài)選擇均值最大的通道作為主導(dǎo)通道k:

然后,基于主導(dǎo)k通道對剩余通道進(jìn)行補(bǔ)償,得到校正后的圖像Ic:

式中,β為用于調(diào)節(jié)圖像D補(bǔ)償程度權(quán)重為補(bǔ)償項,1-D(λ,x)為度量值。當(dāng)圖像D在λ通道位于x的像素值D(λ,x)很小時,度量值反而會增大,此時像素點x獲得的補(bǔ)償也增大。

1.3 圖像線性拉伸過程

在顏色恢復(fù)的最后一步,將圖像Ic通過線性拉伸改善圖像對比度,得到最終的圖像M:

式中,參數(shù)min和max分別設(shè)置為圖像中前2%和后1%的像素值大小,將圖像中的像素值均勻地分布到[min,max]內(nèi)。

2 基于GAN 去模糊

2.1 GAN 網(wǎng)絡(luò)結(jié)構(gòu)

生成對抗網(wǎng)絡(luò)(GAN)由生成器網(wǎng)絡(luò)和判別器網(wǎng)絡(luò)兩個網(wǎng)絡(luò)構(gòu)成。生成器網(wǎng)絡(luò)可以將原始圖像轉(zhuǎn)化為高質(zhì)量的圖像[19],而判別器網(wǎng)絡(luò)用于判別圖像的真?zhèn)涡訹19]。由于GAN 網(wǎng)絡(luò)具有高效的建模能力,因此,本文采用DeblurGAN的方法將模糊圖像重建為清晰圖像,GAN整體網(wǎng)絡(luò)結(jié)構(gòu)如圖1所示。生成器首先經(jīng)過2個下采樣,然后進(jìn)入由殘差網(wǎng)絡(luò)思想構(gòu)造的特征增強(qiáng)提取模塊[24],最后通過2個上采樣得到最終的結(jié)果圖像。而判別器將生成的圖像和真實圖像作為輸入,經(jīng)過4次下采樣后進(jìn)入全連接層獲得判別結(jié)果。

圖1 GAN 網(wǎng)絡(luò)結(jié)構(gòu)Fig.1 GAN network structure

2.2 GAN 網(wǎng)絡(luò)細(xì)節(jié)

生成器和判別器的卷積塊如圖2a和圖2b所示。由于生成器網(wǎng)絡(luò)復(fù)雜,其卷積塊的激活函數(shù)選擇簡單快速的Relu函數(shù),盡可能減少網(wǎng)絡(luò)中繁冗的信息;而簡單的判別器網(wǎng)絡(luò)則采用Leaky Relu 激活函數(shù)保留僅有的信息[25]。

另外,在生成器中,特征增強(qiáng)模塊通過殘差思想解決網(wǎng)絡(luò)退化問題,其由9個殘差卷積塊組合而成,能夠保留更多的圖像特征。殘差卷積塊如圖2c所示,可表示為:

圖2 3種卷積塊結(jié)構(gòu)Fig.2 Three convolutional block structures

式中,Z k為生成器第k層網(wǎng)絡(luò)的輸出,Z k下一層輸出Z k+1的則是由直接映射Z k和間接映射ι(Z k)兩部分構(gòu)成。為了避免模型的過擬合,在間接映射時將使用Dropout正則化,以減少模型的訓(xùn)練參數(shù)[26]。

3 結(jié)果與分析

本實驗共選取了UIEB數(shù)據(jù)集[27]中的70張原始水下圖像,并對其進(jìn)行增強(qiáng)處理。在訓(xùn)練GAN 時,采用了GOPRO_Large數(shù)據(jù)集[28]。實驗所用的計算機(jī)處理器為AMD R7-4800 H(16G),顯卡為RTX 2060(6G)。

為分析本文方法的有效性,通過與現(xiàn)有的水下圖像處理方法進(jìn)行對比,從視覺顏色、視覺清晰度、圖像特征提取和圖像質(zhì)量指標(biāo)這4個維度來分析實驗結(jié)果。

3.1 視覺色彩分析

在測試圖像視覺顏色效果時,選取5張帶有藍(lán)綠偏色的圖像[27],分別基于CLAHE[15]、Gray World[16]、簡單白平衡[29]和本文方法進(jìn)行對比,結(jié)果(圖3)顯示,采用CLAHE和簡單白平衡方法的圖像依舊有藍(lán)綠偏色(圖3b和圖3d),而采用Gray World方法的圖像整體色調(diào)偏紅(圖3c)。這些方法獲得的圖像都有缺陷,究其原因是沒有充分考慮到水下圖像顏色分布的特殊性。其中,CLAHE 和簡單白平衡方法是對圖像像素的重新分布,僅能夠提高圖像的對比度,但無法進(jìn)一步解決圖像偏色的問題。Gray World方法假設(shè)圖像RGB 3個分量有相同均值,這會過度補(bǔ)償紅色通道,使得水下圖像呈現(xiàn)出紅色偽影的問題。本文提出的方法充分利用水下圖像的特點,利用自適應(yīng)補(bǔ)償通道的手段來校正圖像,能夠較好地恢復(fù)水下圖像顏色,完全消除偏色并且沒有紅色偽影現(xiàn)象的產(chǎn)生,如圖3d所示。

圖3 基于CLAHE、Gray World、簡單白平衡和本文方法對圖像顏色恢復(fù)效果的比較Fig.3 Comparison of image color restoration effects based on CLAHE,Gray World,White Balance and the method of this study

3.2 視覺清晰度分析

為驗證本文方法對非模糊圖像的處理效果,選取3張無運動模糊的水下圖像[27]進(jìn)行實驗(圖4)。觀察圖4a和圖4b中珊瑚的顆粒、船上泥垢的紋路和魚的鱗片,發(fā)現(xiàn)本文方法得到的圖像清晰度更高,物體的輪廓特征更明顯。但圖4只能說明本文方法有提高圖像清晰度的能力,無法展現(xiàn)其去模糊能力。因此,本文根據(jù)不同的模糊參數(shù)生成7張不同的模糊圖像進(jìn)行實驗(圖5),以證明本文去模糊方法的有效性。與圖5a中的圖像相比,圖5b中圖像的模糊程度更小、清晰度更高。雖然本文方法的去模糊效果隨著模糊長度的增加而相對減弱(對比圖5b中:Ⅱ、Ⅲ、Ⅳ;Ⅴ、Ⅵ、Ⅶ),但具有相同模糊長度的圖像去模糊效果不會隨著模糊角度的變化而減弱(對比圖5a中:Ⅱ、Ⅴ;Ⅲ、Ⅵ;Ⅳ、Ⅶ)。由此可知,本文方法具有穩(wěn)定的去模糊能力,且適用于模糊現(xiàn)象不同的圖像。

圖4 本文方法對非模糊水下圖像的處理結(jié)果Fig.4 The processing results of the unblurred underwater image

圖5 本文方法對模糊圖像的處理結(jié)果Fig.5 The processing result of the blurred images

3.3 特征提取分析

SIFT(Scale-Invariant Feature Transform)[21]常被用于描述圖像的局部特征,特征越多,圖像包含的信息就越豐富。為進(jìn)一步驗證本文算法對水下圖像特征的增強(qiáng)效果,采用SIFT 分別對原圖和基于UDCP[13]、IBLA[14]、DCP[9-10]和本文方法獲得的結(jié)果來計算特征點數(shù)量,結(jié)果如圖6所示。由圖6可以看出,經(jīng)過本文方法處理后的3個圖像獲得的特征點個數(shù)都是最多的,即得到的圖像特征最多,更有利于圖像信息的提取。所以,在后續(xù)進(jìn)行目標(biāo)識別等工作中,本文方法比UDCP、IBLA 和DCP更有優(yōu)越性。

圖6 基于UDCP、IBLA、DCP和本文方法對圖像特征點個數(shù)的比較Fig.6 Comparison of the number of image feature points based on UDCP,IBLA,DCP and the method in this paper

3.4 質(zhì)量指標(biāo)分析

為客觀地評價本文方法,選取2種指標(biāo)對水下圖像的質(zhì)量進(jìn)行評價,即水下圖像質(zhì)量度量(Underwater Image Quality Measures,UIQM)[30]和水下彩色圖像質(zhì)量評估(Underwater Color Image Quality Evaluation,UCIQE)[31]。其中,UIQM 是從圖像的對比度、清晰度和色彩三方面評價圖像質(zhì)量的指標(biāo),而UCIQE是從圖像的亮度、色度和飽和度三方面評價圖像質(zhì)量的指標(biāo)。這2個指標(biāo)都是無參考評價指標(biāo),即通過評價圖像自身信息來評估圖像的優(yōu)劣,UIQM 和UCIQE值越大,說明圖像的視覺效果越好。

選取70張水下圖像,將本文算法與UDCP[13]、IBLA[14]和DCP[9]三種增強(qiáng)方法進(jìn)行對比,并記錄圖像的質(zhì)量指標(biāo)平均值,如表1 所示。由表1 可知,本文方法相比其他3 種方法得到的UIQM 值最高。但將UCIQE作為圖像質(zhì)量評價指標(biāo)時,基于UDCP方法獲得的UCIQE 值最高,本文方法獲得的UCIQE 值僅次于UDCP方法。綜合2個質(zhì)量評價指標(biāo)的結(jié)果,可得本文方法具有顏色保真度高和圖像質(zhì)量好的特點。

表1 基于不同方法的圖像質(zhì)量評估Table 1 Image quality evaluation based on different methods

4 結(jié)語

針對部分水下圖像存在運動模糊的問題,本文提出了基于自適應(yīng)顏色校正和GAN 去模糊的水下圖像增強(qiáng)方法。實驗結(jié)果表明,本文所提出的算法無論是在水下圖像視覺評估中還是在質(zhì)量指標(biāo)分析中都表現(xiàn)出很好的效果,具體體現(xiàn)在4個方面:①校正了水下圖像的偏色,使得圖像具有良好的視覺效果;②解決了水下圖像對比度低和運動模糊的問題;③具有良好的泛化能力,可以應(yīng)對各種模糊的水下圖像;④增強(qiáng)了圖像中的輪廓特征,為后續(xù)的水下目標(biāo)識別工作奠定了基礎(chǔ)。