改進的同態(tài)濾波與多尺度融合的水下圖像增強

楊亞絨,李恒,趙磊,王海瑞

(昆明理工大學 信息工程與自動化學院,昆明 650500)

目前,人類仍在不斷地探索海洋世界,海洋資源蘊藏著豐富的生物、礦產(chǎn)和能源等,因此人們可以充分地利用海洋資源,而捕獲水下圖像是獲取海洋信息的關鍵,如何獲得優(yōu)質(zhì)的水下圖像成為一個重要問題。水下成像不同于普通成像,圖像因光強隨水深的變化而出現(xiàn)不同程度的色彩異常、細節(jié)模糊、低對比差等問題[1],這嚴重影響了重要信息的準確獲取。

圖像復原和圖像增強是水下圖像清晰化的主要方法[2]。前者建立了水下成像退化模型,對退化圖像根據(jù)此模型進行逆求解,以獲得復原圖像;后者則根據(jù)實際需求對圖像信息進行增強,改善原始圖像中模糊的地方。近年來,國內(nèi)外學者對水下圖像處理進行了深入研究,取得了一定的成績,但還存在一些弊端。圖像復原方法有Pan等[3]提出一個多尺度迭代框架去除散射,再采用白平衡算法去除色偏,最后把圖像轉(zhuǎn)換到NSCT域去除噪聲并進行邊緣增強,該算法可以提高圖像的視覺效果,但不能有效地去除深海區(qū)域的藍色背景。He等[4]提出尋找暗通道中最亮的像素作為背景光強度的單幅圖像去霧算法,該算法可以有效地改善大氣霧化圖像,但不適用于水下圖像處理。Galdran等[5]對成像模型的紅色通道進行了改進,該算法提高了圖像的可見度,但未能改善圖像細節(jié)信息。水下圖像增強大致分3類,分別是Retinex、直方圖和圖像融合[6]。Wen等[7]為了估計紅色通道透射率,提出暗通道與藍綠色通道相結合的算法,該算法可以有效地增強圖像細節(jié),但圖像還存在偏色現(xiàn)象。Iqbal等[8]提出無監(jiān)督模型對低質(zhì)量圖像進行顏色校正,該算法可以有效地去除藍色偏色并改善低照度圖像,但處理沒有偏藍色現(xiàn)象的圖片效果不理想。Ancuti等[9]提出圖像融合算法對水下圖像及視頻進行增強,該算法可以改善視覺效果,但對于深藍色圖像處理效果不佳。Ghani等[10]提出瑞利拉伸提高水下圖像質(zhì)量,該算法增強了可視性和對比度,但圖像顏色被過度增強。Iqbal等[11]使用集成色彩模型來增強水下圖像算法,該算法可以均衡圖像顏色對比度,但圖像細節(jié)不清晰。

近年來,水下圖像增強的研究焦點主要在圖像融合,該方法在處理色偏、低對比度和低清晰度等方面有很大改善。本文結合光在水體環(huán)境中呈指數(shù)衰減特點,根據(jù)先去除色偏,后增強對比度且均勻亮度的思路,提出了改進的同態(tài)濾波與多尺度融合的水下圖像增強方法。首先利用色彩平衡算法對顏色進行校正,獲得色彩校正的輸入圖像;然后使用限制對比度直方圖均衡化算法增強對比度,獲得對比度增強的輸入圖像;同時用改進的同態(tài)濾波算法降低噪聲,降低光線過強區(qū)域的亮度,增強光線過弱區(qū)域的亮度,增強細節(jié)信息,獲得亮度均勻的輸入圖像;最后采用多尺度融合算法對3個輸入圖像進行融合,得到最終增強圖像。

1 水下圖像成像模型

根據(jù)Jaffe-McGlamery成像模型[12],水下相機接收到的光分為直接分量ED、前向散射分量EF及后向散射分量EB,如圖1所示。

圖1 水下圖像成像模型

直接分量是指物體表面反射光經(jīng)過衰減直接到相機的光的分量,其表達式為

ED(x,λ)=J(x,λ)e-η(λ)d(x)=J(x,λ)t(x)

(1)

式中:J(x,λ)為物體當前位置的光強;η(λ)為總的減弱因數(shù);d(x)為相機與物體的間距;t(x)為透射率。

前向散射分量是指物體表面反射光先遇到水介質(zhì)中的細小微粒形成小偏角,隨后再經(jīng)過衰減到達相機的光的分量。當相機與物體距離無限接近時,前向散射分量可忽略。后向散射分量是指背景反射光在到相機的過程中,遇到水體中的微粒而發(fā)生小角度的散射,這是引起圖像對比度低的主要因素,其表達式為

EB(x,λ)=A∞(λ)[1-e-η(λ)d(x)]=A∞(λ)[1-t(x)]

(2)

式中A∞(λ)為背景光。

因此,當前向散射分量忽略不計時,由式(1)、式(2)可得簡化的水下光學成像模型為

I(x,λ)=ED+EB=J(x,λ)t(x)+A∞(λ)[1-t(x)]

(3)

式中:J(x,λ)為輸出圖像;I(x,λ)為退化圖像。

2 水下圖像增強算法

2.1 色彩平衡

由于不同波長的光在水下衰減速率不同,引起光能大量減少,導致水下圖像與真實場景之間存在顏色偏差,對于這個問題,本文采用最簡單的色彩平衡算法[13]。該算法先將圖像中RGB顏色通道的最大值即最亮部分記為白色,最小值即最暗部分記為黑色;其次把圖像中其余部分的紅綠藍三通道進行對比度拉伸;最后對每個通道進行仿射變換以占據(jù)最大范圍[0,255]。由于部分圖像存在0～255的異常像素值,所以在進行仿射變換之前,將具有最高值的小百分比像素飽和到255,并將具有最低值的小百分比像素飽和到0。

顏色校正的主要方法包括白平衡方法和帶色彩恢復的多尺度視網(wǎng)膜(MSRCR)增強方法。白平衡方法又包括最大RGB、灰度世界以及灰度陰影。圖2展示了各顏色校正算法的試驗結果,可以看出最大RGB算法處理后的圖像色彩亮度低;灰度世界處理后的圖像仍存在嚴重的偏色問題;灰度陰影雖去除了綠色基調(diào),但顏色飽和度不足;MSRCR算法處理后的圖像顏色過度亮艷,色彩飽和度偏高;而色彩平衡算法較好地消除了顏色失真,適當?shù)鼗謴土藞D像的顏色飽和度,較自然地還原了色彩,更貼近人眼的視覺感受。

圖2 顏色校正對比圖

2.2 CLAHE算法

限制對比度自適應直方圖均衡化(CLAHE)算法經(jīng)過約束部分直方圖高度,以縮小噪聲,達到減弱局部對比度極度增強的目的。色彩校正圖像被CLAHE算法劃分為毫不重復的等距區(qū)域,再分別對各個等距區(qū)域進行灰度映射,即

(4)

式中:n=0,1,…,N-1;M為各個等距區(qū)域像素;N為灰度級數(shù)量;h(k)為各個區(qū)域第k個灰度級像素量。把鄰域的4個子區(qū)域映射函數(shù)組合構成一張圖像的灰度映射P(n)。因為在圖像處理的過程中會引進噪聲,所以P(n)的斜率受到一定程度約束。在重新劃分灰度值的過程中,使用P(n)能夠擴大灰度值動態(tài)范圍,顯著提高對比度。

直方圖均衡化算法(HE)和自適應直方圖均衡化算法(AHE)是常用的對比度增強方法,圖3展示了各對比度增強算法結果,可以看出HE算法處理后的圖像局部細節(jié)出現(xiàn)了較黑現(xiàn)象;AHE算法處理后的圖像部分區(qū)域過白,產(chǎn)生了對比度過度增強的問題;而CLAHE算法相比其他兩種算法優(yōu)化了圖像細節(jié)信息,但圖像中的部分區(qū)域也存在過度增強現(xiàn)象,通過和其他兩張輸入圖像進行融合可以得到適當改善。

圖3 對比度增強圖

2.3 改進的同態(tài)濾波

為了均衡圖像亮度,采用改進的同態(tài)濾波算法對顏色校正后的圖像進行增強處理。采用傳統(tǒng)同態(tài)濾波器獲得的圖像整體亮度失衡,沒有有效改善暗區(qū)域亮度,對高光或高亮圖像的處理效果不佳。只使用高通或低通濾波器中的任何一個都不能使圖像得到較好改變,這是由于低頻部分主要用來表示圖像關鍵內(nèi)容,高頻部分主要用來表示圖像細節(jié)和邊緣信息,因此本文對同態(tài)濾波器進行改進,把圖像的高、低頻分別處理,以便減少圖像細節(jié)損失,最后把得到的結果進行整合。

傳統(tǒng)同態(tài)濾波傳遞函數(shù)為

(5)

改進后的同態(tài)濾波表達式為:

(6)

(7)

式(5)～(7)中:rH為高頻增加倍數(shù),rL為低頻衰減倍數(shù),c為銳化系數(shù),rL

本文參數(shù)c=3,rL=0.7,rH=5, 式(6)為高頻分量的傳遞函數(shù), 由于圖像中的大部分邊緣(輪廓)信息和細節(jié)信息都存在于高頻部分, 所以需要加強圖像中的高頻信號, 選擇高頻成分大于1的傳遞函數(shù), 這樣就可以增強圖像的對比度; 式(7)為低頻分量的傳遞函數(shù), 由于低頻分量是對整幅圖像強度的綜合度量, 描述了一個較大范圍內(nèi)圖像整體的亮度變化, 所以需要對圖像中的低頻信號進行壓制, 選擇低頻成分小于1的傳遞函數(shù), 這樣圖像的整體變化就較為均勻, 從而可以壓縮圖像的動態(tài)范圍。 故使用式(6)和式(7)既能增強圖像的對比度又能壓縮圖像的亮度范圍, 以達到均衡圖像亮度、增強圖像細節(jié)信息的目的。

首先對濾波后的兩張圖像分別使用傅里葉變換進行處理,再進行逆變換,其次對其取指數(shù),然后線性疊加高、低頻分量,最后再進行歸一化處理,以獲得增強圖像。對色彩恢復圖像使用傳統(tǒng)同態(tài)濾波進行處理,獲得的圖像亮度不勻稱;而改進后的同態(tài)濾波算法獲得圖像不但極大地增強了亮度且優(yōu)化了細節(jié)。如圖4所示為傳統(tǒng)同態(tài)濾波算法、改進后同態(tài)濾波算法的對比圖和RGB通道直方圖。

圖4 算法對比圖和RGB通道直方圖

改進的同態(tài)濾波算法的RGB通道直方圖與傳統(tǒng)的同態(tài)濾波算法RGB通道直方圖相比而言,不但RGB通道強度分散較均勻,而且整個灰度級也得到了有效增強,改進后的同態(tài)濾波算法獲取的圖像噪聲少且亮度均勻。

2.4 多尺度融合

2.4.1 融合權重

為了得到具有顯著優(yōu)勢的最佳圖像,使用4種權重,以確定在融合過程中輸入圖像所占的比重,其分別是拉普拉斯對比度權重(Wlap,k)、局部對比度權重(Wcont,k)、顯著性權重(Wsal,k)和飽和度權重(Wsat,b)[14]。

1) 拉普拉斯對比度權重

拉普拉斯算子能夠有效地處理圖像邊沿信息,把拉普拉斯濾波器運用在每個輸入圖像的亮通道上,并計算其絕對值,以得到全局對比度[15]。

2) 局部對比度權重

局部對比度權重是指輸入圖像中每個像素亮度與其相鄰像素亮度平均值之間的偏差關系,使局部對比度在融合的過程中得以增強。其計算公式為

Wcont,k=|Lk-Lωhc,k|

(8)

3) 顯著性權重

顯著性權重是指水體環(huán)境中不突出的物體,主要是增強亮暗區(qū)域?qū)Ρ榷?增強圖像整體對比度。其計算公式為

Wsal,k=‖Iμ,k-Iωhc‖

(9)

4) 飽和度權重

飽和度權重用于調(diào)整圖像中的飽和區(qū)域,以獲得飽和度均勻的融合圖像。其計算公式為

(10)

式中Lb表示輸入圖像灰度圖。

5) 歸一化權重

對上述權重進行歸一化處理,其計算公式為:

Wk=Wlap,k+Wcont,k+Wsal,k+Wsat,b

(11)

(12)

2.4.2 圖像融合

由于單尺度融合易產(chǎn)生光暈現(xiàn)象,所以本文采用多尺度融合算法。整個經(jīng)過如下:第一步把3張輸入圖分解成拉普拉斯金字塔;第二步把3張歸一化權重圖分解成高斯金字塔;第三步分別對第一、二步結果圖在各l層進行融合,得到多尺度融合圖像Fl(x);第四步對Fl(x)進行向上采樣,獲得輸出圖像。多尺度融合計算公式為

(13)

式中:l為金字塔層數(shù);k為輸入圖像數(shù)目;G為高斯金字塔分解;L為拉普拉斯金字塔分解。

3 本文算法流程

本文算法針對復雜多變的水下光學成像特性,基于色彩平衡理論先去除色偏,再使用CLAHE提高對比度,同時改進傳統(tǒng)同態(tài)濾波器,使用改進后的算法削弱了噪聲,獲得光照強度勻稱的圖像,最后對這3張具有顯著優(yōu)勢的圖像使用融合算法,以求得最終的增強圖像。本文算法整體流程圖如圖5所示。

圖5 算法流程圖

4 結果分析

本文實驗采用的數(shù)據(jù)集來源于大連理工大學-獐子島聯(lián)合實驗室和其他論文中常用的圖像數(shù)據(jù)。為了檢驗該方法的可行性,選取5組光在水體中衰減程度不同的圖像進行處理,本文實驗結果分別與文獻[4]、文獻[7]、文獻[8]、文獻[9]、文獻[10]和文獻[11]進行對比。

4.1 主觀評價

圖6～圖10展示了本實驗和其他6篇參考文獻算法得出的結果。由處理結果可知,采用文獻[4]算法處理得到的圖6b),圖7b),圖8b),圖9b),圖10b)可以看出顏色失真嚴重,表明大氣暗原色去霧化算法在水下圖像不適合;采用文獻[7]算法處理得到圖10c)可以看出色彩在一定程度上得到了還原,圖6c)、圖7c)及圖9c)可以看出物體輪廓更清晰,但偏色現(xiàn)象加劇了;采用文獻[8]算法處理得到的圖6d)～圖10d)可以看出對比度增強了,但圖像顏色偏黃,顏色恢復效果不理想;采用文獻[9]算法處理得到的圖6e)～圖10e)可以看出雖然圖像顏色改善了,但細節(jié)不清晰;采用文獻[10]算法處理得到的圖6f)～圖8f)可以看出色彩鮮艷,顏色還原度高,但圖像出現(xiàn)了過度曝光現(xiàn)象,圖9f)和圖10f)的紅色通道出現(xiàn)了過補償現(xiàn)象,圖像中的某些區(qū)域偏紅;采用文獻[11]算法處理得到的圖7g)可以看出對比度在一定程度下提高了,但圖像仍存在顏色失真的現(xiàn)象;相比而言,本文算法處理得到的圖6h)～圖10h)可以看出:本文算法在處理具有綠色(深綠色和淺綠色)和藍色背景的水下圖像時,能獲得色彩較自然、對比度強和清晰度高的圖像,不但可以削減噪音,解決偏色問題,而且可以改善過度曝光問題。

圖6 第1組光在水體中衰減程度不同的圖像

圖7 第2組光在水體中衰減程度不同的圖像

圖8 第3組光在水體中衰減程度不同的圖像

圖9 第4組光在水體中衰減程度不同的圖像

圖10 第5組光在水體中衰減程度不同的圖像

4.2 客觀評價

使用3種性能指標來評估圖像,即均方誤差(MSE)、峰值信噪比(PSNR)和水下圖像質(zhì)量(UIQM)。通過本文算法和其他參考文獻算法處理后的圖像均方誤差越大,表明在實驗過程中引入的噪聲越多;經(jīng)過本文算法和其他參考文獻算法處理后的圖像峰值信噪比越小,表明在實驗過程中圖像的顏色失真越嚴重;UIQM是綜合性評價指標,包括對比度、色度和飽和度[16]。經(jīng)過本文算法和其他參考文獻算法處理后的UIQM值越小,表明圖像質(zhì)量越不好。采用該指標對5組不同的圖像進行評估,表1展示了本文及其他6篇參考文獻算法的實驗結果。

表1 水下圖像質(zhì)量評價

為了快速且準確地得出實驗結論,把表1表示成如圖11～圖13所示的對比直方圖。

圖11 均方誤差對比直方圖

圖12 峰值信噪比對比直方圖

圖13 水下圖像質(zhì)量對比直方圖

由圖11～圖13可直觀看出:1) 從均方誤差對比直方圖可看出,經(jīng)本文算法處理后的圖像MSE值相對較小,說明圖像在處理的過程中帶進了極少噪聲,圖像質(zhì)量更優(yōu);2) 從峰值信噪比對比圖可看出,經(jīng)本文算法處理后的圖像PSNR值相對較大,說明圖像具有良好的保真度;3) 從水下圖像質(zhì)量對比直方圖可看出,經(jīng)本文算法處理后的圖像UIQM值最高,說明圖像的總體質(zhì)量效果最好,具有最自然的色彩,同時也有效增強了圖像對比度及清晰度。

從圖11和圖12可看出,文獻[9]的MSE值最小、PSNR值最大,但數(shù)值越高并不意味圖像具有最佳的視覺效果。從圖6～圖10可看出,顏色過于鮮艷,圖像出現(xiàn)了顏色過飽和現(xiàn)象。

5 結論

由于水下拍攝相比大氣拍攝環(huán)境較惡劣,引起采集的水下圖像不但存在藍綠色偏和對比度低的特點,且存在模糊不清和亮度不均等問題。因此本文提出了一種改進的同態(tài)濾波與多尺度融合的水下增強方法。該算法不涉及水介質(zhì)參量,直接從退化圖像著手,先基于色彩平衡校正顏色,從整體和局部恢復色彩;然后使用CLAHE提高對比度,改善圖像細節(jié);同時采用改進的同態(tài)濾波算法均衡圖像亮度,增強光強較弱的暗區(qū)域亮度;最后使用多尺度融合權重對圖像進行融合,獲得主客觀性能最佳的高質(zhì)量水下圖像。雖然本文取得了較好效果,但對于深藍色的水下圖像處理效果一般,這在未來研究中有待進一步優(yōu)化。