基于常散射假設(shè)和同態(tài)濾波的水下圖像增強算法

王 丹, 張子玉, 趙金寶, 楊謝柳*, 范慧杰, 唐延?xùn)|

基于常散射假設(shè)和同態(tài)濾波的水下圖像增強算法

王 丹1, 張子玉1, 趙金寶1, 楊謝柳1*, 范慧杰2, 唐延?xùn)|2

(1. 沈陽建筑大學(xué) 機械工程學(xué)院, 遼寧 沈陽, 110168; 2. 中國科學(xué)院沈陽自動化研究所 機器人學(xué)國家重點實驗室, 遼寧 沈陽, 110016)

針對水下圖像視覺增強技術(shù)存在低對比度和色偏的問題, 文中提出一種基于常散射假設(shè)和同態(tài)濾波的水下圖像增強算法。首先, 假設(shè)整幅圖像的后向散射為常量, 在圖像的前景區(qū)域分別搜索紅綠藍三通道的最小像素值, 將各通道與其對應(yīng)的最小像素值作差, 以實現(xiàn)去除后向散射的目的。然后, 將圖像轉(zhuǎn)為灰度圖像并進行同態(tài)濾波處理, 以抑制圖像低頻信息和增強圖像高頻成分。最后, 采用顏色校正方法消除離群點對圖像的干擾。實驗結(jié)果表明, 文中方法可有效改善圖像的對比度和亮度, 提升圖像的整體視覺效果。

水下圖像; 視覺增強; 散射; 同態(tài)濾波

0 引言

隨著對深海資源的深入開發(fā), 水下機器人越來越多地被應(yīng)用于海洋生物跟蹤和實時導(dǎo)航等領(lǐng)域[1-2]。圖像作為獲取信息的媒介, 在海底探索時發(fā)揮著重要的作用。由于水下環(huán)境與陸地之間的差異, 水體會對光產(chǎn)生散射和吸收效應(yīng)[3]。散射是光與水中懸浮顆粒碰撞后方向發(fā)生改變的現(xiàn)象, 散射會導(dǎo)致圖像的模糊和低對比度。吸收是指懸浮粒子吸收光的現(xiàn)象, 水對光的吸收取決于光束的波長[4], 在水下紅光衰減得最快, 因此水下圖像往往呈現(xiàn)出藍綠色的特點, 獲取正確的圖像信息是探索海洋的必要前提, 為保證水下探索工作的順利進行, 對水下圖像的增強極為重要。

目前, 圖像復(fù)原與圖像增強廣泛應(yīng)用于水下圖像處理[5-6], 以提高能見度、對比度和糾正由水體吸收所造成的顏色偏差。水下圖像的復(fù)原常常利用相關(guān)退化函數(shù)和噪聲特性并基于圖像形成模型(image formation model, IFM)從觀測圖像中恢復(fù)原始圖像[7]。圖像復(fù)原的方法通?；谙闰炐畔? 如暗通道先驗[8](dark channel prior, DCP)方法通過估計大氣透射率并結(jié)合成像模型, 實現(xiàn)單幅圖像的去霧, 具有良好的去霧效果, 但將其直接應(yīng)用于水下圖像時效果不明顯。對此, Wen等[9]提出了一種描述水下成像過程的水下成像模型; Yang等[10]提出一種基于DCP的低復(fù)雜度水下圖像增強方法。此外, 還有基于景深信息的方法[11-12]和基于紅通道先驗的方法[13]等。

圖像增強方法不考慮物理的成像模型, 而是通過主觀和定性分析提高圖像的整體質(zhì)量, 如直方圖均衡化[14](histogram equalization, HE)方法、對比度限制的自適應(yīng)直方圖均衡化[15](contrast li- mited adaptive histogram equalization, CLAHE)方法、對比度拉伸方法[16]、基于Retinex的方法[17]、基于融合的方法[18]以及概念簡單且處理性能較好的白平衡(white balance, WB)方法等。同態(tài)濾波也是一種常見的圖像增強方法, 通過對圖像的高低頻信息分別進行處理, 可實現(xiàn)照度不均、低照度和低對比度圖像的視覺改善[19-22], 但目前同態(tài)濾波主要用于大氣圖像的增強, 在水下圖像中的應(yīng)用較少, 王永鑫等[23]利用同態(tài)濾波進行水下圖像低頻提取, 用于估計后向散射去除模糊, 并未直接增強圖像高頻信息。

基于先驗信息的方法一般都有其局限性, 先驗信息和目標場景間的不匹配可能導(dǎo)致顯著的估計誤差, 導(dǎo)致結(jié)果失真[3]。傳統(tǒng)的圖像增強方法對空氣中拍攝的圖像具有顯著的增強效果, 而對水下圖像并不能很好去除色偏等影響, 增強后的圖像往往仍具有較低的對比度和存在色偏現(xiàn)象。

針對此, 文中提出一種基于常散射假設(shè)和同態(tài)濾波的水下圖像增強方法?？紤]到前景區(qū)域(即感興趣區(qū)域)場景深度的變化幅度通常較小, 提出常散射假設(shè); 基于DCP提出常散射估計方法, 通過差值運算去除后向散射; 將直接分量圖像進行同態(tài)濾波處理以抑制光照增強前景細節(jié); 對濾波后的圖像進行異常點剔除, 擴大圖像的動態(tài)范圍, 提升圖像對比度。在水下多個場景中對該方法進行了測試, 實驗結(jié)果表明, 該方法可以有效地去除色偏對水下圖像的干擾, 并改善圖像的亮度和對比度, 凸顯場景細節(jié)。

1 方法設(shè)計

1.1 后向散射去除

水下成像模型一般表達式為[24]

由于同一圖像上不同場景點處的后向散射量主要取決于其場景深度(場景點與相機之間的距離), 而前景區(qū)域中場景深度的變化幅度通常較小, 因此, 前景區(qū)域的后向散射量近似為常量。背景部分并非關(guān)注重點, 所以可簡單認為整幅圖像上的后向散射是常量, 這對于場景深度變化不大的圖像是一個合理的假設(shè)。而對于場景深度變化較大的圖像, 主要關(guān)心的前景區(qū)域也滿足這一假設(shè)。因此, 文中定義前景區(qū)域RGB各通道的最小值為疊加在零值上的后向散射量。

考慮到對于常規(guī)場景和拍攝角度, 前景區(qū)域往往出現(xiàn)在圖像下部, 因此, 文中首先在圖像的底部%的區(qū)域內(nèi)搜索RGB各通道的最小像素值

在得到各通道最小像素值后, 將各通道分別減去對應(yīng)的最小像素值, 即可實現(xiàn)后向散射去除

為驗證該方法可行性, 對水下圖像增強基準(underwater image enhancement benchmark, UIEB)數(shù)據(jù)集[25]中的圖像進行處理, 示例結(jié)果如圖1~圖3所示。由圖中可見, 無論是對于后向散射引起的模糊還是色偏, 使用該方法后都有較明顯的改善。尤其是針對圖3中場景深度變化不大、具有加性模糊或色偏的圖像, 該方法效果顯著。

圖1 水下模糊圖像去散結(jié)果

圖2 藍色調(diào)水下圖像去散結(jié)果

圖3 綠色調(diào)水下圖像去散結(jié)果

1.2 同態(tài)濾波處理

圖像中的高頻信息對應(yīng)于物體信息, 低頻信息對應(yīng)于光照信息, 同態(tài)濾波通過采用合適的濾波函數(shù), 將高低頻分別處理以達到高頻增強、低頻抑制的目的, 其主要流程如圖4所示。

圖4 同態(tài)濾波流程圖

為實現(xiàn)低頻抑制和高頻增強, 將sigmoid函數(shù)引入同態(tài)濾波器, 得到如下高通濾波器

1.3 彩色圖像校正

為進一步進行顏色校正和對比度拉伸, 進行如下計算[17]

2 實驗結(jié)果與分析

在UIEB數(shù)據(jù)集[25]上將原圖與利用CLAHE、DCP、水下暗通道先驗(underwater dark channel prior, UDCP)[11]和同態(tài)濾波等方法處理后的圖像進行對比。采用主、客觀相結(jié)合的評價方法, 對以上方法處理后得到的圖像進行橫向比較, 并以UIEB的數(shù)據(jù)集為參考進行定性和定量評估。所有的算法均在MATLAB R2018b環(huán)境下編程實現(xiàn), 算法執(zhí)行的PC平臺配置為: Inter(R) Core(TM) i5- 4210H CPU@2.90 GHz 2.90 GHz, 12 GB。

2.1 實驗參數(shù)

圖5 sigmoid高通濾波器頻率響應(yīng)圖

實驗中, CLAHE、DCP和UDCP采用了Wang等[26]提供的源程序, 參數(shù)未做改變。同態(tài)濾波方法即為文中的同態(tài)濾波部分, 參數(shù)同文中方法。

2.2 客觀評價算法

進行客觀分析時, 采用峰值信噪比(peak sig- nal to noise ratio, PSNR)和結(jié)構(gòu)相似度(structural similarity index, SSIM)2種指標[27]。其均方誤差為

PSNR計算公式

SSIM計算公式

2.3 實驗結(jié)果分析

為了更好地驗證所提算法的有效性和穩(wěn)定性, 對UIEB數(shù)據(jù)庫中的5類圖像分別進行處理, 包括藍色調(diào)圖像、綠色調(diào)圖像、俯視圖像、前視圖像和存在陰影區(qū)域的圖像。結(jié)果的主、客觀比較如圖6~圖10和表1~表3所示。

圖6 藍色調(diào)水下圖像主觀比較

圖7 綠色調(diào)水下圖像主觀比較

圖8 水下俯視圖像主觀比較

圖9 水下前視圖像主觀比較

圖10 亮度不均水下圖像主觀比較

表1 藍/綠色調(diào)水下圖像PSNR和SSIM結(jié)果比較

表2 水下俯視/前視圖像PSNR和SSIM結(jié)果比較

從圖中可看出, DCP方法的去除霧樣模糊效果良好(見圖8和圖9), 但其對色彩偏差和亮度不均問題無效(見圖5、圖6和圖10), 這是由于其主要針對的是不存在波長消光差異的霧天圖像, 而對水下圖像適用性差。UDCP方法能夠有效減弱散射提高對比度(見圖8), 但其色偏校正不充分(見圖7)、對亮度不均問題無效(見圖10)且易產(chǎn)生偽影(見圖10場景2)。CLAHE方法在去除霧樣模糊、改善亮度不均方面表現(xiàn)良好(見圖6和圖8), 但在顏色校正方面效果不佳(見圖7的場景1), 且結(jié)果圖偏亮致使色彩略有丟失(見圖8和圖10的場景1)。直接對水下圖像應(yīng)用同態(tài)濾波, 可增強圖像細節(jié), 改善亮度不均(見圖10), 但其色偏校正效果不明顯且易引起色彩丟失(見圖6、圖8和圖9)。文中提出的基于常散射假設(shè)和同態(tài)濾波的水下圖像增強算法, 不僅能夠增強圖像細節(jié), 改善亮度不均, 而且能夠有效去除霧樣模糊和色偏, 對于相機設(shè)置和波長消光差異引起的加性均勻色偏和深度變化較小場景圖像中的均勻模糊均表現(xiàn)良好(見圖7)。這主要由于其常散射假設(shè)在此類圖像中基本成立, 去除常散射即可去除主要模糊和色偏。文中方法在前視圖像遠景部分的模糊和色偏校正并不理想(見圖9的場景2), 但如前所述, 大多數(shù)情況下近景部分是感興趣區(qū)域, 對遠景的關(guān)注度較低。

表3 亮度不均水下圖像PSNR和SSIM結(jié)果比較

客觀比較方面, 如前所述, PSNR值越高或SSIM值越接近于1, 表明增強圖像與參考圖像越接近。由表1和表2可看出, 文中方法在藍色調(diào)場景1圖像和水下前視圖像上的PSNR和SSIM值最優(yōu)。但在藍色調(diào)場景2和水下俯視場景上的PSNR和SSIM值略遜于CLAHE方法。從圖6和圖8可看出, 藍色調(diào)場景2和水下俯視場景的參考圖像和CLAHE方法的結(jié)果圖亮度較高, 但在高亮部分有色彩丟失現(xiàn)象; 文中方法結(jié)果圖亮度偏低且略帶土黃色, 但圖像色彩更豐富, 可推斷亮度差異是PSNR和SSIM值偏低的主要原因。由表1可看出, 綠色調(diào)場景中文中方法的PSNR值最優(yōu), 但SSIM稍遜于CLAHE方法, 這表明此2種指標也并非總會出現(xiàn)完全一致的結(jié)果。同時, 由圖7的場景1可看出, 文中方法的結(jié)果明顯優(yōu)于CLAHE方法, 故可推測PSNR的可靠度更高。由表3可看知, 文中方法在亮度不均水下圖像中的PSNR和SSIM值最優(yōu), 且遠優(yōu)于CLAHE方法, 這主要歸功于同態(tài)濾波?？偟膩碇v, PSNR和SSIM基本能夠反映圖像的相似程度, 但對圖像亮度敏感, 應(yīng)結(jié)合主、客觀綜合評價。

3 結(jié)束語

針對水下圖像的色偏和低對比度問題, 提出了一種基于常散射假設(shè)和同態(tài)濾波的水下圖像增強算法。通過常散射假設(shè)簡化散射估計模型, 避免復(fù)雜先驗與實際情形不符引起的偽影; 通過同態(tài)濾波增強直射分量圖像中的高頻物體信息, 抑制低頻分量; 通過異常點剔除進行動態(tài)范圍擴展和對比度增強。主、客觀比較均顯示文中算法在對水下圖像進行增強時具有良好的性能。該算法簡單穩(wěn)定、計算量小, 適用于實時處理的應(yīng)用場合。然而, 若圖像中存在背光面、背光洞穴等不能接收散射光的暗區(qū)域, 由于散射光被低估, 并未得到有效去除, 該算法效果不明顯, 這是未來研究的關(guān)注點之一。

[1] Lee D J, Redd S, Schoenberger R, et al. An Automated Fish Species Classification and Migration Monitoring System[C]//IECON’03 29th Annual Conference of the IEEE Industrial Electronics Society. Roanoke, VA, USA: IEEE, 2003.

[2] Chen C L P, Zhou J, Zhao W. A Real-time Vehicle Navigation Algorithm in Sensor Network Environments[J]. IEEE Transactions on Intelligent Transportation Systems, 2012, 13(4): 1657-1666.

[3] Schettini R, Corchs S. Underwater Image Processing; State of the Art of Restoration and Image Enhancement Methods[J]. EURASIP Journal on Advances in Signal Processing, 2010, 746052: 1-14.

[4] Galdran, Adrian P, David P, et al. Automatic Red-channel Underwater Image Restoration[J]. Journal of Visual Com- munication and Image Representation, 2015, 26(1): 132- 145.

[5] Mangeruga M, Bruno F, Cozza M, et al. Guidelines for Underwater Image Enhancement Based on Benchmarking of Different methods[J]. Remote Sensing, 2018, 10(10): 1652.

[6] Han M, Lyu Z, Qiu T, et al. A Review on Intelligence Dehazing and Color Restoration for Underwater Images[J]. IEEE Transactions on Systems, Man, and Cybernetics; Systems, 2020, 50(5): 1820-1832.

[7] Wang N, Zheng H Y, Zheng B. Underwater Image Restoration Via Maximum Attenuation Identification[J]. IEEE Access, 2017, 5: 18941-18952.

[8] He K M, Sun J, Tang X O. Single Image Haze Removal Using Dark Channel Prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 33(12): 2341-2353.

[9] Wen H C, Tian Y H, Huang T J, et al. Single Underwater Image Enhancement with a New Optical Model[C]//2013 IEEE International Symposium on Circuits and Systems (ISCA-S2013). Peking University, Beijing, China: IEEE, 2013: 753- 756.

[10] Yang H Y, Chen P Y, Huang C C, et al. Low Complexity Underwater Image Enhancement Based on Dark Channel Prior[C]//2011 Second International Conference on Innovations in Bio-inspired Computing and Applications. Guangdong, China: IEEE, 2011: 17-20.

[11] Drews Jr P, do Nascimento E, Moraes F, et al. Transm- ission Estimation in Underwater Single Images[C]//Pr- oceedings of the IEEE International Conference on Co- mputer Vision Workshops. Sydney, Australia: IEEE, 2013: 825-830.

[12] Peng Y T, Cosman P C. Underwater Image Restoration Based on Image Blurriness and Light Absorption[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1579-1594.

[13] Cheng C Y, Sung C C, Chang H H. Underwater Image Restoration by Red-dark Channel Prior and Point Spread Function Deconvolution[C]//2015 IEEE International Co- nference on Signal and Image Processing Applications (ICSIPA). Kuala Lumpur, Malaysia: IEEE, 2015: 110-115.

[14] Singhai J, Rawat P. Image Enhancement Method for Underwater, Ground and Satellite Images Using Brightness Preserving Histogram Equalization with Maximum Entropy[C]//7th International Conference on Computational Intelligence and Multimedia Applications. Piscataway, USA: IEEE, 2007: 507-512.

[15] Hitam M S, Yussof WNJHW, Awalludin, E A, et al. Mi- xture Contrast Limited Adaptive Histogram Equalization for Underwater Image Enhancement[C]//2013 Interna- tional Conference on Computer Applications Technology (ICCAT), Kuala Lumpur, Malaysia: IEEE, 2013: 1-5.

[16] IQBAL, Kashif, et al. Enhancing the Low Quality Images Using Unsupervised Colour Correction Method[C]//2010 IEEE International Conference on Systems, Man and Cybernetics. Istanbul, TURKEY: IEEE, 2010: 1703-1709.

[17] Fu X, Zhuang P, Yue H, et al. A Retinex-based Enhancing Approach for Single Underwater Image[C]//2014 IEEE International Conference on Image Processing(ICIP). Paris, French: IEEE, 2014: 4572-4576.

[18] Ancuti C O, Ancuti C, Philippe B. Effective Single Image Dehazing by Fusion[C]//2010 IEEE International Conference on Image Processing. Atlanta, USA: IEEE, 2010: 3541-3544.

[19] 蔡秀梅, 馬今璐, 吳成茂, 等. 基于模糊同態(tài)濾波的彩色圖像增強算法[J]. 計算機仿真, 2020, 37(6): 342-346.

Cai Xiu-mei, Ma Jin-lu, Wu Cheng-mao, et al. Color Image Enhancement Algorithm Based on Fuzzy Homomorphic Filtering[J]. Computer Simulation, 2020, 37(6): 342-346.

[20] 陶勝. 光照不均勻圖像的頻域增強方法[J]. 新余學(xué)院學(xué)報, 2020, 25(1): 12-15.

Tao Sheng. Enhancement and Adjustment for Non-unif- orm Illumination Image Based on Frequency Domain[J]. 2020, 25(1): 12-15.

[21] Suganthi K, Zaheeruddin S. Image Contrast Enhancement by Homomorphic Filtering Based Parametric Fuzzy Tran- sform[J]. Procedia Computer Science, 2019, 165: 166- 172.

[22] 鄔才斌, 王愛平, 宗輝, 等. 基于小波變換和模糊隸屬度的紅外圖像增強算法[J]. 電氣自動化, 2019, 41(5): 115-118.

Wu Cai-bin, Wang Ai-ping, Zong Hui, et al. Infrared Image Enhancement Algorithm Based on Wavelet Transform and Fuzzy Membership[J]. Electrical Automation, 2019, 41(5): 115-118.

[23] 王永鑫, 刁鳴, 韓闖. 基于同態(tài)濾波的水下圖像增強與色彩校正模型[J]. 計算機工程與應(yīng)用, 2018, 54(11): 30- 34, 80.

Wang Yong-xin, Diao Ming, Han Chuang, et al. Underwater Image Enhancement and Color Correction Model Based on Homomorphic Filter[J]. Computer Engineering and Applications, 2018, 54(11): 30-34, 80.

[24] Akkaynak D, Treibitz T. Sea-thru: A Method for Removing Water from Underwater Images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.Long Beach,USA: IEEE, 2019: 1682-1691.

[25] Li C, Guo C, Ren W, et al. An Underwater Image En- hancement Benchmark Dataset and Beyond[J]. IEEE Transactions on Image Processing, 2019, 29: 4376-4389.

[26] Wang Y, Song W, Fortino G, et al. An Experimental-based Review of Image Enhancement and Image Restoration Methods for Underwater Imaging[J]. IEEE Access, 2019, 7: 140233-140251.

[27] Wang Z. Image Quality Assessment from Error Visibility to Structural Similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

Underwater Image Enhancement Algorithm Based on Constant Scattering Assumption and Homomorphic Filtering

WANG Dan1, ZHANG Zi-yu1, ZHAO Jin-bao1, YANG Xie-liu1*, FAN Hui-jie2, TANG Yan-dong2

(1. School of Mechanical Engineering, Shenyang Jianzhu University, Shenyang 110168, China; 2. State Key Laboratory of Robotics, Shenyang Institute of Automation, Chinese Academy of Sciences, Shenyang 110016, China)

Aiming at the problem of low contrast and color deviation in underwater image visual enhancement technology, an image enhancement algorithm based on constant scattering assumption and homomorphic filtering is proposed. Firstly, assuming the backscattering of the whole image is constant, the minimum pixel value of red, green and blue (RGB) three channels is searched in the foreground area of the image, and the difference between each channel and its corresponding minimum pixel value is determined to avoid backscattering. Subsequently, the image is transformed into a gray image and homomorphic filtering is performed to suppress the low-frequency information and enhance the high-frequency component of the image. Finally, color correction method is used to eliminated the interference of outliers to the image. Experimental results show that the proposed method can effectively improve the contrast and brightness of the image, and enhance the overall visual effect of the image.

underwater image; visual enhancement; scattering; homomorphic filtering

TJ630; TP391

A

2096-3920(2021)02-0210-08

; 10.11993/j.issn.2096-3920.2021.02.012

王丹, 張子玉, 趙金寶, 等. 基于常散射假設(shè)和同態(tài)濾波的水下圖像增強算法[J]. 水下無人系統(tǒng)學(xué)報, 2021, 29(2); 210-217.

2020-07-01;

2020-08-04.

國家自然科學(xué)基金(61991413, 61973224); 道路施工技術(shù)與裝備教育部重點實驗室開放基金(300102259506); 遼寧省重點研發(fā)計劃(2019JH2/10100014); 遼寧省自然科學(xué)基金(2019-ZD-0673, 2019-ZD-0655, 2019-KF-01-15).

楊謝柳(1985-), 女, 博士, 副教授, 主要研究方向為計算機視覺、圖像處理及機器學(xué)習.

(責任編輯 楊力軍)