基于色調(diào)映射和暗通道融合的弱光圖像增強(qiáng)

楊愛萍，趙美琪，宋曹春洋，王金斌

?

基于色調(diào)映射和暗通道融合的弱光圖像增強(qiáng)

楊愛萍，趙美琪，宋曹春洋，王金斌

(天津大學(xué)電氣自動(dòng)化與信息工程學(xué)院，天津 300072)

針對(duì)陰天或夜晚等弱光條件下拍攝的圖像具有亮度低、對(duì)比度低和細(xì)節(jié)模糊等問題，提出了一種基于色調(diào)映射和暗通道融合的弱光圖像增強(qiáng)方法．首先，根據(jù)弱光及其反轉(zhuǎn)圖像的特點(diǎn)，提出面向弱光圖像的透射率估計(jì)方法，進(jìn)而獲得場景深度信息，并將其融入色調(diào)映射函數(shù)設(shè)計(jì)；同時(shí)利用暗通道圖像區(qū)分光源區(qū)域，以修正色調(diào)映射函數(shù)參數(shù)，使其能夠根據(jù)場景深度自適應(yīng)調(diào)整圖像亮度；另一方面，增強(qiáng)后的暗通道圖可有效突出圖像的細(xì)節(jié)信息，將經(jīng)過色調(diào)映射后的V通道圖像和暗通道圖進(jìn)行加權(quán)融合，得到最后的增強(qiáng)結(jié)果．實(shí)驗(yàn)結(jié)果表明，本文方法不僅顯著改善圖像亮度、增強(qiáng)對(duì)比度、恢復(fù)出更多的圖像細(xì)節(jié)，還能有效去除塊效應(yīng)和暈輪偽影，視覺效果理想．

圖像增強(qiáng)；深度信息；色調(diào)映射；暗通道；融合

陰天或夜晚等弱光條件下拍攝圖像時(shí)，由于周圍環(huán)境光照不足，拍攝到的圖像存在大量的暗區(qū)，亮度和對(duì)比度較低，造成大量細(xì)節(jié)丟失，難以得到感興趣的信息．因此，弱光圖像增強(qiáng)具有重要的研究意義．

目前常用的弱光圖像增強(qiáng)方法主要有兩類：基于物理模型的方法和非物理模型方法．非物理模型方法主要有直方圖均衡化、Retinex方法、色調(diào)映射等．直方圖均衡化方法[1]能提高圖像的亮度，但細(xì)節(jié)信息恢復(fù)效果不佳．Retinex方法[2-4]基于人類視覺系統(tǒng)特性，通過平滑操作估計(jì)照射分量進(jìn)而得到反映圖像細(xì)節(jié)信息的反射光分量，并進(jìn)行對(duì)比度拉伸；其缺點(diǎn)是對(duì)于存在較多亮區(qū)和暗區(qū)的圖像難以估計(jì)照射分量，增強(qiáng)效果差，且顏色失真嚴(yán)重．Drago等[5]提出一種色調(diào)映射方法，將圖像從RGB空間轉(zhuǎn)換到Y(jié)UV空間，然后在表征圖像光照的Y空間進(jìn)行映射，提高圖像的整體亮度；但是該映射函數(shù)中參數(shù)固定，不能根據(jù)圖像亮度自適應(yīng)調(diào)整增強(qiáng)程度；同時(shí)由于圖像整體亮度偏低，僅根據(jù)像素強(qiáng)度設(shè)計(jì)映射函數(shù)，容易導(dǎo)致噪聲被放大．Zhou等[6]提出基于全局亮度提高和局部對(duì)比度增強(qiáng)(overall brightness and local contrast adaptive enhancement，OBLCAE)算法；但是該方法在計(jì)算局部均方差的過程中時(shí)間復(fù)雜度較大，整體亮度增強(qiáng)效果不佳，且對(duì)夜間圖像處理時(shí)導(dǎo)致噪聲放大.該類方法計(jì)算簡單、增強(qiáng)效果較好，但是由于缺乏對(duì)景深信息的估計(jì)，不能有效改善景深較大處場景的對(duì)比度和色彩．針對(duì)非物理模型方法的不足，Dong等[7]根據(jù)弱光反轉(zhuǎn)圖像和白天條件下霧天圖像之間的相似性，基于大氣散射模型，通過去霧[8]方法對(duì)弱光圖像增強(qiáng)，但是該方法導(dǎo)致增強(qiáng)后的圖像存在塊效應(yīng)．

針對(duì)目前弱光圖像增強(qiáng)方法的缺陷，本文將基于物理模型的方法和非物理模型方法相結(jié)合，通過估計(jì)深度信息，設(shè)計(jì)自適應(yīng)色調(diào)映射函數(shù)，基于色調(diào)映射和暗通道融合方法增強(qiáng)弱光圖像．首先針對(duì)弱光圖像的特點(diǎn)，改進(jìn)暗原色先驗(yàn)計(jì)算方法，估計(jì)場景透射率，進(jìn)而得到圖像的深度信息；同時(shí)利用暗通道圖像區(qū)分光源特性，設(shè)計(jì)自適應(yīng)色調(diào)映射函數(shù)，對(duì)V通道進(jìn)行亮度增強(qiáng)；并且由于增強(qiáng)后的暗通道圖能有效突出細(xì)節(jié)信息，最后將增強(qiáng)后的V通道圖像和暗通道圖進(jìn)行加權(quán)融合．

1?基于暗原色先驗(yàn)的弱光圖像增強(qiáng)

1.1?基于暗原色先驗(yàn)的圖像去霧

大氣散射模型[9-10]描述了霧天圖像的退化過?程，即

?(1)

?(2)

由式(2)可得有霧圖像透射率

?(3)

以及去霧后的圖像

?(4)

1.2?基于暗原色先驗(yàn)的弱光圖像增強(qiáng)

研究發(fā)現(xiàn)，弱光圖像的反轉(zhuǎn)圖像和霧天圖像非常相似，因此可以通過圖像去霧的方法來增強(qiáng)弱光圖像[7,11]．

?(5)

代入式(4)，得到反轉(zhuǎn)后的弱光圖像的去霧圖像

?(6)

2?基于色調(diào)映射的圖像增強(qiáng)

色調(diào)映射利用映射函數(shù)對(duì)圖像中的每個(gè)像素的灰度值進(jìn)行映射，將其變換為接近于正常光照下的灰度值．Drago等[5]提出一種色調(diào)映射函數(shù)，取得了較好的增強(qiáng)效果，函數(shù)表達(dá)式為

?(7)

?(8)

?(9)

3?本文算法

傳統(tǒng)的基于非物理模型的圖像增強(qiáng)方法沒有考慮圖像的景深信息，增強(qiáng)后的圖像在景深較大處對(duì)比度和色彩處理效果較差．同時(shí)已有的色調(diào)函數(shù)參數(shù)固定，并不能根據(jù)圖像的不同區(qū)域自適應(yīng)調(diào)整增強(qiáng)程度，且某些算法亮度增強(qiáng)效果不理想，細(xì)節(jié)信息模糊.

針對(duì)上述問題，本文結(jié)合圖像成像物理模型，估計(jì)場景深度信息，同時(shí)利用暗通道圖像區(qū)分光源區(qū)域，設(shè)計(jì)自適應(yīng)色調(diào)映射函數(shù)；并將映射后的V通道圖像和暗通道圖進(jìn)行加權(quán)融合，提出基于色調(diào)映射和暗通道融合的弱光圖像增強(qiáng)方法．

3.1?面向弱光圖像的深度估計(jì)

在無霧條件下，有些圖像區(qū)域(如天空、白云等明亮區(qū)域)3通道值很大，并不滿足暗原色先驗(yàn)，根據(jù)He等[8]的方法估計(jì)得到的透射率偏小，導(dǎo)致復(fù)原圖像顏色失真[12]．由于弱光圖像反轉(zhuǎn)后含有大片明亮區(qū)域，其并不滿足暗原色先驗(yàn)假設(shè)，因此，本文首先對(duì)透射率估計(jì)方法進(jìn)行改進(jìn)．

(10)

?(11)

?(12)

3.2?色調(diào)映射函數(shù)改進(jìn)及V通道增強(qiáng)

獲得場景深度后，將其用于色調(diào)映射函數(shù)改進(jìn)，使設(shè)計(jì)得到的色調(diào)映射函數(shù)能夠根據(jù)圖像局部結(jié)構(gòu)自適應(yīng)調(diào)整圖像亮度，提高景深較大處圖像的對(duì)比度和亮度．

由圖2可知，對(duì)于像素較低的暗區(qū)，直接采用式(8)進(jìn)行映射，容易導(dǎo)致過增強(qiáng)，且放大噪聲．本文將式(8)修改為

?(13)

?(14)

?(15)

?(16)

因此，設(shè)計(jì)自適應(yīng)參數(shù)為

?(17)

基于自適應(yīng)色調(diào)映射對(duì)V通道進(jìn)行亮度增強(qiáng)為

?(18)

圖3?不同參數(shù)下色調(diào)映射結(jié)果

3.3?基于色調(diào)映射的暗通道圖像增強(qiáng)

圖4?灰度圖與暗通道圖

因此，本文基于色調(diào)映射方法對(duì)點(diǎn)暗通道圖進(jìn)行增強(qiáng)，增強(qiáng)后的點(diǎn)暗通道圖整體亮度有所提高，且能有效突出圖像的細(xì)節(jié)信息，如圖5(d)所示．映射公?式為

?(19)

3.4?V通道和暗通道加權(quán)融合

?(20)

4?本文算法流程

綜上，本文根據(jù)弱光圖像及其反轉(zhuǎn)圖像特點(diǎn)，提出面向弱光圖像的深度估計(jì)，并將深度信息用于色調(diào)映射函數(shù)設(shè)計(jì)；同時(shí)利用暗通道圖區(qū)分光源區(qū)域，以改進(jìn)色調(diào)映射函數(shù)參數(shù)，使能根據(jù)圖像深度自適應(yīng)調(diào)整圖像亮度；最后將增強(qiáng)后的V通道圖像和暗通道圖加權(quán)融合以獲得豐富的圖像細(xì)節(jié)．具體算法流程如下．

步驟2?由式(10)計(jì)算改進(jìn)后圖像的透射率，并進(jìn)行局部自適應(yīng)維納濾波．

步驟3?由式(12)求出深度信息并進(jìn)行歸一化．

步驟4?由式(15)區(qū)分光源區(qū)域．

步驟5?由式(17)計(jì)算圖像的自適應(yīng)參數(shù)．

步驟6?由式(18)對(duì)V通道色調(diào)映射增強(qiáng)亮度．

步驟7?由式(19)對(duì)暗通道圖色調(diào)映射突出細(xì)節(jié).

步驟8?由式(20)對(duì)增強(qiáng)后的V通道和暗通道加權(quán)融合，并進(jìn)行雙邊濾波．

步驟9?由HSV空間轉(zhuǎn)到RGB空間，得到最終的增強(qiáng)圖像．

結(jié)束

5?實(shí)驗(yàn)與結(jié)果分析

5.1?主觀評(píng)價(jià)

為了驗(yàn)證本文所提算法的有效性，首先與文獻(xiàn)[6]基于OBLCAE的算法進(jìn)行對(duì)比．圖7為夜晚帶有人工光源圖像的增強(qiáng)結(jié)果，可以看出OBLCAE算法可有效改善圖像整體亮度，但是在光源區(qū)域增強(qiáng)程度較大，細(xì)節(jié)信息丟失．相比之下，本文算法得到的圖像亮度顯著提高，細(xì)節(jié)信息更加豐富，近景光源區(qū)域增強(qiáng)效果自然．

圖7?OBLCAE和本文算法增強(qiáng)結(jié)果

為進(jìn)一步驗(yàn)證本文算法的性能，將所提算法與目前典型的多尺度retinex(multi-scale retinex，MSR)算法、OBLCAE算法[6]以及文獻(xiàn)[7]提出的基于去霧模型的增強(qiáng)算法進(jìn)行對(duì)比，并給出各方法增強(qiáng)效果．選取House、Sunset、Carport、Highway和Shop進(jìn)行圖像增強(qiáng)．其中，House為白天弱光圖像，Sunset為傍晚弱光圖像，Carport為有強(qiáng)光源的夜間圖像，Highway為有弱光源的夜間圖像，Shop為無光源的夜間圖像，幾種算法的增強(qiáng)結(jié)果如圖8～圖12所示．可以看出，MSR算法亮度增強(qiáng)程度有限，且圖像容易產(chǎn)生顏色失真；OBLCAE算法[6]雖然能提升圖像的亮度和增強(qiáng)細(xì)節(jié)信息，但是其增強(qiáng)后圖像整體亮度偏低，在邊緣處存在明顯的暈輪偽影，尤其在處理夜間圖像時(shí)，噪聲較大；基于去霧的弱光圖像增強(qiáng)算?法[7]雖然能較好地提高圖像整體亮度，但在景深變化處塊效應(yīng)嚴(yán)重；相比之下，本文對(duì)不滿足暗原色先驗(yàn)的亮區(qū)進(jìn)行透射率補(bǔ)償并利用維納濾波優(yōu)化，得到更加準(zhǔn)確的深度信息，能有效地去除塊效應(yīng)和暈輪偽影；通過弱光圖像的亮度信息和深度信息設(shè)計(jì)參數(shù)對(duì)V通道圖像進(jìn)行自適應(yīng)色調(diào)映射，提高弱光圖像的亮度；由于暗通道圖像能準(zhǔn)確反映當(dāng)前像素與周圍像素的關(guān)系，對(duì)暗通道圖像增強(qiáng)，使圖像恢復(fù)更多的細(xì)節(jié)信息；在此基礎(chǔ)上將二者進(jìn)行融合，所提算法能有效提高圖像亮度的同時(shí)可恢復(fù)更多圖像細(xì)節(jié)，增強(qiáng)對(duì)比度，視覺效果理想．

圖8?圖像House采用不同方法的增強(qiáng)結(jié)果

圖9?圖像Sunset采用不同方法的增強(qiáng)結(jié)果

圖10?圖像Carport采用不同方法的增強(qiáng)結(jié)果

圖11?圖像Highway采用不同方法的增強(qiáng)結(jié)果

5.2?客觀評(píng)價(jià)

為了從客觀方面進(jìn)行評(píng)價(jià)，現(xiàn)計(jì)算3種性能評(píng)價(jià)指標(biāo)：信息熵、平均亮度和平均梯度．信息熵反映圖像中包含信息量的多少，信息熵越大表明圖像包含更多的信息量；平均亮度反映圖像的整體亮度，影響人眼從圖像中獲取信息的容易程度，平均亮度越高，視覺效果越好；平均梯度反映圖像細(xì)節(jié)信息的豐富程度，平均梯度越大，圖像細(xì)節(jié)越豐富，圖像紋理特征越明顯，圖像越清晰．

表1為幾種典型算法下，對(duì)5幅弱光圖像處理后各指標(biāo)計(jì)算結(jié)果．可以看出，本文方法與其余方法相比，圖像的平均亮度較高，說明本文方法能有效提升圖像的整體亮度，原因是使用了自適應(yīng)色調(diào)映射函數(shù)對(duì)圖像增強(qiáng)；信息熵和平均梯度都基本高于其他方法，說明本文方法能恢復(fù)更多的圖像細(xì)節(jié)．

圖12?圖像Shop采用不同方法的增強(qiáng)結(jié)果

表1?不同方法相關(guān)指標(biāo)比較

Tab.1?Comparison of relevant indexes of different methods

6?結(jié)?語

本文提出一種基于色調(diào)映射和暗通道融合的弱光圖像增強(qiáng)算法．首先根據(jù)弱光圖像及其反轉(zhuǎn)圖像特點(diǎn)，給出面向弱光圖像的深度估計(jì)方法，并將其用于色調(diào)映射函數(shù)設(shè)計(jì)；同時(shí)利用暗通道圖區(qū)分光源區(qū)域，以修正色調(diào)映射函數(shù)參數(shù)；基于改進(jìn)的色調(diào)映射函數(shù)分別對(duì)V通道和暗通道圖像進(jìn)行自適應(yīng)增強(qiáng)，并將二者進(jìn)行加權(quán)融合得到最終增強(qiáng)結(jié)果．實(shí)驗(yàn)結(jié)果表明，本文方法可顯著改善圖像亮度、增強(qiáng)對(duì)比度、恢復(fù)出更多的圖像細(xì)節(jié)，視覺效果理想．

［1］ Chen S D，Ramli A R. Preserving brightness in histogram equalization based contrast enhancement techniques[J].，2004，14(5)：413-428.

［2］ Rahman Z，Jobson D J，Woodell G A. Multi-scale retinex for color image enhancement[C]//. Lausanne，Switzerland，1996：1003-1006.

［3］ Wang Wen，Li Bo，Zheng Jin，et al. A fast multi-scale retinex algorithm for color image enhancement[C]//. New Jersey，USA，2008：80-85.

［4］ Jin X. Image enhancement based on selective retinex fusion algorithm[J].，2012，7(6)：1187-1194.

［5］ Drago F，Myszkowski K，Annen T，et al. Adaptive loga-rithmic mapping for displaying high contrast scenes [J].，2010，22(3)：419-426.

［6］ Zhou Zhigang，Sang Nong，Hu Xinrong. Global brightness and local contrast adaptive enhancement for low illumination color image[J].，2014，125(6)：1795-1799.

［7］ Dong Xuan，Wang Guan，Pang Yi，et al. Fast efficient al-gorithm for enhancement of low lighting video[J].，2011，10(7)：1-6.

［8］ He Kaiming，Sun Jian，Tang Xiaoou. Single image haze removal using dark channel prior[J].，2011，33(12)：2341-2353.

［9］ Narasimhan S G，Nayar S K. Vision and the atmosphere [J].，2002，48(3)：233-254.

［10］ Kratz L，Nishino K. Factorizing scene albedo and depth from a single foggy image[C]//. Kyoto，Japan，2009：1701-1708.

［11］ Jiang X，Yao H，Zhang S，et al. Night video enhancement using improved dark channel prior[C]//Melbourne，Australia，2013：553-557.

［12］ 蔣建國，侯天峰，齊美彬. 改進(jìn)的基于暗原色先驗(yàn)的圖像去霧算法[J]. 電路與系統(tǒng)學(xué)報(bào)，2011，16(2)：7-12.

Jiang Jianguo，Hou Tianfeng，Qi Meibin. Improved algorithm on single image haze removal using dark channel prior[J].，2011，16(2)：7-12(in Chinese).

［13］ Anderes E. Robust adaptive wiener filtering[C]//. Quebec，Canada，2012：3081-3084.

［14］ Zhu Q，Mai J，Shao L，et al. A fast single image haze removal algorithm using color attenuation prior[J].，2015，24(11)：3522-3533.

［15］ Narasimhan S G，Nayar S K. Contrast restoration of weather degraded images[J].，2003，25(6)：713-724.

(責(zé)任編輯：王曉燕)

Low-Light Image Enhancement Based on Tone Mapping and Dark Channel Fusion

Yang Aiping，Zhao Meiqi，Song Caochunyang，Wang Jinbin

(School of Electrical and Information Engineering，Tianjin University，Tianjin 300072，China)

Images captured at night or under low light conditions have the problems of low intensity，low contrast and blurring of details．This paper proposed a new low-light image enhancement method based on tone mapping and dark channel fusion．Firstly，an improved transmission estimation method was presented to obtain the depth information by using the statistics characteristics of low light image and its inversion．Then，the tone mapping function was designed by incorporating the scene depth．In addition，the pixel-wise dark channel was used to recognize the light source region with the purpose of modifying the parameter of the tone mapping function，and so the image brightness can be adjusted adaptively．In order to preserve more image details，the pixel-wise dark channel was enhanced and fused with the enhanced V-channel image to get the final results．Experimental results show that the proposed method not only improves the image brightness and contrast with more details，but also removes block effects and halo artifacts with ideal visual effects.

image enhancement；depth information；tone mapping；dark channel；fusion

10.11784/tdxbz201704044

TP751.1

A

0493-2137(2018)07-0768-09

2017-04-14；

2017-11-30.

楊愛萍（1977—），女，博士，副教授.

楊愛萍，yangaiping@tju.edu.cn.

國家自然科學(xué)基金資助項(xiàng)目(61372145，61472274，61771329).

the National Natural Science Foundation of China(No.,61372145，No.,61472274 and No.,61771329).