基于模擬多曝光融合的低照度圖像增強(qiáng)方法

司馬紫菱 胡峰

摘 要：針對部分低照度圖像整體亮度偏暗、對比度差和視覺信息偏弱等問題，提出一種基于模擬多曝光融合的低照度圖像增強(qiáng)方法。首先，利用改進(jìn)的變分Retinex模型和形態(tài)學(xué)的結(jié)合產(chǎn)生基準(zhǔn)圖來保證曝光圖像集中的主體信息;其次，結(jié)合Sigmoid函數(shù)和伽馬矯正構(gòu)造新的光照補(bǔ)償歸一化函數(shù)，同時(shí)提出了一種基于高斯引導(dǎo)濾波的反銳化掩模算法，用于調(diào)整基準(zhǔn)圖的細(xì)節(jié);最后，分別從亮度、色調(diào)和曝光率設(shè)計(jì)曝光圖集的加權(quán)值，通過多尺度融合得到最終增強(qiáng)結(jié)果，有效地避免了增強(qiáng)結(jié)果中的光暈和顏色失真。在不同的公開數(shù)據(jù)集上的實(shí)驗(yàn)結(jié)果表明，與傳統(tǒng)的低照度圖像增強(qiáng)方法進(jìn)行相比，所提方法降低了亮度失真率，提升了視覺信息保真度。該方法能夠有效地保留視覺信息，有利于實(shí)現(xiàn)低照度圖像增強(qiáng)的實(shí)時(shí)性應(yīng)用。

關(guān)鍵詞：低照度圖像;Retinex理論;曝光融合;細(xì)節(jié)調(diào)整;圖像增強(qiáng)

中圖分類號： TP391.41圖像識別及其裝置

文獻(xiàn)標(biāo)志碼：A

Abstract： Aiming at the problems of low luminance， low contrast and poor visual information， a low-light image enhancement method based on simulating multi-exposure fusion was proposed. Firstly， the improved variational Retinex model and morphology were combined to generate the reference map to ensure the subject information in the exposed image set. Then， a new illumination compensation normalization function was constructed by combining Sigmoid function and gamma correction. At the same time， an unsharp masking algorithm based on Gaussian guided filtering was proposed to adjust the details of the reference map. Finally， the weighted values of exposed image set were designed from luminance， chromatic information and exposure rate respectively， and the final enhancement result was obtained through multi-scale fusion with effective avoidance of halo phenomenon and color distortion. The experimental results on different public datasets show that， compared with the traditional low-light image enhancement method， the proposed method has reduced the lightness distortion rate and increased the visual information fidelity. The proposed method can effectively preserve visual information， which is conducive to the real-time application of low-light image enhancement.

Key words： low-light image; Retinex theory; exposure fusion; detail adjustment; image enhancement

0 引言

隨著科技的進(jìn)步與發(fā)展，圖像采集的方式越來越豐富，人們對圖像的質(zhì)量要求也越來越高。然而圖像在獲取的過程會受到很多因素的影響，特殊光照環(huán)境下，光學(xué)成像設(shè)備因?yàn)楣庹詹痪鶆?，從而可能使獲得的圖像曝光不均勻、場景細(xì)節(jié)損失、弱小目標(biāo)識別不清。由于拍攝設(shè)備的動態(tài)范圍是有限度的，如果僅僅調(diào)整設(shè)備曝光率，還是不能解決某些區(qū)域出現(xiàn)過度曝光或者過度飽和等問題。從圖1可以看出，隨著曝光率的增加，原來曝光不足的區(qū)域趨向于正常顯示，而原來正常的區(qū)域趨向于過度曝光，導(dǎo)致無法正常顯示區(qū)域信息。針對這個(gè)問題，學(xué)者們進(jìn)行了大量研究。目前主流的方法主要分為兩類：基于直方圖增強(qiáng)和基于Retinex圖像增強(qiáng)[1]?；谥狈綀D的方法通過修改直方圖的分布來增強(qiáng)圖像，該方法因?yàn)楹唵斡行Ф粡V泛應(yīng)用于各個(gè)領(lǐng)域，然而該方法對噪聲敏感，在其改變圖像亮度的同時(shí)可能出現(xiàn)過度增強(qiáng)的現(xiàn)象。近年來圍繞這一問題，學(xué)者們提出了一系列優(yōu)化算法。Lee等[2]通過尋找二維直方圖分層之間的差異性提出了一種新的對比度增強(qiáng)算法;Celik等[3]嘗試尋找一個(gè)最大灰度差來重新映射直方圖;Gu等[4]將質(zhì)量評估模型應(yīng)用于直方圖參數(shù)的優(yōu)化中，有效地處理了過度增強(qiáng)的問題。但這些方法關(guān)注的是對比度增強(qiáng)，并沒有充分利用圖像的真實(shí)亮度，存在過度增強(qiáng)或者未被增強(qiáng)的風(fēng)險(xiǎn)。

基于Retinex的方法將圖像看作是由光照分量和反射分量構(gòu)成。傳統(tǒng)的Retinex方法通過對光照分量的估計(jì)和移除，將反射分量看作是最后的增強(qiáng)結(jié)果[5-6]，但是往往會出現(xiàn)增強(qiáng)結(jié)果不自然和過度增強(qiáng)等問題。Wang等[7]設(shè)計(jì)了亮度濾波器對亮度進(jìn)行估計(jì)，然后使用雙對數(shù)變換修整亮度，但是不能很好地處理細(xì)節(jié)。王小明等[8]提出了利用快速二維卷積和多尺度連續(xù)估計(jì)的算法，降低了多尺度Retinex算法的運(yùn)算復(fù)雜度，但該方法可能會因?yàn)楣庹辗至康慕Y(jié)構(gòu)性導(dǎo)致部分增強(qiáng)區(qū)域失去自然性。Fu等[9]通過最大后驗(yàn)概率來估計(jì)光照分量和反射分量，將兩者進(jìn)行伽馬校正后重新調(diào)整圖像，得到最后的增強(qiáng)結(jié)果，雖然增強(qiáng)效果較為理想，但仍會在紋理豐富的區(qū)域丟失細(xì)節(jié)信息。

上述方法可以獲得較好的主觀質(zhì)量，但這些結(jié)果并不能準(zhǔn)確地反映場景的真實(shí)信息。因此，基于單幅低照度圖像的增強(qiáng)仍然是一個(gè)具有挑戰(zhàn)性的問題。為了改善上述情況，基于Retinex的圖像增強(qiáng)方法，本文提出了一種基于模擬多曝光融合的低照度圖像增強(qiáng)方法，基本框架如圖2所示。

1）首先將原來的低照度圖像由RGB（Red，Green，Blue）顏色模式轉(zhuǎn)化為HSV（Hue，Saturation，Value）模式，然后將HSV圖像的V通道進(jìn)行變分Retinex和形態(tài)學(xué)操作，得到變分增強(qiáng)后的基準(zhǔn)圖E1。

2）將變分增強(qiáng)后的基準(zhǔn)圖E1通過Sigmoid函數(shù)和伽馬矯正構(gòu)造新的歸一化函數(shù)來實(shí)現(xiàn)圖像的光照補(bǔ)償，并得到基準(zhǔn)圖E2。

3）再通過基于高斯引導(dǎo)濾波的反銳化掩模算法對基準(zhǔn)圖E1進(jìn)行細(xì)節(jié)調(diào)整，得到調(diào)整后的基準(zhǔn)圖E3。

4）將三幅基準(zhǔn)圖E1、E2、E3基于圖像的亮度、曝光率和色調(diào)設(shè)計(jì)三幅曝光圖的加權(quán)值，為曝光良好的像素分配較大的權(quán)值，曝光不足的像素分配較小的權(quán)值，得到圖像集W1、W2、W3。

5）最后將加權(quán)后的圖像集和基準(zhǔn)圖像集通過多尺度融合的方式結(jié)合，實(shí)現(xiàn)最后的增強(qiáng)，輸出增強(qiáng)后的圖像。

1 基于變分Retinex的增強(qiáng)方法

在模擬曝光之前，需要確定曝光圖像的數(shù)量。為了同時(shí)兼顧圖像的亮度和細(xì)節(jié)信息，本文選擇三幅曝光圖像，其中一幅為基準(zhǔn)圖像，另外兩幅曝光圖是在基準(zhǔn)圖E1的基礎(chǔ)上，分別基于細(xì)節(jié)和亮度調(diào)整而產(chǎn)生。所以基準(zhǔn)圖E1是整個(gè)曝光圖集的核心，E1的估計(jì)不足將會嚴(yán)重影響著其余兩幅圖的內(nèi)容調(diào)整。Retinex理論是基于人眼視覺系統(tǒng)所提出的圖像增強(qiáng)理論，因此基于Retinex理論產(chǎn)生基準(zhǔn)圖，其數(shù)學(xué)模擬如下：

5 結(jié)語

針對低照度圖像，本文提出了一種基于模擬多曝光融合的圖像增強(qiáng)方法。首先，利用形態(tài)學(xué)和改進(jìn)的變分模型產(chǎn)生曝光圖像集的基準(zhǔn)圖，以此保證增強(qiáng)結(jié)果的主體信息;為了模擬多曝光，分別以亮度和細(xì)節(jié)為目的，在基準(zhǔn)圖的基礎(chǔ)上產(chǎn)生另外兩幅曝光圖;然后，分別基于亮度、曝光度和色調(diào)設(shè)計(jì)曝光圖集的加權(quán)值，為曝光良好的像素分配較大的權(quán)值，為曝光不足的區(qū)域分配較小的權(quán)值;最后，采取多尺度融合圖像集的方式，避免增強(qiáng)結(jié)果中的光暈，得到了最終增強(qiáng)的圖像。將本文的方法和已有的低照度圖像增強(qiáng)方法在四個(gè)公開的數(shù)據(jù)集上進(jìn)行測試對比，實(shí)驗(yàn)結(jié)果表明，本文的方法具有較小的亮度失真和對比度失真，能夠有效地保留圖像本身的視覺信息。但是因?yàn)楸疚牟扇×私惶媲蠼獠呗?，迭代次?shù)增加了算法的復(fù)雜度，因此在接下來的工作中，如何提高算法的效率將是下一步的研究重點(diǎn)。

參考文獻(xiàn) （References）

[1] YUE H J， YANG J Y， SUN X Y， et al. Contrast enhancement based on intrinsic image decomposition [J]. IEEE Transactions on Image Processing， 2017， 26（8）： 3981-3994.

[2] LEE C， LEE C， KIM C S. Contrast enhancement based on layered difference representation of 2D histograms [J]. IEEE Transactions on Image Processing， 2013， 22（12）： 5372-5384.

[3] CELIK T， TJAHJADI T. Contextual and variational contrast enhancement [J]. IEEE Transactions on Image Processing， 2011， 20（12）： 3431-3441.

[4] GU K， ZHAI G T， LIN W S， et al. The analysis of image contrast： from quality assessment to automatic enhancement [J]. IEEE Transactions on Cybernetics， 2016， 46（1）： 284-297.

[5] JOBSON D J， RAHMAN Z， WOODELL G A. Properties and performance of a center/surround Retinex [J]. IEEE Transactions on Image Processing， 1997， 6（3）： 451-462.

[6] 劉茜，盧心紅，李象霖.基于多尺度Retinex的自適應(yīng)圖像增強(qiáng)方法[J].計(jì)算機(jī)應(yīng)用，2009，29（8）：2077-2079.（LIU Q， LU X H， LI X L. Adaptive image enhancement method based on multi-scale Retinex algorithm [J].Journal of Computer Applications， 2009， 29（8）： 2077-2079.）

[7] WANG S H， ZHENG J， HU H M， et al. Naturalness preserved enhancement algorithm for non-uniform illumination images [J]. IEEE Transactions on Image Processing， 2013， 22（9）： 3538-3548.

[8] 王小明，黃昶，李全彬，等.改進(jìn)的多尺度Retinex圖像增強(qiáng)算法[J].計(jì)算機(jī)應(yīng)用，2010，30（8）：2091-2093.（WANG X M， HUANG C， LI Q B， et al. Improved multi-scale Retinex image enhancement algorithm [J]. Journal of Computer Applications， 2010， 30（8）： 2091-2093.）

[9] FU X Y， LIAO Y H， ZENG D L， et al. A probabilistic method for image enhancement with simultaneous illumination and reflectance estimation [J]. IEEE Transactions on Image Processing， 2015， 24（12）： 4965-4977.

[10] WANG Y F， WANG H Y， YIN C L， et al. Biologically inspired image enhancement based on Retinex [J]. Neurocomputing， 2016， 177（C）： 373-384.

[11] GUO X J， LI Y， LING H B. LIME： low-light image enhancement via illumination map estimation [J]. IEEE Transactions on Image Processing， 2017， 26（2）： 982-993.

[12] FU X Y， ZENG D L， HUANG Y， et al. A weighted variational model for simultaneous reflectance and illumination estimation [C]// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2016： 2782-2790.

[13] KIMMEL R， ELAD M， SHAKED D， et al. A variational framework for Retinex [J]. International Journal of Computer Vision， 2003， 52（1）： 7-23.

[14] GOLDSTEIN T， OSHER S. The split bregman method for L1-regularized problems [J]. SIAM Journal on Imaging Sciences， 2009， 2（2）： 323-343.

[15] DENG G. A generalized unsharp masking algorithm [J]. IEEE Transactions on Image Processing， 2011， 20（5）： 1249-1261.

[16] ANCUTI C O， ANCUTI C. Single image dehazing by multi-scale fusion [J]. IEEE Transactions on Image Processing， 2013， 22（8）： 3271- 3282.

[17] ANCUTI C O， ANCUTI C， de VLEESCHOUWER C， et al. Single-scale fusion： an effective approach to merging images [J]. IEEE Transactions on Image Processing， 2017， 26（1）： 65-78.

[18] ANCUTI C， ANCUTI C O， HABER T， et al. Enhancing underwater images and videos by fusion [C]// Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， NJ： IEEE， 2012： 81-88.

[19] ANCUTI C O， ANCUTI C， BEKAERT P. Enhancing by saliency-guided decolorization [C]// CVPR 2011： Proceedings of the 2011 IEEE Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2011： 257-264.

[20] CHOI L K， YOU J， BOVIK A C. Referenceless prediction of perceptual fog density and perceptual image defogging [J]. IEEE Transactions on Image Processing， 2015， 24（11）： 3888-3901.

[21] JOBSON D J， RAHMAN Z， WOODELL G A. A multiscale Retinex for bridging the gap between color images and the human observation of scenes [J]. IEEE Transactions on Image Processing， 1997， 6（7）： 965-976.

[22] XU H T， ZHAI G Z， WU X L， et al. Generalized equalization model for image enhancement [J]. IEEE Transactions on Multimedia， 2014， 16（1）： 68-82.

[23] SHAN Q， JIA J Y， BROWN M S. Globally optimized linear windowed tone mapping [J]. IEEE transactions on Visualization and Computer Graphics， 2010， 16（4）： 663-675.

[24] YING Z Q， LI G， REN Y R， et al. A new image contrast enhancement algorithm using exposure fusion framework [C]// CAIP 2017： Proceedings of the 2017 International Conference on Computer Analysis of Images and Patterns， LNCS 10425. Cham： Springer， 2017： 36-46.

[25] LI M D， LIU J Y， YANG W H， et al. Structure-revealing low-light image enhancement via robust Retinex model [J]. IEEE Transactions on Image Processing， 2018， 27（6）： 2828-2841.

[26] MA K， ZENG K， WANG Z. Perceptual quality assessment for multi-exposure image fusion [J]. IEEE Transactions on Image Processing， 2015， 24（11）： 3345- 3356.

[27] SHEIKH H R， BOVIK A C. Image information and visual quality [J]. IEEE Transactions on Image Processing， 2006， 15（2）： 430-444.

[28] LI Z G， ZHENG J H， ZHU Z J， et al. Weighted guided image filtering [J]. IEEE Transactions on Image Processing， 2015， 24（1）： 120-129.

[29] AYDIN T O， MANTIUK R， MYSZKOWSKI K， et al. Dynamic range independent image quality assessment [C]// SIGGRAPH 2008： Proceedings of the 2008 ACM SIGGRAPH. New York： ACM， 2008： Article No. 69.

[30] WANG Q H， FU X Y， ZHANG X P， et al. A fusion-based method for single backlit image enhancement [C]// ICIP 2016： Proceedings of the 2016 IEEE International Conference on Image Processing. Piscataway， NJ： IEEE， 2016： 4077-4081.

[31] YING Z Q， LI G， REN Y R， et al. A new low-light image enhancement algorithm using camera response model [C]// Proceedings of the 2017 IEEE International Conference on Computer Vision Workshop. Piscataway， NJ： IEEE， 2017： 3015-3022.

[32] 王晨，湯心溢，高思莉.基于人眼視覺的紅外圖像增強(qiáng)算法研究[J].激光與紅外，2017，47（1）：114-118.（WANG C， TANG X Y， GAO S L. Infrared image enhancement algorithm based on human vision [J]. Laser and Infrared， 2017， 47（1）： 114-118.）