基于奇異值分解和引導(dǎo)濾波的低照度圖像增強(qiáng)算法

龍慶延， 王正勇， 潘 建， 何小海*， 卿粼波

(1.四川大學(xué)電子信息學(xué)院， 成都 610065； 2.中國(guó)民航局第二研究所， 成都 610041)

在低照度條件下，由于圖像采集設(shè)備的性能有限，導(dǎo)致采集圖像整體亮度不足、局部細(xì)節(jié)丟失等問題的出現(xiàn)，不能滿足目標(biāo)檢測(cè)、跟蹤、識(shí)別等實(shí)際場(chǎng)景中對(duì)高質(zhì)量圖片的需求。因此，研究低照度條件下的圖像增強(qiáng)技術(shù)有很強(qiáng)的理論意義和一定的應(yīng)用價(jià)值。

低照度圖像增強(qiáng)的主要目的是恢復(fù)隱藏在黑暗中的細(xì)節(jié)信息并改善圖像的整體視覺效果。目前中外常用的低照度圖像增強(qiáng)方法主要分為以下4類:

(1)基于直方圖均衡(HE)的方法[1]。直方圖均衡對(duì)給定圖像的直方圖進(jìn)行非線性變換，處理后的圖像直方圖近似于均勻分布，從而使圖像的對(duì)比度得到相應(yīng)的提升。優(yōu)點(diǎn)是計(jì)算量較小，易于實(shí)現(xiàn)，但是增強(qiáng)后由于圖像灰度級(jí)合并容易出現(xiàn)細(xì)節(jié)丟失，顏色失真等問題。

(2)基于Retinex理論的方法[2-4]。經(jīng)典的MSRCR(multi-scale Retinex with color restoration)算法[2]使用高斯濾波器來提取光照分量后經(jīng)對(duì)數(shù)變換獲得增強(qiáng)圖像。Fu等[3]提出了一種基于加權(quán)變分模型SRIE(simultaneous reflectance and illumination estimation)的算法,對(duì)圖像中的光照分量和反射分量同時(shí)進(jìn)行估計(jì)；Guo等[4]提出了LIME(low light image enhancementviaillumination map estimation)算法，對(duì)原始圖像采用Max-RGB模型估計(jì)初始光照，經(jīng)過結(jié)構(gòu)信息和Gamma校正優(yōu)化光照分量，并在增強(qiáng)后使用BM3D算法進(jìn)行去噪；盧瑋等[2]在RGB空間下通過SSR(single-scale Retinex)增強(qiáng)結(jié)果與在YCrCb空間下通過MSR(multi-scale Retinex)增強(qiáng)結(jié)果加權(quán)融合后，得到最終增強(qiáng)圖像。但以上方法在亮度突變區(qū)域存在過度增強(qiáng)，容易出現(xiàn)光暈。

(3)基于去霧模型的方法。Dong等[5]發(fā)現(xiàn)低照度圖像經(jīng)反轉(zhuǎn)后與霧天圖像極其相似。因此，可以將低照度圖像反轉(zhuǎn)后使用去霧算法處理，隨后進(jìn)行二次反轉(zhuǎn)得到增強(qiáng)圖像。Wang等[6]通過超像素分割和平均標(biāo)準(zhǔn)差來優(yōu)化透射率圖從而獲得增強(qiáng)圖像。此類方法結(jié)果較自然，但需設(shè)計(jì)復(fù)雜的去霧物理模型。

(4)基于深度學(xué)習(xí)的方法。Chen等[7]通過全卷積網(wǎng)絡(luò)在低照度圖像上取得了很好的效果。馬紅強(qiáng)等[8]將圖像從RGB空間轉(zhuǎn)換到HIS(hue saturation intensity)空間，使用深度卷積神經(jīng)網(wǎng)絡(luò)對(duì)I分量進(jìn)行增強(qiáng)。但此類方法需要大量的數(shù)據(jù)作為支撐，模型訓(xùn)練復(fù)雜耗時(shí)，且難以進(jìn)行實(shí)時(shí)處理。

針對(duì)上述問題，提出一種基于奇異值分解和引導(dǎo)濾波的低照度圖像增強(qiáng)算法，利用奇異值分解和引導(dǎo)濾波優(yōu)化光照分量，實(shí)現(xiàn)圖像初步增強(qiáng)，并對(duì)初步增強(qiáng)后的圖像使用引導(dǎo)濾波去除噪聲。為了驗(yàn)證算法的有效性，通過主觀評(píng)價(jià)和客觀評(píng)價(jià)兩方面進(jìn)行結(jié)果分析驗(yàn)證。

1 Retinex原理

Land[9]以人類視覺系統(tǒng)的顏色恒常性原理提出了Retinex理論。Retinex理論認(rèn)為：一幅低照度圖像S(x,y)可以表示為光照分量L(x,y)和反射分量R(x,y)的乘積，即

S(x,y)=L(x,y)R(x,y)

(1)

物體的實(shí)際顏色由反射分量決定，是物體的固有屬性。當(dāng)環(huán)境光照發(fā)生變化時(shí)，反射分量并不會(huì)隨著光照變化而變化。因此，Retinex算法通過一定方式估計(jì)出低照度圖像中的光照分量后，求取反射分量，從而得到增強(qiáng)的圖像。增強(qiáng)后圖像的效果取決于光照分量的估計(jì)是否準(zhǔn)確。

目前大多數(shù)基于Retienx原理的算法是利用高斯濾波器卷積低照度原圖得到光照分量，并將式(1)轉(zhuǎn)換到對(duì)數(shù)域上進(jìn)行處理，經(jīng)歸一化處理后得到增強(qiáng)圖像。直接對(duì)式(1)變形，根據(jù)Retinex理論，有

(2)

為防止分母為0，將式(2)變?yōu)?/p>

(3)

式(3)中：τ為一個(gè)常數(shù)。求出光照分量后，由式(3)可得到增強(qiáng)后的三通道圖像。

2 奇異值分解和引導(dǎo)濾波的圖像增強(qiáng)

2.1 初始光照分量估計(jì)

作為最早使用的顏色恒常性理論之一，文獻(xiàn)[4]利用Max-RGB模型來估計(jì)光照分量，通過尋找圖像中某點(diǎn)在RGB三通道上的最大值作為該點(diǎn)的光照，即

L(x,y)=max[R(x,y),G(x,y),B(x,y)]

(4)

由式(4)計(jì)算出的光照結(jié)果偏大，并不能有效地代表真實(shí)光照情況，仍然需進(jìn)一步處理[4]。

2.2 光照分量?jī)?yōu)化

奇異值分解是一種常用的矩陣對(duì)角化分解方式，廣泛應(yīng)用于圖像領(lǐng)域。對(duì)任意矩陣A，存在如下分解形式：

A=UΣVT

(5)

式(5)中：U和V均為正交矩陣，即對(duì)矩陣U、V有UUT=I和VVT=I；Σ為非負(fù)對(duì)角陣， 矩陣A、U、Σ、V的維度分別為A∈Rm×n、U∈Rm×m、Σ∈Rm×n、V∈Rn×n，其中：

Σ=diag(s1,s2,…,sN),s1>s2>…>sN

(6)

式(6)中：s1,s2,…,sN為原矩陣A的奇異值。正交矩陣U和V包含原矩陣的結(jié)構(gòu)信息，奇異矩陣Σ包含原矩陣的能量信息。對(duì)圖像而言，以(x,y)點(diǎn)為中心的正方形區(qū)域進(jìn)行奇異值分解，奇異矩陣Σ中的奇異值s1大于其余奇異值，s1可近似代表點(diǎn)(x,y)處的能量信息，即該點(diǎn)的亮度信息[10]。圖1給出了一幅圖像的初始光照分量和對(duì)圖像中3×3、7×7、15×15正方形區(qū)域進(jìn)行奇異值分解后的圖像(奇異值分解后的圖像經(jīng)歸一化處理)。

圖1 初始光照分量和在不同尺度下經(jīng)奇異值 分解的光照?qǐng)DFig.1 The initial illumination component and the illumination images by singular value decomposition at different scales

從圖1可以看出，隨著奇異值分解的區(qū)域逐漸增大，圖像變得越來越模糊，并且明暗交替的邊界越來越難以區(qū)分。若奇異值分解選取的區(qū)域較小，圖像仍然帶有豐富的紋理細(xì)節(jié)信息，不符合光照變化緩慢這一特征；若奇異值分解選取的區(qū)域過大，則無法有效地保留亮度突變區(qū)域的邊緣信息，在增強(qiáng)后的圖像中極易出現(xiàn)光暈偽影。為了去除圖像中的細(xì)節(jié)信息并保留亮度突變區(qū)域的邊界信息，應(yīng)在選取合適的尺度對(duì)圖像進(jìn)行奇異值分解后，對(duì)得到的圖像使用引導(dǎo)濾波進(jìn)行后續(xù)處理。

引導(dǎo)濾波器是一種常用的邊緣保持濾波器。通過引導(dǎo)圖像I(x,y)，對(duì)輸入圖像p(x,y)進(jìn)行濾波處理，使得輸出圖像q(x,y)紋理趨近輸入圖像p(x,y)，在去除噪聲的同時(shí)盡可能地保留圖像的邊緣信息。引導(dǎo)濾波在局部窗口區(qū)域ωk滿足

qi=akIi+bk,?i∈ωk

(7)

式(7)中：ak和bk在局部窗口區(qū)域ωk上為常數(shù)。為確定常數(shù)ak和bk的值，可將問題轉(zhuǎn)換利用最小二乘法思想求代價(jià)函數(shù)E(ak,bk)的最小值，即

(8)

可以求出

(9)

(10)

使用初始光照?qǐng)D作為引導(dǎo)圖像，考慮到原圖中大部分區(qū)域光照變化緩慢，局部區(qū)域可能由燈光等因素造成光照突變，對(duì)經(jīng)奇異值分解后的光照?qǐng)D像進(jìn)行連續(xù)三次引導(dǎo)濾波處理，獲得優(yōu)化后的光照?qǐng)D像，三次引導(dǎo)濾波的窗口半徑分別為r1、r2、r3，r1>r2>r3，得到的圖像分別為L(zhǎng)1(x,y)、L2(x,y)、L3(x,y)，即

(11)

式(11)中：GFr,ε表示以窗口半徑為r、正則化參數(shù)ε進(jìn)行引導(dǎo)濾波；Lini(x,y)為初始光照?qǐng)D像；Ls(x,y)經(jīng)奇異值分解后的光照?qǐng)D像。經(jīng)過以上處理，得到優(yōu)化后的光照?qǐng)D像L3(x,y)，即最終使用的光照分量圖像。從圖2(b)可以看出，經(jīng)三次引導(dǎo)濾波處理后去除了紋理細(xì)節(jié)并保留了邊緣信息[圖2(a)中奇異值分解窗口為3×3]。

圖2 經(jīng)引導(dǎo)濾波處理前后光照分量圖Fig.2 Light component images before guided filtering and after guided filtering

2.3 圖像增強(qiáng)與去噪

根據(jù)第1節(jié)和2.2節(jié)，在求解得出光照分量L3(x,y)后，由原圖和光照分量經(jīng)式(3)可得到增強(qiáng)圖像。但低照度圖像在增強(qiáng)的同時(shí)放大了原先隱藏在黑暗中的噪聲[4]。使用引導(dǎo)濾波對(duì)增強(qiáng)后的圖像進(jìn)行去噪處理。因此，找到一幅低噪聲且與增強(qiáng)后圖像結(jié)構(gòu)基本相同的引導(dǎo)圖像成為去噪的關(guān)鍵。由于當(dāng)前使用的CCD相機(jī)和CMOS相機(jī)多使用拜耳陣列傳感器來獲取彩色圖像，而拜耳陣列是一個(gè)由8個(gè)綠色、4個(gè)藍(lán)色和4個(gè)紅色像素組成的4×4陣列。文獻(xiàn)[11]指出，由于拜耳陣列中綠色像素多，藍(lán)、紅色像素少，在低照度圖像中，藍(lán)、紅色通道通常具有較高的噪聲，而綠色通道像素點(diǎn)多，對(duì)光照變化更敏感，噪聲水平通常較低。因此，可使用原始低照度圖像的綠色通道作為引導(dǎo)圖像，對(duì)初步增強(qiáng)后圖像的RGB三通道分別去噪，三通道融合后得到最終增強(qiáng)圖像。

3 算法具體實(shí)現(xiàn)過程

基于奇異值分解和引導(dǎo)濾波的低照度圖像增強(qiáng)算法，其核心框架如圖3所示，可以細(xì)分為以下幾個(gè)步驟：

圖3 算法框架Fig.3 Framework of the algorithm

(1)使用Max-RGB模型估計(jì)出初始光照分量Lini(x,y)。

(2)對(duì)Lini(x,y)以(x,y)為中心的局部窗口區(qū)域進(jìn)行奇異值分解，取最大的奇異值作為該點(diǎn)的光照，整體歸一化后得到光照分量Ls(x,y)。

(3)利用初始光照分量Lini(x,y)作為引導(dǎo)圖像，對(duì)Ls(x,y)用不同大小的窗口進(jìn)行三次引導(dǎo)濾波，得到優(yōu)化后的光照?qǐng)D像L3(x,y)。

(4)根據(jù)式(3)獲得增強(qiáng)后的3個(gè)通道圖像R1(x,y)、G1(x,y)、B1(x,y)。

(5)使用原低照度圖像綠色通道G0(x,y)作為引導(dǎo)圖像，對(duì)R1(x,y)、G1(x,y)、B1(x,y)進(jìn)行引導(dǎo)濾波去除噪聲，RGB三通道融合得到最終增強(qiáng)圖像。

經(jīng)多次測(cè)試，本文算法使用3×3區(qū)域?qū)D像進(jìn)行奇異值分解，計(jì)算光照分量時(shí)，選取的引導(dǎo)濾波區(qū)域半徑分別為r1=15、r2=7、r3=3，正則化參數(shù)分別為ε1=0.01、ε2=0.01、ε3=0.01，通過式(3)計(jì)算增強(qiáng)圖像的τ=0.1，去噪時(shí)選取的引導(dǎo)濾波區(qū)域半徑為r4=2，正則化參數(shù)為ε4=0.000 01。

4 實(shí)驗(yàn)及結(jié)果分析

為驗(yàn)證本文算法的有效性,對(duì)比了6種方法增強(qiáng)后的結(jié)果，包括經(jīng)典的MSRCR算法[2]、Dong[5]、SRIE[3]、LIME[4]、JED[12]、GBLLIE[13]。實(shí)際使用的圖片為公開數(shù)據(jù)集ExDark(Exclusively Dark dataset)[14]中選取的20張低照度圖片。原始圖片樣例和本文算法得到的增強(qiáng)結(jié)果如圖4所示。對(duì)比算法均使用原始文獻(xiàn)中推薦的參數(shù)值。

圖4 20張低照度圖像和增強(qiáng)圖像Fig.4 20 low light images and enhanced images

4.1 主觀評(píng)價(jià)

從20張圖片中選取3張，使用本文算法和對(duì)比算法處理后的增強(qiáng)效果如圖5～圖7所示(圖中對(duì)比區(qū)域均放大4倍)。

圖5 湖的原圖以及由不同算法增強(qiáng)后的結(jié)果Fig.5 The original image of the lake and the results enhanced by different algorithms

從圖5的實(shí)驗(yàn)中可以看出，經(jīng)MSRCR處理后整 體泛白；Dong處理后產(chǎn)生明顯的邊緣；SRIE、JED對(duì)圖片亮度增強(qiáng)不明顯；GBLLIE無法處理圖像中較為光滑的部分，如右上角的云朵，亮度甚至變低；LIME和本文算法增強(qiáng)的同時(shí)未出現(xiàn)上述問題。

從圖6實(shí)驗(yàn)中可以看出，MSRCR、Dong、SRIE、JED 4種算法增強(qiáng)后結(jié)果出現(xiàn)了與圖5相同的問題；LIME由于使用BM3D去噪，使得圖片變得更加模糊，如圖6(e)右下角所示；GBLLIE和本文算法表現(xiàn)良好。

圖6 狗的原圖以及由不同算法增強(qiáng)后的結(jié)果Fig.6 The original image of the dog and the results enhanced by different algorithms

從圖7實(shí)驗(yàn)中可以看出，MSRCR產(chǎn)生大量的噪聲，出現(xiàn)過增強(qiáng)；Dong、SRIE、JED 3種算法仍存在之前的問題；LIME在亮度較高的區(qū)域出現(xiàn)光暈，如圖7(e)車燈部分；GBLLIE出現(xiàn)部分區(qū)域無法增強(qiáng)的問題，如車門部分；本文算法增強(qiáng)效果良好。

圖7 汽車的原圖以及由不同算法增強(qiáng)后的結(jié)果Fig.7 The original image of the car and the results enhanced by different algorithms

4.2 客觀評(píng)價(jià)

為了客觀評(píng)價(jià)本文算法與各對(duì)比算法的增強(qiáng)效果，使用彩色熵、亮度失真[15](lightness order error, LOE)、自然圖像質(zhì)量評(píng)估[16](natural image quality evaluator, NIQE)、盲/無參考圖像空域質(zhì)量評(píng)價(jià)[17](blind/referenceless image spatial quality evaluator, BRISQUE)4個(gè)指標(biāo)對(duì)幾種算法進(jìn)行對(duì)比。彩色熵為RGB三通道熵之和，用于評(píng)價(jià)顏色增強(qiáng)程度，數(shù)值越大代表增強(qiáng)程度越高。LOE主要用來評(píng)價(jià)增強(qiáng)后圖像的自然度保持能力，數(shù)值越小說明圖像的亮度順序保持得越好，圖像越自然。由于使用原圖計(jì)算LOE時(shí)間復(fù)雜度過大，文獻(xiàn)[15]建議將圖像下采樣后進(jìn)行計(jì)算。將原圖下采樣至100×100后計(jì)算LOE。NIQE根據(jù)待評(píng)價(jià)圖像高斯模型參數(shù)與預(yù)先得到的高斯模型參數(shù)之間的距離來評(píng)價(jià)一幅的圖像質(zhì)量，較符合人眼感知結(jié)果，NIQE數(shù)值越小越好。BRISQUE在空域上利用亮度歸一化系數(shù)作為相關(guān)特征對(duì)圖像進(jìn)行評(píng)價(jià)，BRISQUE數(shù)值越小越好。

表1中列舉了主觀評(píng)價(jià)中3張圖像的各項(xiàng)指標(biāo)。表2中列舉了通過不同算法處理的20張圖像各項(xiàng)指標(biāo)的平均值。表1、表2中加粗?jǐn)?shù)值代表在各種對(duì)比算法中取得的最好結(jié)果。通過表2可以看出，本文算法在彩色熵這一指標(biāo)上低于MSRCR算法和LIME算法，在LOE、NIQE、BRISQUE 3個(gè)指標(biāo)均超過其他對(duì)比算法。說明本文算法能夠有效地增強(qiáng)低照度圖像，增強(qiáng)后的圖像有較好的視覺效果，表現(xiàn)更加自然。

5 結(jié)論

針對(duì)低照度圖像增強(qiáng)問題，基于Retinex理論，提出一種使用奇異值分解和引導(dǎo)濾波估計(jì)光照分量的方法，從主、客觀兩方面的評(píng)價(jià)驗(yàn)證了算法的有效性，并得出以下結(jié)論：

(1)由于使用多次引導(dǎo)濾波進(jìn)行光照分量估計(jì)，避免了過度增強(qiáng)導(dǎo)致的光暈?zāi)：龁栴}。

(2)使用原圖綠色通道分量作為引導(dǎo)圖像去噪，最大限度地利用了圖像的原始信息。

(3)增強(qiáng)的同時(shí)保持了圖像的自然度，較其他對(duì)比算法而言，視覺效果有明顯提升。

在未來工作中，應(yīng)研究如何提高算法的運(yùn)行速度并將其應(yīng)用于低照度視頻增強(qiáng)。

表1 主觀評(píng)價(jià)中3幅圖片各項(xiàng)指標(biāo)Table 1 Indicators of the 3 images in the subjective evaluation

表2 20幅圖像各項(xiàng)指標(biāo)的平均值Table 2 Mean values of indicators in 20 images