基于像素級和塊級的低照度圖像增強

王時巨，王 欣，鞠銘燁

(南京郵電大學(xué) 物聯(lián)網(wǎng)學(xué)院，江蘇 南京 210003)

0 引 言

在室內(nèi)、夜間或光照條件較差的環(huán)境下,成像設(shè)備受光線暗、曝光不足等因素影響,導(dǎo)致所采集圖像整體亮度偏低,紋理特征嚴(yán)重衰弱,難以直觀提取有效信息,給后續(xù)機器視覺系統(tǒng)帶來嚴(yán)峻挑戰(zhàn)[1]。因此,低照度條件下的圖像增強研究變得極為重要。

目前主流的低照度圖像增強算法主要分為兩類:基于傳統(tǒng)的方法和基于深度學(xué)習(xí)的方法。前者中較為常見的如直方圖均衡化[2],其通過改變像素的灰度分布提升圖像對比度,但會使圖像局部區(qū)域細(xì)節(jié)丟失;伽馬校正以非線性增強方式改變灰度范圍,但其處理后的圖像顏色較為暗淡,飽和度低。

近些年,基于Retinex理論的算法被廣泛應(yīng)用于圖像增強領(lǐng)域[3-6]。如Guo等人[4]以R(Red)、G(Green)、B(Blue)通道中的最大值作為初始光照圖,并利用結(jié)構(gòu)先驗對其進(jìn)行精細(xì)化處理,進(jìn)而通過Retinex模型獲得增強結(jié)果,但處理后存在過增強現(xiàn)象;Ren等人[6]將低秩先驗注入Retinex模型以抑制反射分量中的噪聲干擾,該方法可排除低照度圖像中的強噪聲；Ju等人[7]提出增強大氣散射模型,并在此基礎(chǔ)上設(shè)計出一種兼顧圖像去霧與增強的算法,可有效解決圖像過飽和問題。

受益于深度學(xué)習(xí)的快速發(fā)展,卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network，CNN)被廣泛應(yīng)用于圖像增強任務(wù)中[8-12]。與傳統(tǒng)的圖像增強方法不同,此類方法主要利用神經(jīng)網(wǎng)絡(luò)強大的學(xué)習(xí)能力擬合低照度圖像與對應(yīng)清晰圖像間的深度映射。如Lore等人[8]設(shè)計出一種基于深度編碼器的網(wǎng)絡(luò)架構(gòu)LLNet,該網(wǎng)絡(luò)可同時實現(xiàn)圖像亮度的提升與噪聲的剔除。Wei等人[9]將傳統(tǒng)的Retinex模型用于深度學(xué)習(xí)并設(shè)計出RetinexNet,該方法利用分解網(wǎng)絡(luò)和增強網(wǎng)絡(luò)進(jìn)行提亮操作,但增強后的圖像會損失一定的邊緣信息。為解決低照度圖像過度依賴成對數(shù)據(jù)集的問題,文獻(xiàn)[12]提出的Zero-DCE將低照度圖像增強任務(wù)轉(zhuǎn)化為高階曲線的學(xué)習(xí),并用該曲線對輸入圖像的灰度范圍進(jìn)行像素級調(diào)整以獲得增強結(jié)果。

由于低照度圖像受光源影響較大,距光源越近,光照強度越高,反之越低,傳統(tǒng)的增強方法對圖像增亮?xí)r并不能有效解決光源引起的顏色失真現(xiàn)象,難以兼顧圖像亮度與飽和度的雙重提升[13]; 基于深度學(xué)習(xí)的方法在圖像增強任務(wù)中能夠取得不錯的效果,但其過度依賴訓(xùn)練集的選取,且真實場景下的數(shù)據(jù)集難以收集。

針對當(dāng)前算法的不足,該文從HSV(hue,saturation,value)色彩空間設(shè)計低照度圖象增強模型,提出一種基于像素級和塊級的圖像增強算法，分別對亮度通道和飽和度通道進(jìn)行像素級和塊級增強。該算法充分結(jié)合了像素級低復(fù)雜度和塊級信息豐富度,在提升圖像整體亮度的同時有效恢復(fù)場景色彩,且不需要任何訓(xùn)練過程。實驗結(jié)果表明該算法在低照度圖像增強任務(wù)中具有良好的性能。

1 背景介紹

1.1 伽馬校正

伽馬校正(gamma correction，GC)是一種非線性圖像處理方式,通過調(diào)整伽馬值改變圖像灰度值范圍,進(jìn)而改變圖像的對比度和亮度。

其數(shù)學(xué)表達(dá)式為:

R(x,y)=L(x,y)Γ

(1)

其中,x,y是像素點的坐標(biāo),R表示增強后的圖像,L為低照度圖像,Γ代表伽馬值。伽馬值等于1時為線性變換,并不會改變圖像灰度值范圍;當(dāng)伽馬值大于1時,圖像灰度值被壓縮,圖像色彩整體偏暗;當(dāng)伽馬值小于1時,圖像灰度值被拉伸,圖像色彩整體偏亮。

由于伽馬校正具有改善圖像視覺效果、運算簡單等優(yōu)點，故廣泛應(yīng)用于圖像處理領(lǐng)域。但傳統(tǒng)的伽馬校正以全局方式提高圖像亮度,尚未考慮圖像內(nèi)部像素點的空間分布及物理含義,無法保證圖像中過亮或過暗區(qū)域得到視覺提升。文中算法在傳統(tǒng)的伽馬校正基礎(chǔ)上進(jìn)行改進(jìn),采用像素級處理方式對亮度通道進(jìn)行增強,其主要思想是根據(jù)圖像中每個像素值的不同設(shè)計出對應(yīng)的伽馬值,達(dá)到自適應(yīng)增強效果。

1.2 大氣散射模型

大氣散射模型(atmospheric scattering model，ASM)[14]是霧天降質(zhì)圖像清晰化研究的物理模型,其數(shù)學(xué)表達(dá)式為:

I(x,y)=A·ρ(x,y)·e-β·d(x,y)+A·(1-e-β·d(x,y))

(2)

其中,I指代有霧圖像,A表示大氣光,ρ為清晰圖像,β代表散射系數(shù),d指代場景深度圖。e-β·d(x,y)又稱之為透射率,即光線穿透空氣的能力。

大氣散射模型通常用于圖像去霧領(lǐng)域,與先驗知識或約束條件相結(jié)合求解出清晰無霧圖像。文獻(xiàn)[15]將該模型用于低照度圖像增強任務(wù),Dong等人研究發(fā)現(xiàn),反轉(zhuǎn)后的低照度圖像與霧天降質(zhì)圖像具有極高的相似性,故將其代入大氣散射模型,并利用現(xiàn)有的去霧算法實現(xiàn)低照度圖像增強。受此啟發(fā),文中算法將亮度通道進(jìn)行取反并代入大氣散射模型,構(gòu)建僅含有一個未知參數(shù)的數(shù)學(xué)模型, 結(jié)合約束條件實現(xiàn)圖像的亮度增強。

2 算法的原理與實現(xiàn)

2.1 算法描述

HSV色彩空間由色調(diào)、飽和度和亮度構(gòu)成,相比于RGB(red,green,blue)色彩空間,其更接近人眼視覺對色彩的生理感知,同時由于各通道之間具有較強的獨立性,故便于圖像分通道處理[3]。亮度通道反映圖像的整體亮度,傳統(tǒng)的伽馬校正對其進(jìn)行灰度范圍拉伸時具有不適定性,為此,提出一種新的像素級增強模型,使每個像素均有與其對應(yīng)的校正因子,并結(jié)合大氣散射模型與全局搜索策略求得模型中的未知參數(shù),對亮度通道進(jìn)行像素級自適應(yīng)增強;考慮到增強后的亮度圖像轉(zhuǎn)化至RGB色彩空間中不可避免地出現(xiàn)顏色損失現(xiàn)象[16],提出一種基于塊的飽和度增強模型,利用增強因子有效擴充飽和度,豐富圖像色彩。

所提算法具體步驟如下:

輸入:低照度圖像。

步驟1:將原始低照度圖像轉(zhuǎn)化至HSV色彩空間。

步驟2:構(gòu)建亮度通道增強模型。

步驟3:結(jié)合傳統(tǒng)伽馬校正,將亮度通道進(jìn)行取反操作代入大氣散射模型,求解出增強模型中的伽馬矩陣。

步驟4:利用最大信息熵約束求解出增強模型中的增強系數(shù),獲得增強后的亮度通道。

步驟5:對飽和度通道進(jìn)行分塊處理,每一塊均有與其對應(yīng)的增強因子。

步驟6:利用最小信息丟失率約束條件遍歷整幅圖像獲得增強后的飽和度通道。

步驟7:采用導(dǎo)向濾波精細(xì)化飽和度通道。

步驟8:將增強后的亮度通道、飽和度通道和原始色調(diào)通道轉(zhuǎn)化至RGB色彩空間,獲得最終增強結(jié)果。

輸出:增強后的低照度圖像。

算法實現(xiàn)過程如圖1所示。

圖1 文中算法流程

2.2 亮度通道像素級增強

不同低照度圖像所包含的對比度、梯度等信息并不相同,需分別設(shè)置不同的伽馬值進(jìn)行圖像增強,故存在手動設(shè)置參數(shù)的缺陷。此外,采用單一伽馬值對圖像過亮或過暗區(qū)域進(jìn)行校正時,增強效果并不理想。因此,文中將傳統(tǒng)的伽馬值設(shè)定為矩陣表述形式,即每一個像素均有對應(yīng)的伽馬值,構(gòu)建像素級增強模型:

(3)

為求得Γ的表述形式,借助文獻(xiàn)[15]中所提反轉(zhuǎn)策略,將低照度圖像反轉(zhuǎn)后視為有霧圖像,對亮度通道進(jìn)行反轉(zhuǎn):

(4)

式中,Rv表示對亮度通道采用公式(1)得到的增強結(jié)果。假定反轉(zhuǎn)后的Lv與Rv滿足大氣散射模型約束條件,同時假定反轉(zhuǎn)后場景中的大氣光值為1,結(jié)合公式(1)、(2),?？梢员硎緸?

(5)

由于公式(5)右側(cè)為矩陣的表述形式,單一伽馬值Γ并不滿足上式成立條件,故此時Γ為矩陣形式,即伽馬矩陣Γ(x,y)。上式僅參數(shù)β和d未知,為此,假設(shè)所處理的低照度圖像均處在均勻空氣介質(zhì)下,即β值默認(rèn)為1[17];然而,精確的深度信息難以計算,考慮到RGB色彩空間中藍(lán)色通道的像素分布近似深度圖[18],故采用藍(lán)色通道代替深度圖。

d(x,y)=mean(LB(x,y))

(6)

式中,LB表示低照度圖像的藍(lán)色通道;mean(·)為均值濾波操作,以排除額外的紋理干擾,同時降低計算復(fù)雜度。至此,伽馬矩陣?？杀硎鰹?

(7)

一旦求得Γ,則公式(3)僅含有增強系數(shù)ω未知,為此,文中結(jié)合信息熵約束,采用全局一維搜索策略對其進(jìn)行求解。信息熵的大小反映圖像信息的豐富程度,圖像的灰度級范圍越大,信息熵越大,圖像所具有的信息量也就越多。反之,圖像的灰度級范圍越小,信息熵也越小,圖像本身的質(zhì)量也就越低。信息熵的計算公式為:

(8)

(9)

式中,Φ(·)表示計算信息熵,θ為正則化參數(shù),防止ω過大,文中取θ=0.7。由于最優(yōu)解的搜索過程是在整幅圖像上進(jìn)行一維搜索,因而可以獲得全局最優(yōu)解。

求得Γ、ω后,亮度通道的最終增強結(jié)果可表示為:

(10)

2.3 飽和度通道塊級增強

低照度圖像除亮度較低外,其色彩飽和度也整體偏低;且轉(zhuǎn)化至RGB空間后,由于亮度通道的改變導(dǎo)致飽和度通道色彩損失,使增強圖像顏色暗淡,不符合直觀視覺感受。

針對此問題,提出一種基于塊級的飽和度增強算法,將飽和度通道分為若干塊,假設(shè)每個塊對應(yīng)的增強因子相同,構(gòu)建塊級增強模型:

(11)

(12)

其中,Ψ(·)指計算信息丟失率,即一幅圖像中值越界像素所占的比率。由于上式僅求得第i塊的最優(yōu)值αi,故需遍歷整幅圖像獲取增益矩陣α。需要說明的是,公式(9)和公式(12)均可通過一維搜索獲取最優(yōu)解,故選用二次插值法加速收斂過程以降低算法的時間復(fù)雜度。

分塊處理可以有效解決不同區(qū)域下飽和度過低的問題,但難以避免地引入塊狀效應(yīng)至增強圖像。為此,文中對αi設(shè)置閾值上限,減弱因αi最優(yōu)值差異過大引起的邊緣割裂現(xiàn)象;同時采用導(dǎo)向濾波算法[19]精細(xì)化飽和度通道Rs以消除塊狀效應(yīng)。導(dǎo)向濾波可平滑圖像細(xì)節(jié)、保持圖像邊緣信息,其處理過程需要一幅導(dǎo)向圖作為引導(dǎo),使輸出圖像邊緣梯度與導(dǎo)向圖相似,在結(jié)構(gòu)信息不變的情況下去除噪聲干擾。導(dǎo)向濾波假定輸入圖像與導(dǎo)向圖之間存在局部線性關(guān)系:

q(x,y)=ak·G(x,y)+bk,?(x,y)∈Ωk

(13)

(14)

其中,GF(·)為導(dǎo)向濾波操作。在塊的選取方面,8×8小尺寸的塊會導(dǎo)致計算復(fù)雜度過大,而32×32大小的塊處理后塊狀效應(yīng)過于明顯,且計算精度降低,故將每個塊劃分為16×16大小的像素區(qū)域進(jìn)行處理。該方法采用塊級增強策略,對每個塊進(jìn)行自適應(yīng)增強操作,相比亮度通道的像素級增強策略,塊中含有更加豐富的像素信息,此類信息對飽和度通道的增強具有重要指導(dǎo)作用。

3 實驗結(jié)果與分析

為評估所提算法的有效性,采用多種圖像增強算法對不同數(shù)據(jù)集中的低照度圖像進(jìn)行仿真實驗,并對其進(jìn)行主觀比較和客觀評價。其中,對比算法主要分為兩大類,包括基于傳統(tǒng)的伽馬校正、Retinex、LIME[4]算法和基于深度學(xué)習(xí)的Retinex-Net[9]、Zero-DCE[12]、Fan[20]等人提出的算法;實驗數(shù)據(jù)集包含GLADNet-Dataset[21]、LOL[9]、Synthetic Dataset[22]、LSRW[23]和FD-LOL,其中,FD-LOL為真實場景下拍攝的低照度圖像,其余均為合成數(shù)據(jù)集。為確保實驗公平性,上述對比算法均在Intel(R) Core(TM) i5-10210U CPU @ 1.60 GHz 2.10 GHz,8 GB RAM上進(jìn)行測試。

3.1 主觀比較

該部分從上述數(shù)據(jù)集中選取7幅圖像,按光照程度由強到弱依次排序,處理結(jié)果如圖2所示?？梢钥闯?伽馬校正雖然能在一定程度上提高圖像的對比度,但對圖像的細(xì)節(jié)處理較差,難以看清圖像紋理,如圖2(b)中鮮花的輪廓;Retinex算法處理后的圖像依然存在對比度低、亮度弱等現(xiàn)象,增強效果不明顯,如圖2(c)中花瓶周圍的物體存在較大暗區(qū)域;LIME算法處理后的圖像亮度有明顯提升,遠(yuǎn)處的人像也能被清楚地展示出來,但顏色過于飽和,圖像整體不自然,如圖2(d)中斑馬下方的草地;Retinex-Net處理后圖像邊緣信息損失嚴(yán)重,細(xì)節(jié)部分被過度銳化,如圖2(e)中人物衣服上的褶皺;Zero-DCE對圖像對比度的增強和色彩的恢復(fù)均有不錯的處理效果,但亮度提升較弱;Fan等人[20]設(shè)計的網(wǎng)絡(luò)對陰影部分的處理具有很好的增強效果,圖像整體增亮幅度較大,但普遍出現(xiàn)薄霧現(xiàn)象,如圖2(g)中天空區(qū)域;此外,上述算法對圖像S5周圍白色邊框的恢復(fù)均有不同程度色彩損失。與其他算法相比,所提算法有效提升了圖像整體亮度,色彩恢復(fù)效果接近真實場景,視覺效果更加自然。

圖2 文中算法與其他對比算法在合成數(shù)據(jù)集的對比

為比較上述算法在真實場景下的增強效果,從FD-LOL數(shù)據(jù)集和現(xiàn)實世界中選取6張低照度圖像并分別進(jìn)行增強處理,結(jié)果如圖3所示。

從圖3(b)、(c)可以看出,伽馬校正和Retinex算法對真實圖像的增亮程度并不顯著,依然存在較大的暗區(qū)域;LIME算法對天空區(qū)域的處理出現(xiàn)不同程度的色差,且光源部分被過度增強;Retinex-Net處理后的天空區(qū)域出現(xiàn)光暈和塊狀現(xiàn)象,視覺感受較差;Zero-DCE和文獻(xiàn)[20]對真實圖像的處理效果與合成數(shù)據(jù)集類似,前者增亮程度不顯著,后者會出現(xiàn)薄霧現(xiàn)象;在真實場景下,所提算法能夠在增亮場景的同時很好地恢復(fù)色彩,且對景深較遠(yuǎn)的暗區(qū)域具有良好的紋理恢復(fù)能力。

3.2 客觀評價

為進(jìn)一步評估所提算法與其他算法的增強性能,分別采用基于峰值信噪比(peak signal to noise ratio，PSNR)、結(jié)構(gòu)相似性(structural similarity，SSIM)的有參考指標(biāo)和基于自然圖像質(zhì)量評估(natural image quality evaluator，NIQE)的無參考指標(biāo)對上述實驗進(jìn)行客觀評價。其中,PSNR和SSIM值越大表示增強后圖像抗噪性和結(jié)構(gòu)性越強,即圖像的質(zhì)量越高;NIQE值越小代表圖像的處理效果越真實。

表1展示了不同算法對圖2中合成數(shù)據(jù)集的性能表現(xiàn),可以看出,所提算法對大多數(shù)圖像都取得最優(yōu)和次優(yōu)的PSNR、SSIM和NIQE值。

表1 合成數(shù)據(jù)集下各算法的指標(biāo)值(粗體代表最優(yōu)值,斜體下劃線表示次優(yōu)值)

表2展示了圖3中真實圖像的評價指標(biāo),由于真實圖像無對應(yīng)的參考圖,故僅采用NIQE對其進(jìn)行客觀評估,由表2可以看出,所提算法對真實圖像的處理均取得最優(yōu)或次優(yōu)的NIQE值。

表2 真實場景下各算法的指標(biāo)值(粗體代表最優(yōu)值,斜體下劃線表示次優(yōu)值)

圖3 文中算法與其他對比算法在真實場景下的對比

上述實驗結(jié)果表明,無論是主觀視覺比較還是客觀指標(biāo)評價,文中算法對低照度圖像的處理效果均優(yōu)于其他對比算法。

續(xù)表1

4 結(jié)束語

為改善低照度圖像的視覺效果,提出一種基于像素級和塊級的增強算法。首先，將輸入圖像轉(zhuǎn)化至HSV色彩空間。其次,對傳統(tǒng)的伽馬校正算法進(jìn)行改進(jìn),提出一種新的像素級增強模型增強亮度通道,其利用大氣散射模型獲得伽馬矩陣的表述形式,并采用全局一維搜索策略求得增強系數(shù),進(jìn)而對亮度通道進(jìn)行像素級自適應(yīng)增強;為解決恢復(fù)后圖像色彩失真問題,對飽和度通道進(jìn)行分塊處理,結(jié)合最小信息丟失率進(jìn)行局部搜索求得每一塊對應(yīng)的增強因子。最后,將處理后的亮度通道、飽和度通道和原始色調(diào)通道轉(zhuǎn)化至RGB空間得到最終結(jié)果。實驗結(jié)果表明，所提算法亮度提升明顯,色彩恢復(fù)自然,圖像整體視覺感受趨近真實,且客觀指標(biāo)也優(yōu)于其他算法。但由于文中算法需對輸入圖像進(jìn)行全局最優(yōu)搜索和每個塊的局部搜索,導(dǎo)致搜索空間過于龐大。因此,接下來將著重研究如何縮減算法搜索空間,在輸出結(jié)果不變的情況下獲得更高的處理效率。