融合全局與局部區(qū)域亮度的逆光圖像增強算法

郭 倩 朱振峰 常冬霞 趙 耀

(1. 北京交通大學信息科學研究所,北京 100044； 2. 北京市現(xiàn)代信息科學與網(wǎng)絡技術(shù)重點實驗室,北京 100044)

1 引言

隨著現(xiàn)代網(wǎng)絡與多媒體的快速發(fā)展,圖像的應用已成為生活中不可或缺的一部分。但是,由于拍攝環(huán)境條件差,如雨天[1]、霧天[2]、夜間[3]、逆光[4]等,造成采集圖像中的景物出現(xiàn)可見度降低、顏色退化等問題。為提高這些低質(zhì)圖像的可用性,需對其進行增強處理。本文主要針對逆光圖像的增強問題開展研究。逆光圖像產(chǎn)生的原因是被拍攝物體恰好處于光源與捕獲設備之間。由于逆光,采集圖像背景亮度遠遠高于被攝主體(如行人、車輛等),進而造成圖像有意義的區(qū)域可視質(zhì)量降低。

常見的逆光圖像增強技術(shù)可分為兩類[5]：全局與局部處理的方法?；谌值膱D像增強技術(shù)主要包括：對數(shù)變換、β函數(shù)變換[6]及直方圖均衡化[7- 8](Histogram Equalization,HE)等。其中,直方圖均衡化最為典型,它利用灰度的統(tǒng)計特征,將原始圖像的灰度分布從較為集中的區(qū)間映射到整個灰度區(qū)域均勻分布,從而達到圖像增強的目的。Fu等人基于顏色統(tǒng)計提出的顏色估計模型[9](Color Estimation Model,CEM),可以提高低照度圖像的亮度,恢復圖像的細節(jié)與顏色信息。但是,在圖像灰度分布不均勻的情況下,通過全局增強的圖像會出現(xiàn)局部區(qū)域增強不足的問題。

不同于圖像的全局增強,局部增強方法則利用圖像局部區(qū)域像素點相關(guān)性較大的性質(zhì),在一定程度上克服了全局增強方法對圖像局部區(qū)域的亮度增強不足的問題。常見的局部處理方法包括Retinex算法[10-11]與平均保持雙直方圖均衡[12](Brightness Preserving Bi-Histogram Equalization,BBHE)等。Retinex系列算法包括單尺度Retinex[10](Single Scale Retinex,SSR)和多尺度Retinex[11](Multi-Scale Retinex,MSR)等。經(jīng)過SSR增強的圖像雖然可以恢復細節(jié)與顏色信息,但增強性能極易受到尺度參數(shù)的影響。在SSR的基礎上,為降低尺度對增強性能的影響,MSR對不同的尺度分配不同的權(quán)重。因此,基于MSR增強的圖像擁有較好顏色保真度與較高的壓縮能力。BBHE根據(jù)原圖的灰度均值將輸入圖像分割成兩個子圖像,然后對兩個子圖像分別進行均衡化處理,以達到保持圖像亮度的目的。但是,局部增強方法在增強圖像的同時也易于放大噪聲,造成邊緣模糊的問題。

綜合上述對全局與局部區(qū)域增強方法的分析,本文提出一種融合全局與局部區(qū)域亮度的逆光圖像增強方法。為避免CEM模型對局部暗區(qū)的過度增強導致的“虛化”現(xiàn)象,提出了亮度保持的顏色估計模型(Brightness Preserving Color Estimation Model,BPCEM)。此外,針對全局增強與局部區(qū)域增強方法間的平衡問題, 通過引入圖像局部塊信息熵,有效地實現(xiàn)它們之間的自適應融合。

2 逆光圖像增強算法流程圖

圖1為本文提出的逆光圖像增強算法流程。該流程主要由三部分組成：1)圖像全局增強：基于逆光圖像的全局統(tǒng)計特性,通過CEM模型對圖像進行整體亮度增強,同時保持圖像的細節(jié)信息；2)圖像局部區(qū)域增強：對經(jīng)過分割后得到的圖像亮區(qū)與暗區(qū)分別采用BPCEM模型進行局部增強,在保持亮度的同時,避免過度增強導致的虛化問題；3)圖像融合：通過引入局部塊信息熵,實現(xiàn)全局增強與局部增強的自適應融合,從而改善逆光圖像的光照質(zhì)量。最后利用雙邊濾波器對融合后的圖像進一步濾波以減少噪聲影響。

圖1 逆光圖像增強算法流程圖

3 基于顏色估計模型的圖像全局增強

顏色估計模型[9](Color Estimation Model,CEM)是Fu等人提出的一種映射方法,它可以將較小的灰度值映射為較大的灰度值,從而提高圖像的整體亮度。對于逆光圖像I,通過CEM增強后得到的圖像IGE為：

(1)

這里,fCEM(I)為單調(diào)映射函數(shù)。對于CEM模型,fCEM(I)有如下形式：

(2)

其中,λ為調(diào)節(jié)參數(shù)(參考文獻[9],本文取值：1.33),MI為圖像I的灰度均值。

圖2所示為通過CEM對逆光圖像進行全局增強的結(jié)果。從圖中可以看出,利用CEM對逆光圖像(圖2(a))進行全局增強,可以提高輸入圖像的整體亮度,恢復圖像的顏色與細節(jié)信息。但是,在圖像較暗區(qū)域(圖2(b)的紅色圓圈標記區(qū)域),其增強效果并不理想。

圖2 基于CEM模型的全局圖像增強

通過分析CEM模型可以發(fā)現(xiàn),逆光圖像的增強質(zhì)量受到圖像灰度統(tǒng)計均值MI的影響。圖3為不同均值對應的增強曲線,從中可以看出灰度均值越大,圖像的增強幅度反而越小。其中,純黑曲線為針對圖2(a)R分量的增強曲線。

4 基于亮度保持的圖像局部區(qū)域增強

當逆光圖像中存在局部較亮區(qū)域時(如圖2(a)的天空),由于整幅圖像的均值偏大,導致增強后圖像的較暗區(qū)域的亮度增強不足(如圖2(b))。為此,本文引入局部暗區(qū)增強思想。

圖3 不同均值對應的CEM增強曲線

4.1 局部暗區(qū)提取

逆光會使拍攝圖像的局部區(qū)域亮度降低。然而,在逆光圖像中,行人、車輛等目標通常位于圖像較暗的區(qū)域。針對該現(xiàn)象,本文引入“亮區(qū)”與“暗區(qū)”概念。顧名思義,“亮區(qū)”為逆光圖像中灰度值較高的區(qū)域,一般情況下為背景；“暗區(qū)”為逆光圖像中灰度值較低的區(qū)域,此區(qū)域主要包含被攝主體。通常,“暗區(qū)”可被視為有意義的區(qū)域。

基于以上分析,本文采用如下方式提取逆光圖像的“暗區(qū)”：

(3)

其中,x∈I為逆光圖像的像素點；上標D表示“暗區(qū)”,B表示“亮區(qū)”；T為灰度值門限(本文中,T取值為80)。圖4所示為逆光圖像暗區(qū)的提取結(jié)果。

圖4 暗區(qū)提取效果圖

4.2 亮度保持的顏色估計模型

如圖5所示,對于逆光圖像的亮區(qū)與暗區(qū),當利用CEM模型對其進行基于局部統(tǒng)計的增強時,圖像的暗區(qū)亮度得到明顯提高,但同時呈現(xiàn)“虛化”的現(xiàn)象(圖5(a)),尤其圖中紅色圓圈標記區(qū)域出現(xiàn)邊緣模糊的問題。圖5(b)是圖5(a)標記區(qū)域局部塊的放大結(jié)果,從中可以看出,過度增強后圖像“虛化”現(xiàn)象非常明顯。

圖5 基于CEM的局部區(qū)域增強效果圖

為改善CEM模型對局部暗區(qū)增強性能的不足,本文提出亮度保持的顏色估計模型(Brightness Preserving Color Estimation Model,BPCEM),即對公式(1)中的fCEM(I)進行修正：

(4)

其中,μ為調(diào)節(jié)參數(shù),ML為局部暗區(qū)ID或亮區(qū)IB的灰度均值。

進一步,結(jié)合公式(1)與(4)可得到應用fBPCEM(I)對圖像進行局部區(qū)域增強后的圖像ILE：

(5)

圖6是映射函數(shù)f(I)對暗區(qū)R分量值的映射曲線以及相應的對其增強后的變化曲線?？梢钥闯?雖然fCEM(I)與fBPCEM(I)具有相似的變化趨勢,但是fBPCEM(I)衰減更慢,尤其在灰度值較低的區(qū)段更加平緩。相應地,BPCEM模型在灰度值較低的區(qū)段表現(xiàn)出更加平緩的增強性能。

圖7是基于BPCEM對逆光圖像進行局部區(qū)域增強后的結(jié)果。通過對比圖5(b)與圖7(b)可以看出,使用BPCEM模型增強后的圖像比CEM模型具有更好的視覺質(zhì)量,沒有出現(xiàn)CEM模型導致的“虛化”現(xiàn)象。圖8給出了針對圖5(b)與圖7(b)中暗區(qū)R分量的統(tǒng)計直方圖。不難發(fā)現(xiàn),BPCEM的R分量值多集中于較低的區(qū)段,且含有更多的灰度值分量。上述分析表明,BPCEM模型在不損失圖像細節(jié)的同時,能夠有效保持局部區(qū)域亮度保真度,避免了CEM模型的過度增強問題。

圖6 針對暗區(qū)R分量的映射函數(shù)f(I)特性曲線與增強特性曲線

圖7 基于BPCEM的局部區(qū)域增強

圖8 增強圖像R分量直方圖

5 基于局部塊信息熵的自適應圖像增強融合

綜合上述對逆光圖像全局與局部區(qū)域增強的分析,圖像全局增強可以恢復圖像的細節(jié)信息,而圖像的局部區(qū)域增強可以提高圖像的整體亮度。為使處理圖像兼具全局與局部區(qū)域增強的優(yōu)點,本文提出了基于圖像局部塊信息熵的自適應融合方法。

為了使融合圖像符合人類的視覺特性,圖像的自適應融合過程選擇在HSV顏色空間進行。圖9給出了圖像融合的具體過程：首先,對獲得的全局與局部區(qū)域增強圖像進行彩色空間變換到HSV顏色空間,提取各自的V分量圖像；然后,對各自的V分量圖像進行塊劃分；在此基礎上,計算各局部塊信息熵實現(xiàn)全局與局部區(qū)域增強圖像的自適應融合；最后,對融合后的V分量以及全局增強圖像的H與S分量進行彩色空間轉(zhuǎn)換到RGB顏色空間,得到融合圖像。

具體來說,全局與局部區(qū)域增強圖像的融合采用如下方式：

(6)

圖9 基于局部塊信息熵的自適應圖像增強融合

信息熵是用來衡量圖像含有信息量豐富程度的重要指標,信息熵越大表明圖像含有的信息量越大。假設圖像中像素點的灰度值是相互獨立的樣本,信息熵表示灰度分布的聚集特征,則圖像信息熵可以公式(7)表示：

(7)

其中n為灰度級,pi為圖像灰度值為i的概率值。

為使融合圖像盡可能地保持信息熵較大的局部塊特征,本文采用如下權(quán)重分配方式：

(8)

其中,Eig、Eil為對應子塊圖像的信息熵。

6 實驗結(jié)果與分析

為驗證本文算法的性能,在多幅不同場景的低質(zhì)圖像上進行了測試,并與CEM[9]、HE[7]、BBHE[12]、SSR[10]以及MSR[11]等算法進行比較。評價指標為峰值信噪比(Peak Signal to Noise Ratio,PSNR)與信息熵。

6.1 參數(shù)μ與分塊數(shù)目N的確定

如上文所述,μ與N分別為BPCEM模型的調(diào)節(jié)參數(shù)與圖像融合的分塊數(shù)目。對于兩個參數(shù)的選取,圖10與圖11分別給出了兩個參數(shù)的變化對融合圖像PSNR與信息熵的影響。從圖中可以看出,當μ取值在1.5～1.7之間、N取值為152時,圖像的PSNR與信息熵相對較高。因此,μ在1.5～1.7取值,參數(shù)N設置為152。

圖10 參數(shù)μ對融合圖像的影響

圖11 參數(shù)N對融合圖像的影響

6.2 圖像增強性能分析

表1與表2為通過本文算法與其他算法進行增強后圖像的PSNR與信息熵值。通過表1的PSNR值與表2的信息熵值可以看出,CEM模型與HE算法的增強性能比較穩(wěn)定；其他算法則對于不同的圖像,增強性能表現(xiàn)有所不同；本文算法增強的圖像PSNR值與信息熵值相對較高,性能相對比較穩(wěn)定。

為了測試本文算法處理不同場景圖像的有效性,本文還對Pece[13]提供的低照度圖像數(shù)據(jù)集進行了實驗。由于Pece[13]數(shù)據(jù)集并沒有給出對應的高質(zhì)量圖像,實驗部分僅給出了增強圖像的信息熵值,如表3所示。從中可以看出,本文算法相比于比較算法平均信息熵更高,可以提供更多的信息。

表1 不同算法增強圖像的PSNR值

表2 不同算法增強圖像的信息熵

6.3 基于主觀視覺的性能比較

從視覺效果上,圖12與圖13給出了本文算法與其他算法對低質(zhì)圖像增強的效果圖。從中可以看出,CEM、BBHE與HE算法增強的圖像會出現(xiàn)局部區(qū)域增強不足的現(xiàn)象,以及局部區(qū)域顏色映射錯誤的問題。此外,SSR與MSR增強的圖像會出現(xiàn)邊緣虛化的問題,同時受噪聲的影響非常明顯。本文算法可以避免局部區(qū)域增強不足的缺陷,提高輸入圖像的亮度,同時恢復圖像的細節(jié)與顏色信息。

表3 利用本文算法與其他算法對Pece數(shù)據(jù)集進行增強的圖像平均信息熵

圖12 本文算法與其他算法增強效果圖Fig.12 Results of our method and other enhancement methods

圖13 本文算法與其他算法對Pece數(shù)據(jù)集的增強效果圖Fig.13 Results of our method and other enhancement methods on Pece database

7 結(jié)論

本文提出了一種融合圖像全局與局部區(qū)域亮度的逆光圖像增強算法。利用顏色估計模型對逆光圖像進行全局增強,恢復圖像的細節(jié)信息。為保持逆光圖像暗區(qū)的亮度,同時避免局部區(qū)域增強后的“虛化”現(xiàn)象,提出了局部亮度保持的顏色估計模型。此外,針對全局與局部區(qū)域增強的平衡問題,提出了基于圖像局部塊信息熵的自適應融合方法。

[1]ChenDuanyu,ChenChiencheng,KangLiwei.VisualDepthGuidedColorImageRainStreaksRemovalUsingSparseCoding[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology, 2014, 24(24):1430-1455.

[2]LiYu,TanRT,BrownMS.NighttimeHazeRemovalwithGlowandMultipleLightColors[C]∥ProceedingsoftheIEEEInternationalConferenceonComputerVision,Santiago,Chile, 2015:226-234.

[3]GuoXiaojie,LiYu,LingHaibin.LIME:Low-LightImageEnhancementviaIlluminationMapEstimation[J].IEEETransactionsonImageProcessing, 2017, 26(2):982-993.

[4]HuangTH,ShihKT,YehSL,etal.EnhancementofBacklight-ScaledImages[J].IEEETransactionsonImageProcessing, 2013, 22(12):4587- 4597.

[5] 許欣. 圖像增強若干理論方法與應用研究 [D]. 南京：南京大學, 2010.

XuXin.ResearchonImageEnhancementMethodsandApplications[D].Nanjing:NanjingUniversity, 2010. (inChinese)

[6] 陳喆, 蔣羽超, 殷福亮. 利用β函數(shù)映射與幀間信息融合的低照度視頻圖像增強方法[J]. 信號處理, 2013, 29(12): 1632-1637.

ChenZhe,JiangYuchao,YinFuliang.LowContrastVideoEnhancementwithIlluminationNonlinearMappingandInterframeInformationFusion[J].JournalofSignalProcessing, 2013, 29(12): 1632-1637. (inChinese)

[7]ZimmermanJB,PizerSM,StaabEV,etal.AnEvaluationoftheEffectivenessofAdaptiveHistogramEqualizationforContrastEnhancement[J].IEEETransactiononMedicalImaging, 1998, 7(4):304-312.

[8]TsaiCM,YehZM.ContrastEnhancementbyAutomaticandParameter-FreePiecewiseLinearTransformationforColorImages[J].IEEETransactionsonConsumerColor2008, 54(2):213-219.

[9]FuHuiyuan,MaHuadong,WuShixin.NightRemovalbyColorEstimationandSparseRepresentation[C]∥ProceedingsofInternationalConferenceonPatternRecognition.Tsukuba,Japan, 2012: 3656-3659.

[10]JobsonDJ,RahmanZ,WoodellGA.PropertiesandPerformanceofaCenterSurroundRetinex[J].IEEETransactionsonImageProcessing, 1997,6(3): 451- 462.

[11]RahmanZ,JobsonDJ,WoodellGA.Multi-ScaleRetinexforColorImageEnhancement[C]∥ProceedingsofInternationalConferenceonImageProcessing.Lausanne,Switzerland, 1996: 1003-1006.

[12]KimTK,PaikJK,KangBS.ContrastEnhancementSystemusingSpatiallyAdaptiveHistogramEqualizationwithTemporalFiltering[J].IEEETransactionsonConsumerElectronics, 1998, 44(1):82- 87.

[13]PeceF,KautzJ.BitmapMovementDetection:HDRforDynamicScenes[C]∥ProceedingsofInternationalConferenceonVisualMediaProduction.London,UK, 2010, 10(2):1- 8.