基于亮度傳播圖的低照度圖像增強(qiáng)算法

?！∷∩墟聢@　丁　輝　欒　中

(首都師范大學(xué)信息工程學(xué)院　北京 100048)

?

基于亮度傳播圖的低照度圖像增強(qiáng)算法

牛爽尚媛園丁輝欒中

(首都師范大學(xué)信息工程學(xué)院北京 100048)

摘要由于低照度圖像的整體亮度比較暗、動(dòng)態(tài)范圍低、噪聲大等特點(diǎn)，提出一種基于亮度傳播圖的低照度圖像增強(qiáng)算法?？紤]到低照度圖像增強(qiáng)的同時(shí)也會(huì)放大噪聲，因此在增強(qiáng)圖像之前對圖像進(jìn)行去噪處理。使用BM3D在YCbCr空間對圖像進(jìn)行去噪之后，在HSI空間對圖像進(jìn)行增強(qiáng)，利用亮度分量估計(jì)亮度傳播圖，利用物理模型還原低照度圖像。實(shí)驗(yàn)表明該方法能夠快速有效地提高低照度圖像的整體亮度和對比度，增強(qiáng)圖像的細(xì)節(jié)并減少噪聲，得到視覺效果良好的圖像。

關(guān)鍵詞圖像增強(qiáng)低照度圖像亮度傳播圖顏色空間BM3D

0引言

在低照度條件下，如陰雨天、夜晚或是在礦井等地，因?yàn)闆]有輔助光，得到的圖像質(zhì)量很差。這些圖像不但人眼看起來視覺效果不佳，有些重要事物無法看清楚，而且在機(jī)器識別和監(jiān)控跟蹤方面也有很大的困難，造成低照度圖像的實(shí)際應(yīng)用性大大降低。想要對這些畫質(zhì)不佳的低照度圖像加以應(yīng)用，就必須對低照度圖像進(jìn)行增強(qiáng)和去噪處理，以改善低照度圖像的質(zhì)量。

傳統(tǒng)的圖像增強(qiáng)技術(shù)，如使用最為廣泛的直方圖均衡化方法，通過簡單的統(tǒng)計(jì)計(jì)算就可以很大程度的提高對比度，但是丟失了細(xì)節(jié)和灰度級。彩色圖像增強(qiáng)的算法比較常用的有Retinex理論和小波變換。傳統(tǒng)圖像增強(qiáng)方法沒有考慮低照度圖像的自身特點(diǎn)，效果并不理想。近幾年，專門針對低照度圖像增強(qiáng)的算法研究也有了很大的進(jìn)步，研究最多的是基于Retinex理論的低照度圖像增強(qiáng)算法[1-3]。這類算法對光照不均的圖像有著較好處理效果，但是對于整體較暗的夜間圖像處理效果并不理想，除了Retinex算法固有的暈輪效應(yīng)不能完全消除，對于極低照度圖像處理后會(huì)出現(xiàn)整個(gè)圖像灰化的現(xiàn)象。此外Retinex算法對噪聲非常敏感，使得處理低照度圖像的時(shí)候并不能發(fā)揮它的優(yōu)勢。最基礎(chǔ)的低照度圖像增強(qiáng)算法仍然是直方圖處理[4,5]，比如文獻(xiàn)[4]對相似場景下的良好光照圖片作為標(biāo)準(zhǔn)對低照度圖像進(jìn)行直方圖規(guī)定化提高清晰度，直方圖處理的方法簡單，但是由于低照度圖像在直方圖中的信息都集中在亮度比較低的一端，對灰度級的合并和灰度分布范圍的擴(kuò)充使得這類算法的處理結(jié)果往往并不理想?；谛〔ㄗ儞Q的圖像增強(qiáng)理論也是相關(guān)研究的熱點(diǎn)[6]，經(jīng)常與其他理論相結(jié)合，如模糊理論、融合思想等，小波變換的增強(qiáng)算法計(jì)算量都很大，不太適用于實(shí)際情況。在場景允許的條件下，多幅圖像融合[7,8]對低照度圖像增強(qiáng)是很有效的，由于需要同一場景下的良好質(zhì)量圖像信息，此類方法對圖像獲取環(huán)境有很高的要求。除上述幾種主流算法之外，還有一些針對色彩空間的低照度圖像增強(qiáng)方法[9,10]，但是往往對極低照度的圖像效果并不好。文獻(xiàn)[11]提出基于暗原色先驗(yàn)[12]的低照度圖像增強(qiáng)算法，該算法快速有效，但是在亮點(diǎn)存在或是場景深度不連續(xù)的地方會(huì)出現(xiàn)光斑，細(xì)節(jié)處理也不夠精細(xì)。

受上述反轉(zhuǎn)去霧思想啟發(fā)，本文提出一種基于亮度傳播圖的低照度圖像增強(qiáng)的算法，針對低照度圖像噪聲大的特點(diǎn)，在圖像增強(qiáng)之前對低照度圖像進(jìn)行去噪處理，避免了在增強(qiáng)圖像的同時(shí)增強(qiáng)噪聲。對傳播圖的估計(jì)方面也做了改進(jìn)，利用HSI空間的亮度分量估計(jì)傳播圖，克服了之前因?yàn)榱炼葌鞑D不夠精細(xì)帶來的細(xì)節(jié)丟失的缺點(diǎn)。

1BM3D的低照度圖像去噪

低照度圖像噪聲非常大，而且與圖像信息相關(guān)性很高，直接進(jìn)行增強(qiáng)的同時(shí)噪聲也會(huì)隨之增強(qiáng)，因此需要在圖像增強(qiáng)之前先進(jìn)行去噪。分析低照度圖像的噪聲，主要包括傳輸和存儲(chǔ)過程產(chǎn)生的脈沖噪聲，各種器件和傳輸通道產(chǎn)生的高斯噪聲以及照度非常小的情況下產(chǎn)生的泊松噪聲，其中泊松噪聲對低照度圖像的影象最大。因此，3D去噪比較適用于低照度圖像，其中三維塊匹配去噪法(BM3D)[13]被認(rèn)為是目前最好的去噪方法，它是一種基于變換域的增強(qiáng)型稀疏表示的去噪方法。BM3D的主要思想和步驟如下：首先進(jìn)行分組，這個(gè)過程是把相似結(jié)構(gòu)的二維圖像塊組合在一起形成三維數(shù)組，分組之后采用協(xié)同濾波來得到最優(yōu)估計(jì)，協(xié)同濾波得到的估計(jì)值可能會(huì)重復(fù)，對重復(fù)估計(jì)的估計(jì)值進(jìn)行加權(quán)平均對圖像塊進(jìn)行整合。

常用的彩色圖像空間有RGB、YCbCr、HSI，每個(gè)空間都有它的優(yōu)劣性。RGB空間的各分量之間相關(guān)性強(qiáng)，如果在RGB空間對圖像進(jìn)行去噪處理，顏色失真會(huì)很嚴(yán)重。YCbCr空間都是顏色和亮度分離的空間，并且與RGB空間的轉(zhuǎn)換是線性的，同時(shí)由于人眼對Y分量相對敏感，因此對YCbCr的各個(gè)分量進(jìn)行處理不會(huì)導(dǎo)致圖像顏色產(chǎn)生嚴(yán)重失真。為了兼顧去噪的運(yùn)算效率和顏色保真，本文使用YCbCr空間作為圖像去噪實(shí)驗(yàn)場景。

2相關(guān)理論

本文算法中對圖像的還原最終是基于物理模型的，物理模型中參數(shù)的估計(jì)是研究重點(diǎn)所在，使用經(jīng)典的Koschmieder大氣散射模型作為物理模型，并把暗通道理論作為先驗(yàn)條件來估計(jì)物理模型的參數(shù)。

2.1物理模型

經(jīng)典大氣散射模型公式如下所示：

I(x)=J(x)t(x)+A(1-t(x))

(1)

t(x)=e-βd(x)

(2)

其中，A是天空亮度，x是空間位置，I(x)是觀測圖像的強(qiáng)度也就是有霧圖像，J(x)為去霧后的清晰圖像，t(x)是大氣傳輸函數(shù)，β是大氣散射系數(shù)，d(x)為場景景深。式(1)中右邊第一項(xiàng)為直接衰減項(xiàng)，是由于場景反射光傳播至成像設(shè)備過程中大氣粒子散射作用而衰減造成的，第二項(xiàng)為大氣光成分，由自然光散射造成的。

2.2暗原色先驗(yàn)理論

He等人[12]對5000幅圖像進(jìn)行觀察和統(tǒng)計(jì)得到暗原色先驗(yàn)理論，該理論開創(chuàng)了去霧理論的新領(lǐng)域。用公式描述，對于任意的圖像J，我們定義：

(3)

其中，Jc代表J的某一個(gè)顏色通道，Ω(x)是以x為中心的一塊方形區(qū)域，Jdark是圖像的暗原色。根據(jù)暗原色先驗(yàn)理論，如果J是戶外的無霧圖像，Jdark的強(qiáng)度總是很低并且趨向于0，He等人用約5000幅去掉了天空區(qū)域部分的圖像驗(yàn)證了該理論的正確性。

3本文的低照度圖像增強(qiáng)算法

圖1　算法流程圖

對去噪之后的圖像進(jìn)行增強(qiáng)，本文的增強(qiáng)算法是基于物理模型提出的。據(jù)觀察，低照度圖像反轉(zhuǎn)之后，天空和遙遠(yuǎn)的背景區(qū)域每個(gè)顏色通道的像素都很高，而非天空區(qū)域至少有一個(gè)通道亮度比較低，與濃霧條件下得到的圖像很相似，因此可以將去霧算法應(yīng)用于反轉(zhuǎn)之后的低照度圖像來增強(qiáng)低照度圖像。對反轉(zhuǎn)之后的低照度圖像進(jìn)行去霧處理之后再次反轉(zhuǎn)回來就可以得到增強(qiáng)之后的低照度圖像，本文在去霧過程中，用HIS空間的I分量來估計(jì)亮度傳播圖代替物理模型中的大氣傳播圖，提高了增強(qiáng)后圖像的亮度，而且細(xì)節(jié)方面更加精細(xì)。

本文算法的流程如圖1所示。

3.1圖像的反轉(zhuǎn)和恢復(fù)

對低照度圖像進(jìn)行增強(qiáng)，首先要對原始圖像R進(jìn)行反轉(zhuǎn)，反轉(zhuǎn)公式為：

Ic(x)=255-Rc(x)

(4)

其中，c表示RGB顏色通道，Ic(x)是低照度圖像的反轉(zhuǎn)，Rc(x)是原始低照度圖像。然后，用式(1)對Ic進(jìn)行去霧，用He[8]的方法，利用暗原色先驗(yàn)來估計(jì)大氣光A的值，首先選取暗原色中亮度最大的0.1%的像素，在這些像素對應(yīng)的原圖像中像素最大的值就是大氣光，復(fù)原圖像的公式如下：

(5)

得到去霧處理之后的圖像，再一次進(jìn)行式(4)反轉(zhuǎn)操作，得到低照度圖像的增強(qiáng)圖像E。從式(5)可以看出，復(fù)原圖像的重點(diǎn)在于合理估計(jì)傳播圖t(x)，這也是本文改進(jìn)的重點(diǎn)，亮度傳播圖的估計(jì)將在下一節(jié)具體介紹。

3.2低照度圖像的亮度傳播圖估計(jì)

將暗原色先驗(yàn)應(yīng)用于霧天物理模型中，在A已知的情況下，假設(shè)局部區(qū)域內(nèi)透射率恒定不變，對式(1)兩端進(jìn)行同樣的最小值變形如式(6)所示：

(6)

無霧的條件下，暗原色值趨近于0，得到傳播圖t(x)如式(7)所示：

(7)

式(2)可以看出大氣透射率t(x)是隨著場景深度呈指數(shù)衰減，越遠(yuǎn)的景物具有越小的透射率，霧密集的地方亦然。但是，我們注意到低照度圖像的反轉(zhuǎn)圖像并不是真正的霧天圖像，它的傳播圖是與亮度是緊密聯(lián)系的，而不是像霧天圖像那樣隨景深衰減。這種情況下，傳播圖可以基于亮度分量來估計(jì)，因?yàn)樵紙D像越暗的地方，相應(yīng)的反轉(zhuǎn)圖像霧越密集，如圖2(b)所示。

圖2　基于亮度傳播圖的低照度圖像增強(qiáng)

要用亮度傳播圖來代替原來的大氣傳播圖復(fù)原圖像，首先需要將RGB圖像轉(zhuǎn)換成色度和亮度分離的圖像，我們常用的色亮分離的顏色空間有HSI、HSV、YCbCr、Lab等。每一個(gè)顏色空間都有自己優(yōu)點(diǎn)和缺點(diǎn)，在YCbCr空間進(jìn)行亮度增強(qiáng)會(huì)導(dǎo)致顏色退色，HSI顏色空間從人的視覺系統(tǒng)出發(fā)，保持了顏色的恒常性，因此在HSI空間進(jìn)行亮度和對比度拉伸不會(huì)造成顏色的改變，其中亮度分量可以表示如下：

L=(R+G+B)/3

(8)

亮度分量圖像和暗通道先驗(yàn)得到的傳播圖有很大的不同，為了能夠使亮度傳播圖代替大氣傳播圖，必須使兩者在效果和功用上近似?？梢詫鞑D調(diào)整參數(shù)C減去圖像中每一點(diǎn)的像素值進(jìn)行反色變換來解決這個(gè)問題，僅僅這樣，估計(jì)出的傳播圖很粗糙，處理的圖像效果大打折扣，必須對亮度傳播圖細(xì)化。MSR變換有多個(gè)尺度的特征 ，綜合了大中小尺度的優(yōu)勢 , 能夠同時(shí)實(shí)現(xiàn)動(dòng)態(tài)范圍的壓縮、邊緣細(xì)節(jié)增強(qiáng)。本文首先用MSR處理亮度分量圖，如式(9)所示：

(9)

對亮度分量進(jìn)行MSR處理之后再進(jìn)行反色變換，得到粗估計(jì)的傳播圖：

(10)

對粗估計(jì)的傳播圖進(jìn)行中值濾波淡化亮度傳播圖的目標(biāo)輪廓，使去霧后的圖像含有更豐富的細(xì)節(jié)信息[14]，這樣就得到了最終的亮度傳播圖，如圖2(c)所示。

4實(shí)驗(yàn)結(jié)果分析

根據(jù)上述算法，對低照度圖像進(jìn)行增強(qiáng)實(shí)驗(yàn)，本次實(shí)驗(yàn)環(huán)境為：程序?qū)崿F(xiàn)采用MATLABR2013a，主機(jī)配置為Inter(R)Core(TM)i5-3470CPU@3.20GHz，4GB內(nèi)存，Window7操作系統(tǒng)。圖3為基于物理模型的低照度圖像增強(qiáng)效果圖以及估計(jì)的亮度傳播圖，兩幅實(shí)驗(yàn)圖像采集設(shè)備型號為CanonPowerShotA3100IS，光圈值為f/2.7，圖像尺寸2592×1944。從處理結(jié)果可以看出本文算法有效地消除了噪聲，并且在整體亮度提升和邊緣細(xì)節(jié)保持方面也有出色的表現(xiàn)，亮度傳播圖細(xì)節(jié)部分也有一定優(yōu)勢。

圖3　本文算法處理結(jié)果

為了進(jìn)一步驗(yàn)證本文算法的有效性和優(yōu)勢，圖4給出了Dong[11]算法及本文算法的增強(qiáng)效果，在主觀視覺效果方面將本文算法與Dong算法效果進(jìn)行比較。從結(jié)果圖可以看出，Dong的算法失真比較嚴(yán)重，而本文算法在保真方面做得就比較好，除此之外，本文處理的圖像亮度提升和抑制噪聲方面也有著明顯優(yōu)勢。

圖4　Dong算法與本文算法結(jié)果比較

除了主觀視覺效果，還需要客觀參數(shù)來對本文算法的優(yōu)劣性進(jìn)行評價(jià)。表1中平均亮度MeanG代表著增強(qiáng)后的圖像平均亮度，MeanG的值越大，證明該算法增強(qiáng)的結(jié)果亮度提升效果越好，本文算法的平均亮度值均大于另一種算法。

表1　平均亮度MeanG比較

表2是四組圖像的峰值信噪比PSNR對比，它代表著增強(qiáng)算法對圖像的去噪處理效果，PSNR的值越大，證明該算法處理的結(jié)果去噪效果越好，本文在對四組圖像的處理中PSNR均大于Dong的算法。

表2　峰值信噪比PSNR比較

表3是四組圖像的運(yùn)行時(shí)間Time(s)對比，它代表著增強(qiáng)算法的運(yùn)算速度，運(yùn)行時(shí)間越短，證明該算法的運(yùn)算效率越高，本文算法的運(yùn)行時(shí)間相比于另一種提升很大。

表3　運(yùn)行時(shí)間Time比較

從結(jié)果看，三組對比中，本文算法的平均亮度和峰值信噪比都大于Dong算法，運(yùn)行時(shí)間遠(yuǎn)遠(yuǎn)小于Dong算法，在亮度提升、抑制噪聲效果和運(yùn)算速度方面均有優(yōu)勢。

5結(jié)語

針對低照度圖像的特點(diǎn)，提出一種基于物理模型的低照度增強(qiáng)算法。在增強(qiáng)之前先對低照度圖像進(jìn)行去噪，避免了因圖像增強(qiáng)造成的噪聲放大的問題，晚上拍的圖像所含噪聲大部分屬于泊松分布的噪聲，比較適合用3D去噪算法，既保證了有效去噪的同時(shí)色彩不失真，又提高了效率。在對反轉(zhuǎn)之后的低照度圖像進(jìn)行去霧時(shí)，利用亮度圖來估計(jì)亮度傳播圖，進(jìn)一步提高了圖像亮度和對比度，增強(qiáng)了細(xì)節(jié)。本文算法可用于智能監(jiān)控系統(tǒng)，及對低照度圖像中物體的識別追蹤，對低照度環(huán)境下的目標(biāo)檢測識別準(zhǔn)確率的提高有著重要意義，因此將本文算法應(yīng)用于視頻增強(qiáng)將是下一步研究的重點(diǎn)。

參考文獻(xiàn)

[1] 樸燕,劉磊,劉笑宇.低照度環(huán)境下視頻增強(qiáng)技術(shù)[J].紅外與激光工程,2014,43(6):2021-2026.

[2] 潘平平,李德華.快速低照度圖像增強(qiáng)算法研究與實(shí)現(xiàn)[J].微型機(jī)與應(yīng)用,2012,31(20):42-47.

[3] 王聞博,穆向陽,湯楠.低照度圖像增強(qiáng)算法[J].計(jì)算機(jī)與現(xiàn)代化,2014(1):27-31.

[4] 朱婧雅,王中元.基于相似場景的低照度監(jiān)控圖像增強(qiáng)[J].計(jì)算機(jī)應(yīng)用與軟件,2015,32(1):203-205,210.

[5] 韓殿元.低照度下視頻圖像保細(xì)節(jié)直方圖均衡化方法[J].計(jì)算機(jī)仿真,2013,30(8):233-236.

[6] 尹士暢,喻松林.基于小波變換和直方圖均衡的紅外圖像增強(qiáng)[J].激光與紅外,2013,43(2):225-228.

[7] 張愛民.一種基于小波變換的夜視圖像去噪和融合方法[J].電子測量技術(shù),2015,38(1):38-40.

[8]RaoYunbo,ChenZhongbo,SunMingting,etal.Aneffecivenightvideoenhancementalgorithm[C]//ProceedingsoftheVisualCommunicationsandImageProcessing(VCIP),Tainan,2011:1-4.

[9] 陳勇,馮鵬,張開碧,等.低照度下具有動(dòng)態(tài)特性的彩色圖像質(zhì)量優(yōu)化算法[J].光電技術(shù)應(yīng)用,2014,35(5):898-903.

[10] 蔡利梅,錢建生,羅驅(qū)波,等.一種基于色彩保持的低照度圖像增強(qiáng)算法[J].計(jì)算機(jī)應(yīng)用與軟件,2009,26(3):226-227,243.

[11]DongXuan,WangGuan,PangLi,etal.Fastefficientalgorithmforenhancementoflowlightingvideo[C]//IEEEInternationalConferenceonMultimediaandExpo(ICME),Barcelona,2011:1-6.

[12]HeKaiming,SunJian,TangXiaoou.Singleimagehazeremovalusingdarkchannelprior[C]//IEEEConferenceonComputerVisionandPatternRecognition(CVPR),Alaska,2009:1956-1963.

[13]KostadinDabov,AlessandroFoi,VladimirKatkovnik,etal.Imagedenoisingbysparse3Dtransform-domaincollaborativefiltering[J].IEEETransactionsonImageProcessing,2007,16(8):1-16.

[14]GuoFan,CaiZixing,XieBin,etal.Automaticimagehazeremovalbasedonluminancecomponent[C]//InternationalConferenceonWirelessCommunicationsNetworkingandMobileComputing(WiCOM),Chengdu,2010:1956-1963.

LOW ILLUMINATION IMAGE ENHANCEMENT ALGORITHM BASED ONLUMINANCETRANSMISSIONMAP

Niu ShuangShang YuanyuanDing HuiLuan Zhong

(School of Information Science and Technology,Capital Normal University,Beijing 100048,China)

AbstractLow illumination images always have lower overall brightness, low dynamic range and high noise. Because of these characteristics, we proposed an enhancement algorithm for low illumination image which is based on luminance transmission map. Considering that while enhancing the low illumination image the noise will be amplified as well, it needs to reduce image noise before image enhancement. We first used BM3D (block matching 3D) for image denoising in YCbCr space, then we enhanced the image in HSI space, and used luminance component to estimate the luminance transmission map, finally we used physical model to restore the low illumination image. Experiments showed that the method could rapidly and effectively improve the overall brightness and contrast of the low illumination image, enhance the detail of the image and reduce noise as well, and get an image with good visual effect.

KeywordsImage enhancementLow illumination imageLuminance transmission mapColour spaceBM3D

收稿日期：2015-03-13。國家自然科學(xué)基金項(xiàng)目(11178017，6137 3090，61303104，61203238)；北京市自然科學(xué)基金項(xiàng)目(4132014)。牛爽，碩士生，主研領(lǐng)域：數(shù)字圖形處理，視頻處理，模式識別。尚媛園，教授。丁輝，副教授。欒中，博士生。

中圖分類號TP391

文獻(xiàn)標(biāo)識碼A

DOI:10.3969/j.issn.1000-386x.2016.06.041