結(jié)合NSST和顏色對(duì)比度增強(qiáng)的彩色夜視方法

吳燕燕，王亞杰，石祥濱，王琳霖

(沈陽航空航天大學(xué) 工程訓(xùn)練中心，沈陽110136)

結(jié)合NSST和顏色對(duì)比度增強(qiáng)的彩色夜視方法

吳燕燕，王亞杰，石祥濱，王琳霖

(沈陽航空航天大學(xué) 工程訓(xùn)練中心，沈陽110136)

針對(duì)夜視圖像彩色融合通常存在細(xì)節(jié)信息不夠豐富、顏色對(duì)比度低的問題，為了獲得更為理想的彩色融合效果，提出一種新的基于非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)和顏色對(duì)比度增強(qiáng)的彩色融合方法。首先，分別設(shè)計(jì)基于S函數(shù)和局部方向?qū)Ρ榷鹊牡皖l與高頻融合規(guī)則，完成源可見光與紅外圖像在NSST域的融合；其次，將灰度融合圖像賦給Y分量，源圖像的差值信號(hào)賦給U和V色差分量，形成YUV空間的偽彩色融合圖像。最后，選擇一幅與待上色圖像具有相似顏色分布的自然日光圖像作為彩色參考圖像，在YUV空間對(duì)偽彩色融合圖像進(jìn)行顏色對(duì)比度增強(qiáng)的非線性色彩傳遞。與近年方法相比，該方法所得彩色融合效果細(xì)節(jié)信息豐富、熱目標(biāo)突出。將該方法運(yùn)用于彩色夜視領(lǐng)域，可有效增強(qiáng)場(chǎng)景深度感知和目標(biāo)的可探測(cè)性。

圖像融合；NSST；彩色夜視；顏色對(duì)比度增強(qiáng)；YUV空間

0 引言

所謂彩色夜視是指將多波段的夜視圖像融合成一幅適于人眼視覺感知和目標(biāo)探測(cè)的彩色圖像，以提高夜視系統(tǒng)的性能[1]。通常，可見光圖像反映場(chǎng)景的光譜信息，包含豐富的細(xì)節(jié)特征；而紅外圖像主要根據(jù)熱溫差成像，具有良好的目標(biāo)探測(cè)性，兩者的融合可以充分實(shí)現(xiàn)信息互補(bǔ)[2]。尤其是在低照度條件下，將采集到的可見光(微光)與紅外圖像進(jìn)行彩色融合可以改善場(chǎng)景勢(shì)態(tài)，使人眼感知不同波段的圖像特征。彩色夜視已成為目前研究的熱點(diǎn)[3]。

彩色融合主要包括假彩色融合和自然感彩色融合。假彩色融合運(yùn)算速度快，但色彩與自然色相差較大，主要代表方法有NRL方法、TNO方法。2003年，Toet等[4]借鑒Reinhard方法的思想，賦予多波段圖像以自然彩色，該方法所得彩色融合圖像的局部區(qū)域顏色與真實(shí)場(chǎng)景相差較大，且不利于實(shí)時(shí)處理。2011年，Li轉(zhuǎn)向研究基于YUV空間的標(biāo)準(zhǔn)顏色傳遞方法(StaCT)，并提出了結(jié)構(gòu)優(yōu)化型顏色傳遞方法(AOCT)，實(shí)現(xiàn)對(duì)多波段圖像的快速自然感彩色融合[5]。然而，上述方法均屬于基于全局統(tǒng)計(jì)信息的彩色遷移方法，僅考慮了圖像整體上色效果，導(dǎo)致目標(biāo)與周圍背景的顏色非常相近。為了提高目標(biāo)與背景的顏色對(duì)比度，2012年，Qian[6]基于空間提出了一種對(duì)比度增強(qiáng)的彩色夜視方法，該方法在進(jìn)行假彩色融合時(shí)，忽略了l分量的動(dòng)態(tài)范圍與灰度圖像的動(dòng)態(tài)范圍并不同，用源圖像的簡(jiǎn)單加權(quán)求和來替代l分量，因此對(duì)光譜信息的呈現(xiàn)并不理想。

針對(duì)上述問題，本文提出一種基于非下采樣剪切波變換(Non-subsampled Shearlet Transform，NSST)和顏色對(duì)比度增強(qiáng)的自然感彩色融合方法。首先分別設(shè)計(jì)基于S函數(shù)和局部方向?qū)Ρ榷鹊牡皖l與高頻子帶融合規(guī)則，完成源圖像在NSST域的融合；其次將灰度融合圖像和源圖像組合映射至YUV空間，得到Y(jié)UV空間偽彩色融合圖像；最后采用線性與非線性結(jié)合的色彩傳遞技術(shù)，對(duì)偽彩色融合圖像進(jìn)行自然感彩色校正。與NRL、Toet、StaCT、Li以及Qian方法相比，本文所得彩色融合圖像光譜信息豐富、熱目標(biāo)突出。本文包括兩部分：1)基于NSST的夜視可見光與紅外圖像融合；2)基于YUV空間對(duì)比度增強(qiáng)的自然感彩色融合。

1 基于NSST的夜視可見光與紅外圖像融合

NSST是一種新的多維函數(shù)稀疏表示工具[7]，具備良好方向性和各向異性，可以準(zhǔn)確捕捉圖像中的細(xì)節(jié)信息[8-10]。本節(jié)融合過程包括采用NSST對(duì)源圖像進(jìn)行分解、分解系數(shù)融合和NSST重構(gòu)3個(gè)部分。首先分別對(duì)源可見光圖像(Vis)和紅外圖像(IR)進(jìn)行NSST分解，得到不同尺度和不同方向的子帶系數(shù)和。其中，為低頻子帶，Hk,l為尺度k下第l方向的帶通方向子帶。為了獲得更為理想的融合效果，設(shè)計(jì)適當(dāng)?shù)娜诤弦?guī)則，最后經(jīng)NSST重構(gòu)得到融合圖像F。

1.1 低頻子帶融合規(guī)則

由NSST分解得到的低頻系數(shù)，主要反映原始圖像的概貌特征[11]。以往低頻子帶的融合規(guī)則多采用簡(jiǎn)單加權(quán)平均的方法，顯然沒有考慮不同傳感器圖像的成像特點(diǎn)，降低了融合圖像的對(duì)比度。本文通過構(gòu)造一個(gè)S函數(shù)模型，由S函數(shù)決定加權(quán)融合時(shí)的權(quán)系數(shù)，實(shí)現(xiàn)對(duì)低頻子帶的自適應(yīng)加權(quán)融合。融合的低頻子帶系數(shù)：

式中：β表示該S函數(shù)的收斂因子，為給定的常數(shù)；為紅外圖像中在(i,j)像素點(diǎn)的灰度值，χ(i,j)代表(i,j)處像素點(diǎn)的灰度值與灰度平均值μIR的相對(duì)偏離程度。χ(i,j)值越大，對(duì)應(yīng)的權(quán)系數(shù)ω(i,j)越接近于1。在自然圖像中，背景的灰度值與平均灰度值較為接近，此時(shí)χ(i,j)值趨向于0，代入式(2)，權(quán)系數(shù)趨近于0.5，那么融合后的低頻子帶可看作兩源圖像的平均。對(duì)于非自然的圖像，其中的熱目標(biāo)所對(duì)應(yīng)的灰度值與平均灰度值相差較大，這樣相應(yīng)頻域處的主要來自紅外熱目標(biāo)分解得到的低頻子帶系數(shù)。由分析可知，本文所設(shè)計(jì)的低頻子帶融合規(guī)則，充分考慮了紅外和可見光圖像的成像特點(diǎn)，能夠?qū)崿F(xiàn)兩者的自適應(yīng)融合。

1.2 帶通方向子帶融合規(guī)則

經(jīng)NSST分解得到的帶通方向子帶系數(shù)主要表征源圖像中的邊緣和紋理等高頻信息，其融合規(guī)則的好壞，直接影響融合圖像細(xì)節(jié)信息的保持程度[12]。對(duì)于帶通方向子帶系數(shù)的融合，本文采用基于局部方向?qū)Ρ榷鹊娜诤喜呗?，以有效保留邊緣等?xì)節(jié)信息。局部方向?qū)Ρ榷?LDC)定義如下，

2 基于YUV空間對(duì)比度增強(qiáng)的彩色融合

彩色融合方案如圖1所示，輸入：同一場(chǎng)景夜視可見光與紅外圖像對(duì)；輸出：彩色融合圖像。

圖1 基于YUV空間顏色對(duì)比度增強(qiáng)的彩色融合方案Fig.1The color fusion method based on color contrast enhancement in YUV space

基于YUV空間顏色對(duì)比度增強(qiáng)的彩色融合步驟如下：

1)參照式(6)得到Y(jié)UV偽彩色融合圖像：

2)選擇一幅與待上色圖像具有相似顏色分布自然日光彩色圖像作為參考圖像，將其由RGB變換至YUV空間，將參考圖像Y、U通道的統(tǒng)計(jì)量線性傳遞給偽彩色融合圖像：

3)為了進(jìn)一步突出熱目標(biāo)，對(duì)V通道進(jìn)行非線性色彩傳遞，在傳遞方程中加入比例因子λ(i,j)：

4)根據(jù)上述步驟，即完成了YUV空間的自然感彩色校正，最后將分量變換回到RGB空間，得到顏色對(duì)比度增強(qiáng)的自然感彩色融合圖像。

3 實(shí)驗(yàn)結(jié)果與分析

實(shí)驗(yàn)軟件環(huán)境：Win7-64位系統(tǒng)、MATLABR2010；硬件環(huán)境：方正文祥D430-H81臺(tái)式機(jī)(3.20GHz中央處理器，4 GB內(nèi)存)、VIPER SYSTEM夜視成像儀。

3.1 夜視圖像融合方法對(duì)比

為了驗(yàn)證1節(jié)融合方法的有效性，選擇圖2(a)和2(b)經(jīng)過配準(zhǔn)的可見光與紅外圖像對(duì)進(jìn)行實(shí)驗(yàn)，并與下面3種方法進(jìn)行對(duì)比：1)基于離散小波變換(DWT)的圖像融合方法[13]；2)基于NSCT的圖像融合方法[14]；3)基于壓縮感知(CS)的圖像融合方法[15]。圖2(c)～2(f)分別為基于DWT、NSCT、CS和本文方法的融合結(jié)果。觀察圖2不難發(fā)現(xiàn)，本文方法所得融合圖像細(xì)節(jié)信息最為豐富、熱目標(biāo)突出。

圖2 UNcamp圖像融合結(jié)果對(duì)比Fig.2Comparison of the fusion results based on different methods for UNcamp images

選擇SSIM(結(jié)構(gòu)相似性度量)[16]、Clarity(清晰度)[17]、以及Q，Qw，Qe指標(biāo)[18]，對(duì)融合結(jié)果進(jìn)行客觀評(píng)價(jià)，各項(xiàng)指標(biāo)值越大代表融合質(zhì)量越好。評(píng)價(jià)對(duì)比結(jié)果如表1，從客觀角度驗(yàn)證了本文方法的優(yōu)越性。

表1 UNcamp圖像融合結(jié)果客觀評(píng)價(jià)對(duì)比Table 1Objective evaluation index of different fusion methods for UNcamp

3.2 彩色融合方法對(duì)比

國(guó)際上對(duì)彩色融合質(zhì)量的評(píng)價(jià)主要從顏色協(xié)調(diào)性和顏色自然感、顏色對(duì)比度和清晰度4個(gè)指標(biāo)[19]進(jìn)行主觀定性評(píng)價(jià)。利用本文彩色夜視方法對(duì)大量夜視圖像進(jìn)行仿真實(shí)驗(yàn)，并與NRL、Toet、StaCT、Li和Qian的方法進(jìn)行對(duì)比，由于篇幅有限，現(xiàn)以TNO研究所提供的大小均為256′256的UNcamp圖像對(duì)和Dune圖像對(duì)為例加以分析。UNcamp圖像對(duì)的彩色融合結(jié)果如圖3所示，其中，圖3(a)和3(b)分別為源可見光與紅外圖像；圖3(c)為NRL假彩色融合結(jié)果；圖3(d)為本文的YUV偽彩色融合圖像；圖3(e)為一幅與待上色圖像具有相似顏色特征的自然日光下的彩色圖像，將其作為各方法的彩色參考圖像；圖3(f)為Toet方法的彩色融合結(jié)果，該方法并沒有很好地繼承目標(biāo)參考圖像中草地和樹木的綠色，而是呈現(xiàn)出大量的黃色，而且部分細(xì)節(jié)信息被大量的白光掩埋；圖3(g)為StaCT方法的彩色融合結(jié)果，該方法所得彩色融合圖像接近于自然色，但目標(biāo)與背景的顏色非常接近，不利于目標(biāo)判斷，而且存在過飽和現(xiàn)象；圖3(h)為L(zhǎng)i的AOCT方法得到的彩色融合效果，該方法依然存在過飽和現(xiàn)象與對(duì)比度低的問題；圖3(i)為Qian的方法所得彩色融合結(jié)果，該方法使目標(biāo)顯示為鮮明的亮黃色，部分冷背景被渲染成藍(lán)色，在一定程度上改善了目標(biāo)與背景的顏色對(duì)比度，但部分背景(如屋頂)并沒有呈現(xiàn)出自然色，而且對(duì)細(xì)節(jié)信息的表達(dá)效果并不十分理想；圖3(j)為本文彩色融合效果，對(duì)比可知，本文彩色融合圖像中的熱目標(biāo)(如人物)呈紅色，和低溫背景形成鮮明對(duì)比，非常有利于目標(biāo)判斷，而且背景清晰度高、顏色層次感強(qiáng)。

圖3 UNcamp圖像融合結(jié)果對(duì)比Fig.3Comparison of the color fusion results for UNcamp images

圖4是另一組Dune圖像基于不同方法的彩色融合結(jié)果對(duì)比，圖4(a)、4(b)分別為Dune可見光與紅外圖像，圖4(e)是一幅拍攝于沈陽航空航天大學(xué)青陽湖畔的自然日光圖像，與待上色圖像具有相似顏色分布。圖4(c)和4(d)分別為NRL假彩色融合圖像、YUV偽彩色融合圖像，圖4(f)-(j)分別為Toet、StaCT、Li、Qian和本文方法的彩色融合結(jié)果。相比其他方法，本文彩色融合圖像中的熱目標(biāo)突出、細(xì)節(jié)對(duì)比度顯著，進(jìn)一步驗(yàn)證了本文方法能夠有效改善彩色夜視融合質(zhì)量。

圖4 Dune圖像融合結(jié)果對(duì)比Fig.4Comparison of the color fusion results for Dune images

4 結(jié)論

本文提出一種基于NSST和顏色對(duì)比度增強(qiáng)的夜視圖像彩色融合方法，首先對(duì)源圖像進(jìn)行基于NSST的灰度融合，其次利用灰度融合圖像和源圖像組合映射得到Y(jié)UV偽彩色融合圖像，最后對(duì)偽彩色融合圖像進(jìn)行基于顏色對(duì)比度增強(qiáng)的自然感彩色校正。與其他方法相比，本文方法不僅有效豐富了融合圖像的細(xì)節(jié)，而且加強(qiáng)了圖像的深度感，有利于提高場(chǎng)景記憶能力和方位判斷。

[1]薛模根，周浦城，劉存超.夜視圖像局部顏色傳遞算法[J].紅外與激光工程，2015，44(2)：782-785. XUE Mogen，ZHOU Pucheng，LIU Cunchao.A novel local color transfer method for night vision image[J].Infrared and Laser Engineering，2015，44(2)：782-785.

[2]谷雨，劉晶紅，孫明超，等.基于分形特征和導(dǎo)引濾波的可見光與紅外圖像融合算法[J].光電工程，2015，42(4)：62-67. GU Yu，LIU Jinghong，SUN Mingchao，et al.Visible and Infrared Image Fusion Algorithm by Fractal Feature and Guided Filtering[J].Opto-Electronic Engineering，2015，42(4)：62-67.

[3]YIN Songfeng，CAO Liangcai，LING Yongshun，et al.One color contrast enhanced infrared and visible image fusion method [J].Infrared Physics and Technology(S1350-4495)，2010，53(2)：146-150.

[4]ToetA.Natural colour mapping for multiband night vision imagery[J].Information Fusion(S1566-2535)，2003，4(3)：155-166.

[5]李光鑫，徐抒巖，趙運(yùn)隆，等.顏色傳遞技術(shù)的快速彩色圖像融合[J].光學(xué)精密工程，2010，18(7)：1638-1647. LI Guangxin，XU Shuyan，ZHAO Yunlong，et al.Fast color image fusion based on color transfer technique[J].Optics and Precision Engineering，2010，18(7)：1638-1647.

[6]QIAN Xiaoyan，WANG Yujin，WANG Bangfeng.Effective contrast enhancement method for color night vision[J].Infrared Physics&Technology(S1350-4495)，2012，55(1)：130-136.

[7]GUO Kanghui，Labate D.Optimally sparse multidimensional respresentation using shearlets[J].SIAM Journal on MathematicalAnalysis(S1095-7154)，2007，39(1)：298-318.

[8]張鴻杰，王憲，孫子文.Shearle多方向自適應(yīng)加權(quán)融合的稀疏表征人臉識(shí)別[J].光電工程，2014，41(12)：66-71. ZHANG Hongjie，WANG Xian，SUN Ziwen.Face Recognition Based on Shearlet Multi-orientation Adaptive Weighted Fusion and Sparse Representation[J].Opto-Electronic Engineering，2014，41(12)：66-71.

[9]ZHANG Baohua，LU Xiaoqi，PEI Haiquan，et al.A fusion algorithm for infrared and visible images based on saliency analysis and non-subsampled Shearlet transform[J].Infrared Physics&Technology(S1350-4495)，2015，73(11)：286-297.

[10]鄭偉，孫雪青，郝冬梅，等.Shearlet變換和稀疏表示相結(jié)合的甲狀腺圖像融合[J].光電工程，2015，42(1)：77-83. ZHENG Wei，SUN Xueqing，HAO Dongmei，et al.Thyroid Image Fusion Based on Shearlet Transform and Sparse Representation[J].Opto-Electronic Engineering，2015，42(1)：77-83.

[11]Singh Sneha，Gupta Deep，Anand R S，et al.Nonsubsampled shearlet based CT and MR medical image fusion using biologically inspired spiking neural network[J].Biomedical Signal Processing and Control(S1746-8094)，2015，18：91-101.

[12]WANG Zhishe，YANG Fengbao，PENG Zhihao，et al.Multi-sensor image enhanced fusion algorithm based on NSST and top-hat transformation[J].Optik-International Journal for Light and Electron Optics(S0030-4026)，2015，126：4184-4190.

[13]Anoop Suraj A，F(xiàn)rancis Mathew，Kavya T S，et al.Discrete wavelet transform based image fusion and de-noising in FPGA[J]. Journal of Electrical Systems and Information Technology(S2314-7172)，2014，3(1)：72-81.

[14]張?bào)@雷，趙俄英.基于NSCT的紅外與可見光圖像融合方法[J].激光與紅外，2013，43(3)：319-322. ZHANG Jinglei，ZHAO E￠ying.Fusion method for infrared and visible light images based on NSCT[J].Laser＆Infrared，2013，43(3)：319-322.

[15]LI Xun，QIN Shiyin.Efficient fusion for infrared and visible images based on compressive sensing principle[J].IET Image Process(S1751-9659)，2011，5(2)：141-147.

[16]WANG Zhou，Bovik A C，Sheikh H R，et al.Image quality assessment：From error visibility to structural similarity[J].IEEE Transactions on Image Processing(S1057-7149)，2004，13(4)：600-612.

[17]HU Liangmei，GAO Jun，HE Kefeng.Research on quality measures for image fusion[J].Acta Electronica Sinica (S0372-2112)，2004，32(12A)：218-221.

[18]Piella G.New quality measures for image fusion[C]//Proceedings of the Seventh International Conference on Information Fusion，Stockholm，Sweden，June 28-July 1，2004：542-546.

[19]LI Chen￠ou，Patrick Chong，Ronnier Luo M，et al.Additivity of colour harmony[J].Color Research&Application (S0361-2317)，2011，36(5)：355-372.

本期組稿：楊淇名

責(zé)任編輯：謝小平

英文編輯：龐 洪

The Color Night Vision Method Combining NSST with Color Contrast Enhancement

WU Yanyan，WANG Yajie，SHI Xiangbin，WANG Linlin
(Engineering Training Center,Shenyang Aerospace University,Shenyang110136,China)

Traditional color night vision fusion methods usually suffered from the problems of blurry visual effects and the low color contrast between the target and the background,in order to obtain the more ideal color fusion effect,an improved color fusion method based on Non-subsampled Shearlet Transform(NSST)and color contrast enhancement was proposed.Firstly,NSST was employed to decompose the infrared and visible source images,respectively,and then the gray-level fusion image was obtained according to the self-adaptive fusion rules based on the S function and the local directional contrast.Secondly,the gray fusion image was assigned to the Y component,and the difference of the source images was respectively assigned to the U and V component,and then the false color fusion image was generated in YUV space.Finally,a natural daylight color image with similar color feature to the gray fusion image was selected as the reference image,meanwhile,transferring the color feature of the reference image to the false color fusion image based on the nonlinear color transfer technique in the uncorrelated YUV space,so as to enhance the color contrast of the hot target and cold background.Compared with the methods in recent years,Experimental results showed that the color fusion result based on ours contained more abundant details,and the hot target was highlighted.This method is applied to the field of color night vision that can make for enhancing the situation awareness and improve the target detectability.

image fusion;NSST;coloring night-vision;color contrast enhancement;YUV space

TP391

A

10.3969/j.issn.1003-501X.2016.11.014

1003-501X(2016)11-0088-07

2016-03-23；

2016-05-03

國(guó)家自然科學(xué)基金資助項(xiàng)目(61170185)；航空科學(xué)基金資助項(xiàng)目(2015ZC54008)；遼寧省教育廳科研項(xiàng)目(L2015411)；遼寧省教育廳科研項(xiàng)目(L201605)；校青年人才成才基金項(xiàng)目(201406Y)

吳燕燕(1989-)，女(漢族)，河南開封人。碩士，助理實(shí)驗(yàn)師，主要研究工作是圖像處理、圖像融合、計(jì)算機(jī)視覺。E-mail:pursuit1989@126.com。