基于顏色傳遞和對比度增強的夜視圖像彩色融合

薛模根， 劉存超， 周浦城

（1. 偏振光成像探測技術安徽省重點實驗室，安徽 合肥 230031；2. 陸軍軍官學院軍用光電技術與系統(tǒng)實驗室，安徽 合肥 230031）

基于顏色傳遞和對比度增強的夜視圖像彩色融合

薛模根1,2， 劉存超2， 周浦城1,2

（1. 偏振光成像探測技術安徽省重點實驗室，安徽 合肥 230031；2. 陸軍軍官學院軍用光電技術與系統(tǒng)實驗室，安徽 合肥 230031）

針對基于顏色傳遞夜視圖像彩色融合算法存在的熱目標不突出問題，提出一種基于顏色傳遞和對比度增強的彩色融合算法。該算法首先利用非線性擴散和迭代閾值分割方法提取出圖像中的熱目標，然后在HSI顏色空間利用熱目標和灰度融合圖像對顏色傳遞得到的初步彩色融合圖像進行調整，接著將處理結果變換回RGB顏色空間，得到最終的融合圖像。實驗結果表明，利用該算法得到的融合圖像不僅與人眼視覺感知習慣一致，而且顯著增強了目標與背景的對比度，從而有效提高了目標的可探測性。

圖像融合；彩色夜視；顏色傳遞；稀疏表示

紅外熱像儀與微光夜視儀獲取的熱紅外圖像與微光圖像具有互補性及冗余性，通過融合相互取長補短，可以有效增強目標的細節(jié)信息[1]。然而這兩種夜視儀獲得的都是表征場景空間信息的灰度圖像，缺少場景的顏色信息。基于人類視覺系統(tǒng)研究表明，人眼對彩色圖像的分辨率要遠遠高于灰度圖像。因此，熱紅外和微光圖像的彩色融合更加有利于人眼對目標的觀察與場景理解。

傳統(tǒng)的基于彩色空間映射的MIT法和Toet方法得到的偽彩色圖像，與真實自然場景的顏色差別較大，不能達到期望的自然彩色效果，從而影響對目標的準確識別。2003年，Toet[2]提出一種顏色傳遞理論，把白天自然場景的顏色特征傳遞給多波段夜視圖像，得到一幅符合人眼視覺觀察的近自然彩色融合圖像，但該圖像中目標與背景相近，導致目標變淡不利于人眼觀察。2009年，殷松峰等[3]提出一種提高夜視融合圖像目標可探測性的顏色對比度增強方法，但該方法在增強熱目標對比度的同時也使噪聲等非目標信號對比度得到增強，從而影響人眼對目標的觀察和快速識別。

針對基于顏色傳遞理論生成融合圖像的目標與背景顏色相近、目標變淡的問題，本文提出一種基于顏色傳遞和對比度增強的夜視圖像彩色融合算法，該算法首先采用基于稀疏表示的最優(yōu)化融合算法生成一幅灰度融合圖像，然后提取出紅外圖像中的熱目標，并利用顏色傳遞理論得到初步彩色融合圖像，最后在HSI顏色空間利用提取的熱目標和灰度融合圖像對得到的初步彩色融合圖像進行調整，從而達到改善夜視融合圖像的質量、提高彩色融合圖像探測性能的目的。

1 基于稀疏表示的紅外與微光圖像最優(yōu)化融合

為了生成一幅目標突出、場景清晰的融合圖像，本文采用基于稀疏表示的最優(yōu)化融合方法。稀疏表示的本質是用過完備字典代替?zhèn)鹘y(tǒng)信號表示中的正交基。由于過完備字典具有冗余性，因此信號能夠表示為過完備字典中少數(shù)原子的線性組合，可以獲得信號更為簡潔的表示方式，從而更容易獲取信號中蘊含的信息。稀疏表示的數(shù)學模型為：

稀疏表示的關鍵是過完備字典的構造和稀疏分解方法。其中字典構造是一種尋找稀疏表示下最優(yōu)基的構造，原始信號能否盡可能稀疏表示與字典的優(yōu)劣有很大的關系。本文采用DCT字典作為初始化過完備字典，待融合夜視圖像為樣本數(shù)據，利用K-SVD算法[4]，訓練出所需的過完備字典D，然后采用追蹤算法求得稀疏系數(shù)。

假設紅外圖像IR在過完備字典D下的稀疏系數(shù)為α，微光圖像LL對應的稀疏系數(shù)為β，融合圖像F的系數(shù)為γ，那么，融合圖像的優(yōu)劣等價為系數(shù)γ從α和β中選擇的好壞。為了生成一幅質量好的融合圖像，建立一個融合圖像中的方差最大與源圖像的差別最小目標函數(shù)：

殘留量F-IR和F-LL表征了源圖像與融合圖像的差別， ▽ IR和 ▽ LL是殘留量的權重，求解該最優(yōu)化方程，便可獲得紅外與微光圖像的灰度融合圖像[5]。

2 基于非線性擴散和迭代閾值分割的熱目標提取

傳統(tǒng)的圖像分割與目標提取方法主要有迭代閾值分割法[6]、均值漂移[7]、水平集分割[8]等。由于紅外圖像中的噪聲比較多，背景環(huán)境比較復雜，干擾物較多，采用單一傳統(tǒng)圖像分割方法提取紅外圖像中的熱目標，很難得到理想的效果。鑒于非線性擴散是一種偏微分方法，能構選擇性的平滑圖像，有效地平滑掉圖像中噪聲和一些平坦區(qū)域，并保持增強圖像中邊緣細節(jié)，因此，本文采用Perona和Malik提出的P-M模型[9]，對紅外與微光圖像的融合圖像和微光圖像分別進行非線性擴散，其數(shù)學表達式為：

對于融合圖像與微光圖像的擴散結果 E1和E2，取兩者的差值 E=E1-E2，然后采用迭代閾值分割[6]從差值圖像中分割出紅外圖像中的熱目標，其算法流程如下：

(1) 求出圖像中的最大和最小灰度值t1和tk,并令初始閾值為T0=(t1+tk)/2。

(2) 利用閾值Tk將圖像分為前景R1和背景R2，分別求出這兩部分的均值μ1和μ2。

(3) 更新閾值Tk+1=(μ1+μ2)/2。

(4) 如果Tk=Tk+1或k＞M，則迭代結束，否則k←k+1，轉到第(2)步繼續(xù)迭代。其中，M表示設定的最多迭代次數(shù)。

(5) 利用確定的閾值T分割出熱目標HT。

3 基于熱目標對比度增強的顏色傳遞

仿照Toet偽彩色融合結構，在YCbCr空間的偽彩色融合方案為：

式(4)中Cb、Cr分量增加了偽彩色圖像的色彩對比度，為進一步顏色傳遞提供豐富的光譜特征和空間信息[11]。

采用偽彩色融合可獲得較自然的色彩效果，算法簡單，但在細節(jié)方面稍顯劣勢。為了獲得更佳的自然感彩色融合圖像，進一步采用顏色傳遞技術對偽彩色融合圖像進行色彩增強：

其中下標S、R和Fc分別指偽彩色融合圖像、參考圖像和彩色融合圖像；μ和σ分別為相應顏色通道的均值和方差。將調整后的偽彩色圖像由YCbCr空間變換回RGB空間即可獲得初步彩色融合圖像。

為了進一步突出彩色融合圖像中的目標，提高目標與背景之間的對比度，使人眼能夠快速地識別出目標，考慮到HSI顏色空間符合人眼的視覺觀察系統(tǒng)，采用的熱目標顏色對比度增強方法為：

(1) 將得到的初步彩色融合圖像從 YCbCr空間變換到HSI空間：

(2) 利用熱目標HT分別對初步彩色融合圖像Fc的色調分量H和色飽和度分量S分別進行調整：

式中，E(·)表示求平均值。根據式(8)，若當前像素屬于目標區(qū)域，則其色調調整為當前像素的色調和整幅圖像的平均色調的平均值的補色。式(9)表明若當前像素屬于目標區(qū)域，那么首先需求出該像素點的色飽度和整幅圖像的平均色飽和度之差的絕對值，然后求其絕對值的平均值，利用兩者的比值作為該像素點的色飽和度值。

(3) 利用基于稀疏表示的最優(yōu)化融合算法得到紅外與微光圖像的融合圖像，用來表征彩色融合圖像的I2分量，增加融合圖像的細節(jié)信息。

(4) 將融合圖像在 HSI空間的值(H2，S2，I2)變換回RGB空間，得到最終的彩色融合圖像，變換式如下：

4 實驗結果與分析

為了驗證本文提取熱目標算法的有效性，與幾種典型的圖像分割算法迭代閾值分割[6]、均值漂移[7]、水平集分割[8]做比較。實驗采用荷蘭人力因素研究所(TNO)提供的兩組場景不同的紅外與微光圖像樣本進行仿真實驗，分辨率為360×270。對于非線性擴散的數(shù)值求解采用 AOS[9]，其中正則化因子σ=0.4，擴散函數(shù)采用全變分擴散，時間步長為20，迭代次數(shù)60。

紅外圖像熱目標的提取實驗如圖 1所示。在圖1中，(g)迭代閾值分割結果[6]中熱目標被分割出來，但與熱目標像素值相近的非目標景物也被分割出來了（如山路，部分草叢）；(i)水平集分割[8]與閾值分割結果類似，不但得到熱目標而且還有部分干擾物；(h)均值漂移[7]分割結果較好，但仍不能完全剔除干擾（如亭子中部分物體及場景中一些其他物體）。而利用本文提取熱目標的算法則可以很好地去除場景中的其他（非熱目標）的干擾，取得較好地分割效果，優(yōu)于迭代閾值分割[6]、均值漂移分割[7]和水平集分割[8]方法分割效果。

為了進一步驗證本文彩色融合算法的可行性與有效性，選取文獻[2]、[3]融合算法與本文融合算法作比較，3種融合算法采用同一個參考圖像，實驗結果如圖2所示。文獻[2]融合結果目標與背景顏色相近，致使目標不突出，場景中的一些事物（如近處的草叢變黑）色彩不自然；文獻[3]融合結果中的場景清晰，紅外圖像中的熱目標突出，但該方法是對紅外圖像中所有灰度值偏離平均值的區(qū)域進行對比度增強，場景中亮度較大的值（如亭子的邊緣）也進行對比度增強（變?yōu)榧t色），與場景的實際顏色相背離；而本文融合結果的場景顏色與文獻[2]和[3]相比顏色更接近自然色，視覺效果更舒適，目標與背景的對比度更高。

圖 1 場景1紅外圖像熱目標提取

圖2 場景1彩色融合結果

為在不同場景下驗證本文提取熱目標的可行性和有效性，圖3給出了另一組紅外圖像熱目標提取實驗效果及其彩色融合圖像的實驗效果。從融合效果的視覺效果來看，利用本文彩色融合算法得到的融合圖像目標更突出，場景更清晰(如遠處的山坡，近處的爬坡路)，色彩效果更好。

圖3 場景2熱目標提取和彩色融合效果

5 結 論

根據紅外與微光圖像之間的互補性和冗余性，采用基于稀疏表示的最優(yōu)化融合算法得到一幅灰度融合圖像。依據人眼視覺系統(tǒng)對彩色圖像的高靈敏性，在YCbCr顏色空間采用顏色傳遞理論得到一幅初步彩色融合圖像。為了提高彩色融合圖像的目標探測性，利用迭代閾值分割從灰度融合圖像與微光圖像非線性擴散結果的差值圖像中提取熱目標，在HSI空間利用熱目標和灰度融合圖像對初步彩色融合圖像的H、S、I分量分別進行調整，得到最終彩色融合結果。實驗結果表明，本文算法得到的彩色融合圖像目標與背景對比度高、細節(jié)清晰、色彩較好，提高了人眼對場景的理解和目標的快速識別。

[1] 何衛(wèi)華, 郭永彩, 高 潮, 周東國. 利用 NSCT實現(xiàn)夜視圖像的彩色化增強[J]. 計算機輔助設計與圖形學學報, 2011, 23(5): 884-889.

[2] Toet A. Natural colour mapping for multiband nightvision imagery [J]. Information Fusion, 2003, 4(3): 155-166.

[3] 殷松峰, 曹良才, 楊 華, 譚峭峰, 何慶聲, 凌永順,金國藩. 提高夜視融合目標可探測性的顏色對比度增強方法[J]. 紅外與毫米波學報, 2009, 28(4): 281-284.

[4] Aharon M, Elad M, Bruckstein A. The K-SVD: an algorithm for designing of over complete dictionaries for sparse representation [J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[5] 薛模根, 劉存超, 徐國明, 袁宏武. 基于多尺度字典的紅外與微光圖像融合[J]. 紅外技術, 2013, 35(11): 696-701.

[6] 張 震, 胡洪濤. 基于VC++的迭代閾值分割算法在圖像處理中的應用[J]. 礦山機械, 2008, 36(8): 41-43.

[7] Comaniciu D, Meer P. Mean shift: a robust approach toward feature space analysis [J]. IEEE Trans on Pattern Analysis and Machine Intelligence, 2002, 24(5): 603-619.

[8] Li Chunming, Huang Rui, Ding Zhaohua, Gatenby J C, Metaxas D N, Gore J C. A level set method for image segmentation in the presence of intensity inhomogeneities with application to MRI [J]. IEEE Trans on Image Processing, 2011, 20(7): 2007-2016.

[9] Pietro P, Jitendra M. Scale-space and edge detection using anisotropic diffusion [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12(7): 629-639.

[10] Weickert J, Romeny B H, Viergever M A. Efficient and reliable schemes for nonlinear diffusion filtering [J]. IEEE Transactions on Image Processing, 1998, 7(3): 398-401.

[11] 徐銘蔚, 李郁峰, 陳念年, 張 笙, 熊 平, 唐遵烈.多尺度融合與非線性顏色傳遞的微光與紅外圖像染色[J]. 紅外技術, 2012, 34(12): 722-728.

Night Vision Image Color Fusion Method Using Color Transfer and Contrast Enhancement

Xue Mogen1,2, Liu Cunchao2, Zhou Pucheng1,2
(1. Anhui province Key Laboratory of Polarization Imaging Detection Technology, Hefei Anhui 230031, China; 2. Laboratory of Military Electro & Optical Technology and System, Army Officer Academy of PLA, Hefei Anhui 230031, China)

As the traditional color fusion algorithm based on color transfer has an issue that the hot target is not highlight, a kind of color fusion algorithm of infrared and low-level-light image based on color transfer and contrast enhancement is proposed. This algorithm uses nonlinear diffusion and the iterative threshold segmentation to extract the target image firstly. And then, it adjusts the initial color fusion image obtained by color transfer using thermal target and gray fusion image in the HSI space. Next, the resultant image is transformed back into RGB color space, thus the final fused image is obtained. Experimental results show that, the proposed method has the merit that the fused result is consistent with the habit of human vision perception, and makes the contrast of target region within the cluttered background more outstanding. And then target detectability can be improved by the method.

image fusion; coloring night-vision; color transfer; sparse representation

TN 219

A

2095-302X(2014)06-0864-05

2014-03-17；定稿日期：2014-06-27

安徽省自然科學基金資助項目(1208085QF115)

薛模根(1964-)，男，安徽合肥人，教授，博士，博士生導師。主要研究方向為圖像融合及圖像處理。E-mail：lcc426426@126.com