紅外與微光融合圖像的多尺度色彩傳遞算法

譙涵丹，富容國(guó)，王貴圓

?

紅外與微光融合圖像的多尺度色彩傳遞算法

譙涵丹，富容國(guó)，王貴圓

（南京理工大學(xué) 近程高速目標(biāo)探測(cè)技術(shù)國(guó)防重點(diǎn)學(xué)科實(shí)驗(yàn)室，江蘇 南京 210094）

針對(duì)紅外與微光的灰度融合圖像不利于人眼觀察的問題，提出了一種在YCbCr顏色空間的基于多尺度多分辨率分析的色彩傳遞算法，幫助觀察者獲取豐富的場(chǎng)景信息和舒適的觀察效果。該算法首先在Y通道將紅外和微光圖像進(jìn)行灰度融合；然后將灰度融合圖像和彩色參考圖像的Y分量做拉普拉斯金字塔分解，比較其金字塔各層系數(shù)差異，綜合各層系數(shù)差異找出最佳匹配點(diǎn)；最后將參考圖像中最佳匹配點(diǎn)的Cb和Cr值傳輸?shù)交叶热诤蠄D像中，生成最終的具有自然色彩的融合圖像。實(shí)驗(yàn)結(jié)果表明，本文方法生成的彩色融合圖像接近自然真實(shí)的顏色，有利于人眼對(duì)目標(biāo)的觀察與場(chǎng)景的理解。

色彩傳遞；圖像融合；紅外圖像；微光圖像；YCbCr顏色空間

0 引言

紅外熱像儀和微光夜視儀獲取的紅外與微光圖像具有互補(bǔ)性，將紅外與微光圖像融合可以綜合紅外熱像儀的熱目標(biāo)探測(cè)能力和微光CCD的場(chǎng)景觀察能力[1]。研究表明，人眼對(duì)色彩的敏感度要遠(yuǎn)遠(yuǎn)高于亮度的敏感度，相比于灰度融合圖像，彩色圖像能夠提供豐富的色彩信息[2]。因此，彩色融合圖像更利于人眼對(duì)目標(biāo)的觀察與場(chǎng)景的理解。

圖像間色彩傳遞是近幾年計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺領(lǐng)域內(nèi)的研究熱點(diǎn)之一，觀察者能從顏色的區(qū)別上更容易地判斷目標(biāo)特征，快速理解場(chǎng)景[3-7]。目前，國(guó)內(nèi)外文獻(xiàn)中色彩傳遞方法可以總結(jié)為兩大類，第一類是全局傳遞[8-11]：在參考圖像和目標(biāo)圖像之間做顏色整體信息的傳遞，根據(jù)參考圖像的色彩的統(tǒng)計(jì)特性對(duì)目標(biāo)圖像的色彩進(jìn)行調(diào)整，使之與前者相一致，從而獲得相似色彩。此類算法比較適合色彩分布單調(diào)的圖像，對(duì)于色彩較為豐富的圖像，其色彩傳遞的結(jié)構(gòu)層次感較弱，難以突出色彩細(xì)節(jié)。第二類是點(diǎn)對(duì)點(diǎn)傳遞[12]：將參考圖像和目標(biāo)圖像的像素進(jìn)行點(diǎn)匹配運(yùn)算，在匹配的像素點(diǎn)之間實(shí)現(xiàn)點(diǎn)對(duì)點(diǎn)的色彩傳遞。此類算法需要尋找評(píng)價(jià)像素點(diǎn)特性的指標(biāo)，如果指標(biāo)選取不恰當(dāng)，難以準(zhǔn)確描述像素特征，容易造成像素點(diǎn)的誤匹配，使得色彩傳遞的效果不佳。

針對(duì)以上問題，本文提出一種在YCbCr空間的基于多分辨分析的夜視圖像色彩傳遞方法，將白天自然光下彩色圖像的色彩特征參數(shù)傳遞于夜視融合圖像中。首先在Y通道對(duì)紅外和微光圖像進(jìn)行融合，將融合圖像根據(jù)參考圖像做灰度處理；然后將處理后的融合圖像和參考圖像的拉普拉斯金字塔各層做差異比較，根據(jù)一定規(guī)則尋找最優(yōu)匹配點(diǎn)；最后根據(jù)把參考圖像中匹配點(diǎn)的Cb和Cr值傳輸?shù)交叶热诤蠄D像中的對(duì)應(yīng)像素點(diǎn)中。

1 灰度融合圖像的色彩傳遞

文中提出的夜視融合圖像的色彩傳遞算法是在YCbCr顏色空間進(jìn)行的。首先對(duì)紅外與微光圖像進(jìn)行拉普拉斯金字塔融合，得到灰度融合圖像作為彩色融合圖像的Y通道分量；將灰度融合圖像整體灰度均值和方差根據(jù)參考圖像進(jìn)行調(diào)整，調(diào)整后灰度融合圖像的均值和方差與彩色參考圖像一致。然后將灰度融合圖像與參考圖像金字塔做系數(shù)差異匹配，尋找差異值最小的點(diǎn)，記錄該點(diǎn)的坐標(biāo)信息，最后將參考圖像中該點(diǎn)的顏色信息即Cb和Cr分量傳遞給原灰度融合圖像中對(duì)應(yīng)的點(diǎn)。本文算法的原理框圖如圖1所示。

1.1 紅外與微光圖像的灰度融合

對(duì)紅外和微光圖像的Y分量分別做2次金字塔分解，進(jìn)行拉普拉斯金字塔融合。設(shè)紅外與微光圖像分別為IR和LL，融合結(jié)果為，IR和LL分別為紅外與微光圖像拉普拉斯金字塔的第層圖像，O是第層圖像融合結(jié)果，其中＝1，2，3。對(duì)金字塔1、2層采用區(qū)域能量法進(jìn)行融合，其中(,)為3×3的卷積窗口，局部能量表示為：

第1層和第2層圖像融合結(jié)果為：

對(duì)于第3層即頂層圖像的融合，本文采用基于閾值分割的目標(biāo)提取融合法。紅外圖像中目標(biāo)一般很亮，而背景很暗，設(shè)定一個(gè)閾值，當(dāng)灰度值大于閾值時(shí)，可判定其為目標(biāo)；反之，則判定該像素點(diǎn)為背景。

在金字塔頂層，取紅外圖像的目標(biāo)和微光圖像背景作為頂層融合結(jié)果：

在得到金字塔各個(gè)層次的融合圖像1、2、3后，重構(gòu)得到最終的融合圖像。

1.2 基于多分辨率分解的系數(shù)差異匹配

如圖2(a)和(b)所示，原始灰度融合圖像和參考圖像的整體亮度和對(duì)比度存在差異，為了能夠準(zhǔn)確地傳遞色彩，尋找最精確的匹配點(diǎn)，將兩幅的亮度和對(duì)比度調(diào)節(jié)一致，所以在Y通道里根據(jù)參考圖像對(duì)灰度融合圖像進(jìn)行調(diào)節(jié)，調(diào)節(jié)后的圖像如圖2(c)所示?；叶日{(diào)節(jié)公式為：

式中：和￠分別為拉伸前后灰度融合圖像；o和s為融合圖像與參考圖像的均值；o和s為融合圖像與參考圖像的方差。

基于點(diǎn)匹配的色彩傳遞算法是根據(jù)兩幅圖像中場(chǎng)景的某些特征進(jìn)行匹配，在選取特征的時(shí)候，應(yīng)盡可能地使選取的特征包含足夠的圖像信息。拉普拉斯金字塔各層系數(shù)代表了圖像在不同尺度不同分辨率下的特征，反映了圖像的頻率特性。圖像中不同目標(biāo)區(qū)域的亮度、形狀和紋理的差異，使其相應(yīng)的拉普拉斯金字塔各層系數(shù)也存在差異，因此可以通過比較各層系數(shù)區(qū)分不同目標(biāo)。文中選取了道路、樹木和墻壁作為典型目標(biāo)區(qū)域進(jìn)行系數(shù)比較，分別用方框標(biāo)記，如圖2所示。

圖2 圖像中的不同目標(biāo)區(qū)域

對(duì)拉伸后的融合圖像和參考圖像分別做拉普拉斯金字塔分解，比較融合圖像和參考圖像不同目標(biāo)區(qū)域在拉普拉斯金字塔各層上的系數(shù)差異。金字塔頂層是原始圖像的低通縮略圖，計(jì)算其區(qū)域均值可反映圖像相應(yīng)區(qū)域的亮度信息；金字塔底層和中間層是圖像高頻系數(shù)，存在正負(fù)值，其值的大小和波動(dòng)反映圖像相應(yīng)區(qū)域的細(xì)節(jié)紋理特征。因此選取金字塔頂層系數(shù)的區(qū)域均值，底層和中間層系數(shù)的區(qū)域絕對(duì)值的均值和標(biāo)準(zhǔn)差，作為系數(shù)特征進(jìn)行比較。每個(gè)目標(biāo)選取兩個(gè)不同區(qū)域，各層系數(shù)特性如表1和表2所示。

表中Abs1和Abs2表示金字塔第1層與第2層系數(shù)絕對(duì)值的均值，Std1和Std2表示金字塔第1層與第2層系數(shù)標(biāo)準(zhǔn)差，Mean3表示金字塔頂層系數(shù)均值。

（1）驗(yàn)證本次交易是否是可支付的。比特幣的所有交易記錄提供了比特幣UTXO查詢，只有當(dāng)本次交易的UTXO對(duì)應(yīng)的金額大于或等于收款金額時(shí)，該筆交易才是可支付的。

根據(jù)表1和表2可知，兩幅圖像中的樹木細(xì)節(jié)豐富，明暗變化快，其高頻系數(shù)絕對(duì)值均值和標(biāo)準(zhǔn)差相比道路與墻壁較大，兩幅圖的各層相應(yīng)區(qū)域系數(shù)特征值比較接近；兩幅圖像道路的各層系數(shù)特征值變化范圍相近；墻面比較光滑，兩幅圖像的墻面系數(shù)標(biāo)準(zhǔn)差相比樹木與道路都較小，墻面亮度較高，頂層系數(shù)均值也相應(yīng)較高，兩幅圖像墻面的各層系數(shù)特征值較為接近。由此可以看出不同圖像中的不同目標(biāo)區(qū)域系數(shù)特征值差異較大，相似目標(biāo)區(qū)域的系數(shù)特征值存在一定相似性，故可以選取圖像的拉普拉斯金字塔分解系數(shù)作為色彩傳遞匹配特征。

表1 參考圖像不同目標(biāo)區(qū)域系數(shù)值

表2 灰度調(diào)整后融合圖像系數(shù)值

文中系數(shù)特征匹配的思路是：在Y空間對(duì)灰度融合圖像和參考圖像做系數(shù)差異匹配。拉普拉斯金字塔的生成經(jīng)歷了高斯低通濾波和隔行隔列降2采樣，當(dāng)前層圖像的大小依次為上一層圖像大小的1/4，故融合圖像金字塔底層中的某一個(gè)點(diǎn)(,)，依次對(duì)應(yīng)其第二層金字塔的(/2,/2)點(diǎn)和頂層的 (/4,/4)點(diǎn)；該點(diǎn)(,)系數(shù)遍歷參考圖像金字塔底層，與其做差異匹配；(,)在灰度融合圖像第二層金字塔中的對(duì)應(yīng)點(diǎn)(/2,/2)的系數(shù)遍歷參考圖像第二層金字塔系數(shù)做差異匹配，依此類推，直到頂層做完系數(shù)匹配；最后將三層金字塔的差異系數(shù)對(duì)應(yīng)相加，得到灰度融合圖像中的點(diǎn)(,)與參考圖像在不同尺度不同分辨率下的差異總和。系數(shù)匹配如公式(5)和(6)所示：

式中：和￠分別為參考圖像和拉伸后的灰度融合圖像；s、s為參考圖像的行數(shù)和列數(shù)；/2，/2，/4，/4，/2，/2，/4，/4均為不大于自身的最大整數(shù)。

得到對(duì)應(yīng)層的差異匹配系數(shù)后，將各層差異系數(shù)對(duì)應(yīng)相加，就得到參考圖像和灰度融合圖像在不同層次不同分辨率上的總體差異：

式中：/2，/2，/4，/4均為不大于自身的最大整數(shù)。

1.3 色彩傳遞

公式(6)生成的差異值代表了融合圖像中的某個(gè)點(diǎn)與參考圖像中各點(diǎn)在不同層次不同分辨率上的總差異，找到最小值點(diǎn)記為min(,)，記錄該點(diǎn)的坐標(biāo)信息，將該點(diǎn)在參考圖像中對(duì)應(yīng)點(diǎn)的Cb和Cr顏色分量傳遞給灰度融合圖像中的對(duì)應(yīng)點(diǎn)；利用灰度拉伸后的融合圖像做系數(shù)差異匹配是為了減小匹配誤差，使色彩傳遞更精準(zhǔn)，但為了保持融合圖像的原始灰度特征，Y通道的亮度分量保持原灰度融合圖像中的Y分量保持不變。對(duì)于出現(xiàn)多個(gè)最佳匹配點(diǎn)的情況，本文將所有最佳匹配點(diǎn)的色度分量Cb和Cr取平均，用均值進(jìn)行色彩傳遞。傳遞公式如下：

2 算法評(píng)價(jià)與實(shí)驗(yàn)結(jié)果

2.1 彩色融合圖像評(píng)價(jià)方法

本文在HSI顏色空間對(duì)彩色融合圖像進(jìn)行評(píng)價(jià)，采用基于色調(diào)紋理和色調(diào)信息量的彩色融合圖像評(píng)價(jià)準(zhǔn)則：

1）色調(diào)分量平均梯度

式中：(,)表示點(diǎn)(,)的色調(diào)值。平均梯度反映了圖像中的紋理變化特征和微小細(xì)節(jié)反差，故彩色融合圖像中色調(diào)的平均梯度可反應(yīng)圖像的色彩紋理變化，圖像的色調(diào)平均梯度越大，圖像的色彩層次越豐富，色彩傳遞效果越好。

2）色調(diào)分量信息熵

式中：表示彩色融合圖像色調(diào)的熵；為圖像的色調(diào)級(jí)總數(shù)；P為色調(diào)值為的像素所占比例。熵反應(yīng)了圖像所含信息量的多少，故可認(rèn)為圖像的色調(diào)信息熵反應(yīng)了彩色融合圖像色彩的豐富程度，圖像的色調(diào)信息熵越大，所含色彩信息越豐富，色彩傳遞效果越好。

2.2 實(shí)驗(yàn)結(jié)果與分析

為了驗(yàn)證文中算法有效性，我們?cè)贛ATLAB上進(jìn)行了對(duì)比仿真實(shí)驗(yàn)，將本文算法與文獻(xiàn)[8]全局傳遞算法、文獻(xiàn)[11]YUV空間的全局傳遞算法以及文獻(xiàn)[12]點(diǎn)匹配傳遞算法進(jìn)行對(duì)比分析，圖3和圖4是兩組實(shí)驗(yàn)結(jié)果。

從表3中可以看出，本文算法與其他3種算法相比，獲得的色調(diào)平均梯度值較高，說明本文算法獲得的彩色圖像有較好的彩色紋理；文獻(xiàn)[8]和文獻(xiàn)[11]獲得的信息熵較高，但結(jié)合實(shí)驗(yàn)效果圖，圖3(e)的得到的彩色圖像不符合人眼視覺特性，圖3(f)目標(biāo)不明顯，已淹沒在背景中；從圖像效果上看，圖3(g)在目標(biāo)探測(cè)性和色彩傳遞效果上優(yōu)于圖3(e)和圖3(f)。與圖3(g)相比，本文算法得到的彩色圖像目標(biāo)更突出，顏色更鮮艷，更有利于人眼的觀察。

從表4可以看出，與其他3種算法相比，本文算法的色調(diào)平均梯度和信息熵均有較好表現(xiàn)，說明本文算法得到的彩色圖像有良好的色彩紋理和豐富的圖像色彩。結(jié)合圖4的實(shí)驗(yàn)效果，圖4(e)傳色效果不自然，且道路和草叢的顏色沒區(qū)分開；圖4(f)傳色效果優(yōu)于圖4(e)，但目標(biāo)不突出，草叢和樹木的顏色相近，不易區(qū)分；圖4(g)圖像模糊，草叢與樹木的顏色未區(qū)分開。與上述3幅圖像相比，本文算法得到的彩色圖像傳色自然，符合人眼視覺特性，道路、草叢和樹木有不同顏色，景物區(qū)分度高，且目標(biāo)突出，有利于觀察者對(duì)場(chǎng)景的理解和目標(biāo)的識(shí)別。

表3 第一組實(shí)驗(yàn)結(jié)果質(zhì)量評(píng)價(jià)

表4 第二組實(shí)驗(yàn)結(jié)果質(zhì)量評(píng)價(jià)

3 結(jié)論

針對(duì)紅外與微光灰度融合圖像不利于人眼觀察的不足，本文提出了一種在YCbCr空間的基于多尺度多分辨分析的紅外與微光融合圖像色彩傳遞算法。該算法是一種點(diǎn)匹配色彩傳遞方法，能夠繼承彩色參考圖像的原始色彩信息，并且該算法采用多尺度多分辨分析的方法，考慮了不同目標(biāo)區(qū)域在拉普拉斯金字塔不同層次上的系數(shù)特性，綜合利用拉普拉斯金字塔各層系數(shù)作為匹配準(zhǔn)則，使得像素點(diǎn)的匹配更加準(zhǔn)確，從而保證了色彩傳遞的準(zhǔn)確性。實(shí)驗(yàn)結(jié)果證明，文中算法可以得到符合人眼視覺特性的彩色夜視圖像，彩色融合圖像更利于觀察者對(duì)目標(biāo)的觀察和場(chǎng)景的理解。

[1] 宋敏, 張蓉竹, 孫年春. 基于紅外與微光融合圖像的夜視儀設(shè)計(jì)[J]. 紅外技術(shù), 2014, 36(11): 885-889.

SONG Min, ZHANG Rongzhu, SUN Nianchun. Design of a night vision system based on infrared and low light level imaging sensor technology[J]., 2014, 36(11): 885-889.

[2] LAND E H. Recent advances in Retinex theory[J]., 1986, 26(1): 7-21.

[3] 朱黎博, 孫韶媛, 谷小婧. 基于色彩傳遞與擴(kuò)展的圖像著色算法[J]. 中國(guó)圖象圖形學(xué)報(bào), 2010, 15(2): 200-205.

ZHU Libo, SUN Shaoyuan, GU Xiaojing. Image colorization based on color transfer and propagation[J]., 2010, 15(2): 200-205.

[4] 何永強(qiáng), 王群, 王國(guó)培, 等. 基于融合和色彩傳遞的灰度圖像彩色化技術(shù)[J]. 紅外技術(shù), 2012, 34(5): 276-279.

HE Yongqiang, WANG Qun, WANG Guope. Gray image colorization based on fusion and color transfer[J]., 2012, 34(5): 276-279.

[5] 徐銘蔚, 李郁峰, 陳念年, 等. 多尺度融合與非線性顏色傳遞的微光與紅外圖像染色[J]. 紅外技術(shù), 2012, 34(12): 722-728.

XU Mingwei, LI Yufeng, CHEN Niannian. Coloration of the low light level and infrared image using multi-scale fusion and nonlinear color transfer technique[J]., 2012, 34(12): 722-728.

[6] 陳小娥. 兩種色彩傳遞算法適用情況研究[J]. 計(jì)算機(jī)應(yīng)用與軟件, 2011, 28(9): 251-254.

CHEN Xiaoe. Study on applicable conditions of two color transfer algorithms[J]., 2011, 28(9): 251-254.

[7] 許廷發(fā), 李俊濤, 張一舟. 真彩色傳遞雙波段圖像融合[J]. 中國(guó)光學(xué), 2014, 7(3): 402-407.

XU Tingfa, LI Juntao, ZHANG Yizhou.True color transfer for dual band image fusion[J]., 2014, 7(3): 402-407.

[8] Toet A. Natural color mapping for multiband vision imagery[J]., 2003, 4(1): 155-166.

[9] 王鵬宇. 基于小波和色彩傳遞夜視圖像彩色融合算法研究[J]. 電子器件, 2014, 37(1): 143-145.

WANG Pengyu.Pass the color of night vision image fusion algorithm based on wavelet and color[J]., 2014, 37(1): 143-145.

[10] 楊靜, 陳昭炯. 不同顏色空間中全局色彩傳遞算法的分析研究[J]. 計(jì)算機(jī)工程與應(yīng)用, 2007, 43(25): 80-83.

YANG Jing, CHEN Zhaojiong. Analysis and research of globally matching color transfer algorithms in different color spaces[J]., 2007, 43(25): 80-83.

[11] 史世明, 王嶺雪, 金偉其. 基于YUV空間色彩傳遞的可見光/熱成像雙通道彩色成像系統(tǒng)[J].兵工學(xué)報(bào), 2009, 30(1): 30-35.

SHI Shiming, WANG Lingxue, JIN Weiqi. A dual-band color imaging system for visible and thermal IR images based on color transfer in YUV color space[J].II, 2009, 30(1): 30-35.

[12] WELSH T, ASHIKHMIN M, MUELLER K. Transferring color to grayscale images[J]., 2002, 21(3): 277-280.

Multi-resolution Color Transfer Algorithm for FusionImage of Infrared and Low-level light

QIAO Handan，F(xiàn)U Rongguo，WANG Guiyuan

(,,210094,)

In order to convert the fusion image of infrared and low-level light images into color image which accords with human visual perception, and helps observers to get rich scene information and comfortable visual effect, a color transfer algorithm based on multi-scale and multi-distinguishability in CbCrcolor space was proposed. Firstly, infrared and low-level light images were fused in Y channel. Then, the laplace pyramid decomposition was done with the gray fusion image and the reference image. The best matching point was located by comparing the coefficients of each pyramid layer of both images and finding the minimum difference value point. Finally, the Cband Crcomponents of the best matching point in reference image were transferred into gray fusion image to get the final fusion image with natural color effects. The experimental result shows that the color-transferred image has a natural color perception to human eyes, which benefits for the human eye observation of the target and understanding of the scene.

color transfer，image fusion，infrared image，low-level light image，YCbCrcolor space

TP391

A

1001-8891(2016)02-0157-06

2015-11-04；

2015-12-16.

譙涵丹（1990-），女，碩士生，主要從事圖像處理方面研究。E-mail：qhd79937@163.com。

富容國(guó)（1970-），男，副教授，碩士生導(dǎo)師，主要從事紅外與微光探測(cè)技術(shù)研究。E-mail：frguo@njust.edu.cn。

江蘇省產(chǎn)學(xué)研聯(lián)合創(chuàng)新資金（BY2012024），中國(guó)兵器工業(yè)集團(tuán)預(yù)研項(xiàng)目。