基于目標(biāo)增強(qiáng)的紅外與可見光圖像融合技術(shù)研究

黃 慧，張寶輝，席 峰，吳旭東

基于目標(biāo)增強(qiáng)的紅外與可見光圖像融合技術(shù)研究

黃 慧1，張寶輝2，席 峰1，吳旭東2

（1. 南京理工大學(xué)電子工程與光電技術(shù)學(xué)院，江蘇 南京 210094；2. 北方夜視科技集團(tuán)有限公司南京研發(fā)中心，江蘇 南京 211106）

針對紅外和可見光圖像融合算法中存在背景模糊和目標(biāo)不清晰等問題，提出一種基于目標(biāo)增強(qiáng)的紅外與可見光圖像融合算法。首先，利用均值濾波的方法獲得透射率的粗估計(jì)，通過圖像統(tǒng)計(jì)信息實(shí)現(xiàn)粗透射率的細(xì)化，依據(jù)大氣散射模型實(shí)現(xiàn)紅外圖像的目標(biāo)增強(qiáng)；然后，對目標(biāo)增強(qiáng)的紅外圖像和可見光圖像采用改進(jìn)的Prewitt算子進(jìn)行邊緣檢測，并將檢測結(jié)果二值化，對邊緣部分采用基于二值信息的融合規(guī)則，對非邊緣部分采用比值加權(quán)分析的融合規(guī)則。實(shí)驗(yàn)結(jié)果表明，采用基于目標(biāo)增強(qiáng)的圖像融合算法不僅能凸顯紅外圖像的目標(biāo)信息，還能盡可能多的保留可見光圖像豐富的細(xì)節(jié)信息，具有更好的視覺效果和更高的客觀質(zhì)量評價(jià)指標(biāo)。

圖像融合；目標(biāo)增強(qiáng)；大氣散射模型；Prewitt算子

0 引言

多源圖像融合是機(jī)器視覺領(lǐng)域的研究熱點(diǎn)，通過對多源圖像的特征分析，按照不同融合規(guī)則進(jìn)行融合，可以得到一幅包含更全面信息的融合圖像[1-2]。紅外和可見光圖像的融合是多源圖像融合中最為常見的一種，紅外圖像是對某一場景中溫度分布的描述，溫度越高對應(yīng)位置的灰度值越高，即使在能見度很低的條件下也能獲得確切的目標(biāo)位置及信息，可見光圖像對光照強(qiáng)度有很強(qiáng)的依賴性，但是其具有紋理細(xì)節(jié)清晰、對比度高的特點(diǎn)，因此將二者進(jìn)行融合是獲得更準(zhǔn)確信息的必要手段[3-4]。

紅外和可見光圖像的融合算法具有多樣性，文獻(xiàn)[5]提出了基于視覺顯著圖的融合算法，在顯著圖提取的過程中，需要參照圖像的物理特征，具有一定的局限性；文獻(xiàn)[6]中的基于HIS變換的融合算法，在光照強(qiáng)度很弱或目標(biāo)不清晰的情況下，融合圖像可能出現(xiàn)背景失真或丟失目標(biāo)信息的現(xiàn)象；文獻(xiàn)[7]對感興趣區(qū)域進(jìn)行檢測并結(jié)合NSCT進(jìn)行圖像融合，由于紅外圖像的分辨率較低，融合圖像的背景細(xì)節(jié)信息被減弱；文獻(xiàn)[8]利用灰色關(guān)聯(lián)理論提取出目標(biāo)，采用替代法將圖像進(jìn)行融合，檢測出的目標(biāo)灰度值達(dá)到最大，容易出現(xiàn)圖像失真、畫面不協(xié)調(diào)等情況，而且僅能檢測出單一的紅外目標(biāo)，有很大的局限性[5-8]。

為改善上述融合圖像質(zhì)量，本文首先將紋理信息少、對比度低的紅外圖像進(jìn)行基于大氣散射模型的目標(biāo)增強(qiáng)，即弱化背景噪聲，提高目標(biāo)的辨識(shí)度；然后對目標(biāo)增強(qiáng)的紅外和可見光圖像采用改進(jìn)的Prewitt算子進(jìn)行邊緣檢測，并將檢測結(jié)果二值化，為了保留源圖像的輪廓、邊緣等細(xì)節(jié)信息，對邊緣部分采用基于二值信息的融合規(guī)則，為了盡可能多地保留可見光圖像的背景細(xì)節(jié)信息和紅外圖像的目標(biāo)信息，對非邊緣部分采用比值加權(quán)分析的融合規(guī)則，最終得到融合后的圖像。實(shí)驗(yàn)結(jié)果表明，本文提出的融合算法優(yōu)于其它算法，目標(biāo)亮度有所提高，背景細(xì)節(jié)特征突出，視覺效果顯著。

1 紅外圖像目標(biāo)增強(qiáng)

紅外成像技術(shù)，是用熱像儀將某一場景內(nèi)物體的溫度分布轉(zhuǎn)變?yōu)槿祟惪梢妶D像的成像技術(shù)，也稱為熱成像技術(shù)。圖1為紅外成像系統(tǒng)示意圖。

目標(biāo)在大氣中傳輸時(shí)，存在明顯的衰減過程。大氣對紅外輻射的衰減能力與消光系數(shù)有關(guān)，可表示為：

紅外熱輻射在大氣中傳輸?shù)目偹p公式為：

()＝exp[－()] (2)

式中：為波長；為紅外輻射的等效路程；為大氣消光系數(shù)。

1975年，McCartney針對可見光圖像的降質(zhì)問題提出了著名的大氣散射模型：

()＝()×()＋[1－()]，()＝exp[－()] (3)

式中：()為待去霧圖像；()為去霧后圖像；()為大氣透射率；表示大氣光強(qiáng)度；為大氣衰減系數(shù)；為圖像空間坐標(biāo)；()為場景到攝像位置的距離；[1－()]表示環(huán)境光。

對比(2)式和(3)式，紅外傳感器在成像過程中受大氣中水分子等的影響而使圖像變得視覺模糊，這與可見光傳感器在成像過程中受大氣散射等影響導(dǎo)致圖片變得灰白不清晰的情況有相似之處，因此可將背景模糊、信噪比低的紅外圖像看作霧化的可見光圖像，對紅外圖像進(jìn)行基于大氣散射模型的目標(biāo)增強(qiáng)。

式(3)中用()表示環(huán)境光項(xiàng)，即有：

()＝[1－()] (4)

可得出透射率()：

那么紅外目標(biāo)增強(qiáng)圖像()：

針對大氣光的估計(jì)，He等[10]提出了基于暗通道理論的環(huán)境光值的取值方法，但是紅外圖像不存在暗通道，那么可以統(tǒng)計(jì)源圖像灰度級前1%的點(diǎn)，將這些像素點(diǎn)取平均值作為的值。

由式(3)可知：

()≥[1－()] (7)

則透射率()與觀測圖像()關(guān)系：

對()進(jìn)行×均值濾波得到aver()為：

aver()＝avg×[()] (9)

透射率估計(jì)可表示為：

式中：為景深調(diào)整量，?[0,1]。本文提出一種自適應(yīng)確定的方法：分別統(tǒng)計(jì)灰度級小于強(qiáng)度正常閾值的像素點(diǎn)個(gè)數(shù)N和灰度級小于圖像灰度均值的像素點(diǎn)數(shù)Mean，由N和Mean比值來估計(jì)的值，設(shè)置為：

經(jīng)研究發(fā)現(xiàn)，式(11)中的閾值可由如下公式獲得：

＝Mean＋×max(12)

式中：Mean為紅外圖像所有像素點(diǎn)的均值；max為紅外圖像所有像素點(diǎn)中最大值；根據(jù)實(shí)際情況取值，本文研究算法中取0.015。

透射率較大時(shí)，會(huì)導(dǎo)致圖像整體太暗，為確保紅外圖像紋理清晰可見，需要對的下限進(jìn)行設(shè)置，研究發(fā)現(xiàn)，下限設(shè)置為0.35效果最好，即：

聯(lián)立式(10)、(13)可知透射率為：

則環(huán)境光可表示為：

聯(lián)立式(6)、(9)、(15)即可求出紅外圖像的目標(biāo)增強(qiáng)后的圖像()。

2 圖像融合

可見光圖像具有背景細(xì)節(jié)突出、視覺效果好等優(yōu)點(diǎn)，進(jìn)行圖像融合時(shí)對融合圖像的背景信息貢獻(xiàn)很大，然而在光照強(qiáng)度很弱或目標(biāo)不清晰的情況下，傳統(tǒng)融合方法得到的融合圖像可能出現(xiàn)背景失真或丟失目標(biāo)信息的現(xiàn)象，而紅外圖像是對溫度分布的描述，可以確切地顯示目標(biāo)的位置和信息。為了使融合圖像既能凸顯目標(biāo)特征又能擁有豐富的背景信息，本文設(shè)計(jì)了基于目標(biāo)增強(qiáng)和邊緣檢測算子的融合方法。

圖1 紅外成像系統(tǒng)示意圖

對目標(biāo)增強(qiáng)的紅外圖像和可見光圖像分別進(jìn)行梯度運(yùn)算[11]，選取3×3的區(qū)域像素，采用Prewitt算子計(jì)算兩幅圖像中各點(diǎn)的梯度值。對于某一像素點(diǎn)(,)，(,)為圖像中像素點(diǎn)的坐標(biāo)。Prewitt算子的水平方向灰度新值G和垂直方向灰度新值G為：

選用(,)＝max{G,G}作為圖像的梯度幅值。選擇適當(dāng)?shù)拈撝担槌?shù)，本文中取值為0.06），若(,)≥，則(,)為邊緣點(diǎn)，此時(shí)邊緣圖像中(,)設(shè)置為邏輯1，否則，(,)不是邊緣點(diǎn)，邊緣圖像中(,)設(shè)置為邏輯0。水平和垂直方向模板如圖2所示。

圖2 Prewitt 算子

假設(shè)紅外圖像和可見光圖像各點(diǎn)的灰度值分別為IR(,)和VI(,)，運(yùn)用Prewitt算子計(jì)算得到各點(diǎn)的梯度值分別為IR(,)和VI(,)，當(dāng)(,)＝1時(shí)，則認(rèn)為此處灰度值存在突變，含有較高的信息量，當(dāng)(,)＝0，表示此處不是圖像的邊緣、邊界或亮度的突變部分?；诖耍疚脑O(shè)計(jì)的融合思想為：若IR(,)＝0、VI(,)＝1，說明可見光在此處有較高的信息量，保留可見光圖像在相應(yīng)位置的灰度值；若IR(,)＝1、VI(,)＝0，保留紅外圖像在相應(yīng)位置的灰度值；若IR(,)＝1、VI(,)＝1，選擇兩幅圖像在相應(yīng)位置的較大灰度值；若IR(,)＝0、VI(,)＝0，為了確保圖像的不失真以及獲取更多的信息量，運(yùn)用加權(quán)的方法進(jìn)行融合。

綜上所述，紅外和可見光圖像融合規(guī)則可表示為：

式中：fusion(,)表示融合圖像fusion在點(diǎn)(,)處的灰度值。

3 實(shí)驗(yàn)結(jié)果分析與評價(jià)

本文選取了兩組不同場景的圖像對本文融合算法進(jìn)行驗(yàn)證（圖3、圖4）。為了說明本文算法相比于傳統(tǒng)算法的優(yōu)越性，選取了加權(quán)平均算法（Average method）、拉普拉斯金字塔算法（Laplacian Pyramid）、低通比率金字塔算法（Ratio Pyramid）、Harr小波變換算法（DWT with Harr）、形態(tài)學(xué)金字塔算法（Morphology Pyramid）與本文算法進(jìn)行對比分析。

對比分析圖3、圖4中的融合結(jié)果，加權(quán)平均、拉普拉斯金字塔、Harr小波變換3種方法得到的融合圖像紋理信息減少、目標(biāo)亮度明顯下降；運(yùn)用低通比率金字塔融合后的圖像出現(xiàn)了失真，目標(biāo)模糊不清，樹木叢等出現(xiàn)了很多亮點(diǎn)，干擾人類視線；形態(tài)學(xué)金字塔的融合方法使得圖像的背景信息出現(xiàn)了偽跡，目標(biāo)也出現(xiàn)了很強(qiáng)的偽影，不利于人眼觀察；本文算法得到的融合圖像中的目標(biāo)突出，而且背景細(xì)節(jié)信息與源圖像相關(guān)性大，視覺效果顯著。

為了體現(xiàn)本文算法的適用性，選取其他兩組不同場景的圖像進(jìn)行融合，如圖5所示，由融合圖像可以看出，本文算法融合效果好，適用性強(qiáng)。

為了客觀評價(jià)融合圖像的性能，本文采用了信息熵（information entropy，IE）、空間頻率（spatial frequency，SF）、相關(guān)系數(shù)（correlation coefficient，CC）、互信息（mutual information，MI）、交叉熵（cross entropy，CE）來評價(jià)圖像融合質(zhì)量。對圖3、圖4的融合評價(jià)結(jié)果如表1、表2所示。

圖3 第一組圖像不同算法融合結(jié)果對比

圖4 第二組圖像不同算法融合結(jié)果對比

圖5 本文算法運(yùn)用于其他場景的融合結(jié)果

表1 圖3中各融合算法的客觀評價(jià)結(jié)果

表2 圖4中各融合算法的客觀評價(jià)結(jié)果

從表1、表2數(shù)據(jù)來看，本文算法在信息熵、空間頻率、相關(guān)系數(shù)、互信息量的數(shù)值整體上大于其他算法，說明采用本文算法得到的融合圖像具有質(zhì)量好、畫質(zhì)清晰、與源圖像相關(guān)性大等優(yōu)點(diǎn)，而交叉熵的指標(biāo)相比于傳統(tǒng)融合方法較低，說明融合圖像與源圖像之間的差別小、相似度高。整體而言，本文算法對于紅外和可見光圖像的融合是相當(dāng)有效的，融合圖像既能凸顯目標(biāo)特征又能擁有豐富的背景信息。

4 結(jié)論

本文首先對紅外圖像進(jìn)行目標(biāo)增強(qiáng)，然后采用改進(jìn)的Prewitt算子對目標(biāo)增強(qiáng)的紅外和可見光圖像進(jìn)行邊緣檢測，并將檢測結(jié)果二值化，對邊緣部分采用基于二值信息的融合規(guī)則，對非邊緣部分采用比值加權(quán)分析的融合規(guī)則，最終得到融合后的圖像。根據(jù)實(shí)驗(yàn)對比分析，采用本文方法對不同場景的紅外和可見光圖像進(jìn)行融合，得到的融合圖像中目標(biāo)信息主要來源于紅外圖像，相比于其他算法，目標(biāo)亮度有所提高，視覺效果顯著；融合圖像的背景信息大部分來自于可見光圖像，邊緣、輪廓及像素的亮度突變部分信息得到保留，對比度高，細(xì)節(jié)特征突出。客觀評價(jià)指標(biāo)也表明，該算法整體上優(yōu)于其他算法，穩(wěn)定性好，具有一定的應(yīng)用價(jià)值。

[1] 陳天明, 王俊琦, 張星祥, 等. 基于特征提取的紅外與可見光圖像融合[J]. 激光與紅外, 2016, 46(3): 357-362.

CHEN Tianming, WANG Junji, ZHANG Xingxiang, et al. Fusion of infrared and visible image based on feature extraction[J]., 2016, 46(3): 357-362.

[2] LUO X, ZHANG J, DAI Q. A regional image fusion based on similarity characteristics[J]., 2012, 92(5): 1268-1280.

[3] 華瑋平, 趙巨峰, 李夢, 等. 基于視覺顯著性的紅外與可見光圖像融合[J]. 光學(xué)儀器, 2016, 38(4): 303-307.

HUA Weiping, ZHAO Jufeng, LI Meng, et al. Dual-band image fusion for infrared and visible image based on image saliency[J]., 2016, 38(4): 303-307.

[4] 林玉池, 周欣, 宋樂, 等. 基于NSCT變換的紅外與可見光圖像融合技術(shù)研究[J]. 傳感器與微系統(tǒng), 2008, 27(12): 45-47.

LIN Yuchi, ZHOU Xin, SONG Le, et al. Infrared and visible image fusion technology based on non-subsampled contourlet transform[J]., 2008, 27(12): 45-47.

[5] 王曉文, 趙宗貴, 龐秀梅, 等. 基于視覺顯著圖的圖像融合方法[J]. 吉林大學(xué)學(xué)報(bào): 工學(xué)版, 2014, 44(4): 1203-1208.

WANG Xiaowen, ZHAO Zonggui, PANG Xiumei, et al. Image fusion method based on visible saliency maps[J].:, 2014, 44(4): 1203-1208.

[6] TU Te Ming, SU Shun Chi, Shyu Hsuen Chyun, et al. A new look at HIS-like image fusion method[J]., 2001, 2(3): 177-186.

[7] LIU H X, ZHU T H, ZHAO J J. Infrared and visible image fusion based on region of interest detection and non-subsampled contourlet transform[J].:, 2013, 18(5): 526-534.

[8] 王春華, 馬國超, 馬苗, 等. 基于目標(biāo)提取的紅外與可見光圖像融合方法[J]. 計(jì)算機(jī)工程, 2010, 36(2): 197-200.

WANG Chunhua, MA Guochao, MA Miao, et al. Fusion algorithm for infrared and visible light image based on objective extraction[J]., 2010, 36(2): 197-200.

[9] 周國輝, 劉湘?zhèn)? 徐記偉. 一種計(jì)算紅外輻射大氣透過率的數(shù)學(xué)模型[J]. 紅外技術(shù), 2008, 30(6): 331-334.

ZHOU Guohui, LIU Xiangwei, XU Jiwei. A math model of calculate the atmospheric transmittance of infrared radiation[J]., 2008, 30(6): 331-334.

[10] HE K, SUN J, TANG X. Single image haze removal using dark channel prior[C]// 2013, 2009: 1956-1963.

[11] 陳偉斌, 牛犇, 顧宏斌. 基于加權(quán)的可見光與紅外圖像融合算法[J]. 航空計(jì)算技術(shù), 2016, 46(5): 73-76.

CHEN Weibin, NIU Ben, GU Hongbin. Fusion algorithm of infrared and visible images based on weighting[J]., 2016, 46(5): 73-76.

Image Fusion Technique Based on Target-Enhancement

HUANG Hui1，ZHANG Baohui2，XI Feng1，WU Xudong2

(1.,,210094,; 2.,-.,,211106,)

To resolve the issue of blurred backgrounds and fuzzy targets in using the infrared and visible image fusion algorithm, this paper proposes a new method for image fusion based on target-enhancement. First, average filtering is used to obtain rough estimation of the transmission rate, which is refined by calculating the images’ statistical information. Further, a final target-enhanced infrared image is obtained using the atmospheric scattering model. Then, the edge of the target-enhanced infrared image and the visible image is detected and binarized using the improved Prewitt operator. The fusion rule based on binary information is used for the edge part, and the fusion rule based on the ratio weighting analysis is used for the non-edge part. Experimental results show that the image fusion algorithm based on target-enhancement not only highlights the target information of an infrared image, but also retains the detailed information of the visible image as much as possible. Additionally, the fused image has better visual effects and higher objective quality evaluation indexes.

image fusion，target enhancement，atmospheric scattering model，prewitt operator

TP391

A

1001-8891(2017)10-0908-06

2017-06-30；

2017-08-07.

黃慧（1991-），江蘇連云港人，女，碩士，主要從事圖像處理方面的研究。E-mail：hh_shine11@163.com。