熱紅外與可見光圖像融合算法研究*

李海超，李成龍，湯　進(jìn),2，羅　斌,2+

1.安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥2306012.安徽省工業(yè)圖像處理與分析重點(diǎn)實(shí)驗(yàn)室，合肥230039

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2016/10(03)-0407-07

?

熱紅外與可見光圖像融合算法研究*

李海超1，李成龍1，湯進(jìn)1,2，羅斌1,2+

1.安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院，合肥230601
2.安徽省工業(yè)圖像處理與分析重點(diǎn)實(shí)驗(yàn)室，合肥230039

ISSN 1673-9418 CODEN JKYTA8

Journal of Frontiers of Computer Science and Technology 1673-9418/2016/10(03)-0407-07

E-mail: fcst@vip.163.com

http://www.ceaj.org

Tel: +86-10-89056056

* The National Natural Science Foundation of China under Grant No. 61472002 (國家自然科學(xué)基金); the National High Technology Research and Development Program of China under Grant No. 2014AA015104 (國家高技術(shù)研究發(fā)展計(jì)劃(863計(jì)劃)); the National Science and Technology Supporting Program of China under Grant No. 2012BAH95F01 (國家科技支撐計(jì)劃).

Received 2015-05,Accepted 2015-07.

CNKI網(wǎng)絡(luò)優(yōu)先出版: 2015-08-11, http://www.cnki.net/kcms/detail/11.5602.TP.20150811.1515.002.html

摘要：融合熱紅外與可見光圖像能夠達(dá)到信息的互補(bǔ)，彌補(bǔ)單一模態(tài)在某些條件下的不足，因此具有較高的book=408,ebook=112研究和應(yīng)用價(jià)值。采用了一種基于稀疏表示模型的熱紅外與可見光圖像融合算法。首先，根據(jù)一定量圖像樣本學(xué)習(xí)出較為完備的字典。其次，對(duì)于給定的兩模態(tài)圖像對(duì)，通過稀疏表示模型在學(xué)習(xí)出的字典上分別對(duì)其進(jìn)行稀疏表示。同時(shí)，為了提高魯棒性，使用了拉普拉斯約束對(duì)表示系數(shù)進(jìn)行正則化。然后，根據(jù)融合算法對(duì)兩模態(tài)圖像進(jìn)行有效融合。最后，在公共的圖像以及收集的圖像上進(jìn)行了實(shí)驗(yàn)，實(shí)驗(yàn)結(jié)果表明，該算法能夠有效地融合兩模態(tài)圖像的信息。

關(guān)鍵詞：多模態(tài)融合；稀疏表示；拉普拉斯正則化

1　引言

多模態(tài)圖像融合是指將不同模態(tài)的傳感器所采集到的關(guān)于同一場景的圖像數(shù)據(jù)經(jīng)過相關(guān)技術(shù)，最大限度地提取不同模態(tài)中的有用信息，最后合成新的信息量豐富的圖像。熱紅外傳感器是通過物體的熱輻射（絕對(duì)零度以上）進(jìn)行成像，對(duì)光照變化不敏感，能夠很好地克服可見光傳感器在特定條件下的不足，如低照度環(huán)境、霧霾等惡劣天氣。因此，融合熱紅外與可見光圖像有較高的研究和應(yīng)用價(jià)值，被應(yīng)用于諸多領(lǐng)域中，如圖像增強(qiáng)、工業(yè)設(shè)備診斷和智能監(jiān)控等。

常用的多模態(tài)圖像融合方法包括加權(quán)平均融合[1]、分層PCA（principal components analysis）融合[2]和基于稀疏表示模型的圖像融合[3-4]。加權(quán)平均融合對(duì)原圖像的像素值取相同的權(quán)值，然后進(jìn)行加權(quán)平均得到融合圖像的像素值。但是，當(dāng)待融合圖像灰度相差較大時(shí)，該方法會(huì)出現(xiàn)明顯的拼接痕跡并丟失大量原始信息。分層PCA的融合算法找到待融合圖像的主成分，然后根據(jù)主成分來確定各待融合圖像的權(quán)重。當(dāng)待融合圖像的近似圖像存在一定差異時(shí)，PCA融合算法通常能夠得到比較好的權(quán)重分配；但是當(dāng)待融合圖像的近似圖像差異過大，即相關(guān)性較弱，往往不能準(zhǔn)確地分配權(quán)重，甚至?xí)?dǎo)致圖像嚴(yán)重失真?；谙∈璞硎镜娜诤纤惴ǖ玫降娜诤蠄D像局部特征信息可能會(huì)出現(xiàn)丟失，還會(huì)因?yàn)榫植刻卣鞑町愒斐赏耆煌娜诤辖Y(jié)果，所以得到的融合圖像質(zhì)量會(huì)受到一定損失。

為了克服以上問題，本文采用一種魯棒的稀疏表示算法對(duì)熱紅外與可見光圖像進(jìn)行融合。首先，使用一定量的圖像樣本通過字典學(xué)習(xí)算法學(xué)習(xí)出字典。其次，給定待融合圖像對(duì)，在學(xué)習(xí)出的字典上進(jìn)行稀疏表示。為了提高魯棒性，使用拉普拉斯約束對(duì)重構(gòu)系數(shù)進(jìn)行正則化。然后，使用最大值原則融合兩模態(tài)的重構(gòu)系數(shù)，進(jìn)而結(jié)合字典重構(gòu)出融合圖像。實(shí)驗(yàn)表明，本文的融合結(jié)果優(yōu)于其他方法。

2　稀疏表示模型簡介

圖像稀疏表示的目的是在給定的過完備字典中用盡可能少的非零原子來表示圖像信號(hào)，獲得信號(hào)更為簡潔的表示方式，從而使人們更容易獲取信號(hào)中所蘊(yùn)含的信息，更方便進(jìn)一步對(duì)信號(hào)進(jìn)行加工處理，如壓縮、編碼等[5]。

假設(shè)信號(hào)向量xi∈Rn×1(i=1,2,…,n)，字典向量φi∈Rn×1(i=1,2,…,m)，并且m>n，每個(gè)向量φi表示一個(gè)字典原子。將字典原子作為字典Φ的列，字典Φ=[φ1,φ2,…,φm]，ai∈Rm×1(i=1,2,…,n)為表示系數(shù)向量。信號(hào)可以表示為字典原子的近似線性組合，字典的線性組合提供更大范圍的原子。這樣一個(gè)字典是過完備的，被稱為過完備字典[6]。字典的過完備表示在圖像信號(hào)表示方面有很好的靈活性，且在信號(hào)處理時(shí)十分有效。

通俗地說，稀疏表示就是為了在過完備字典中找到最稀疏的表示。它是一個(gè)最優(yōu)化問題：

這里，A=[a1,a2,…,an]為表示系數(shù)矩陣，X=[x1,x2,…,xn]為信號(hào)向量集。式（1）中，λ||A||1用來保證表示的稀疏性。

目前，最常用求解該最優(yōu)化問題的算法是OMP （orthogonal matching pursuit）算法[7]，它在每次迭代中從字典中選擇一個(gè)最匹配的原子來逐漸實(shí)現(xiàn)原始信號(hào)的稀疏逼近，可以減少迭代次數(shù)和重構(gòu)誤差。

3　基于魯棒稀疏表示模型的多模態(tài)圖像融合算法

本文通過字典學(xué)習(xí)算法獨(dú)立地學(xué)習(xí)出字典，然后在學(xué)習(xí)得到的字典上對(duì)輸入的各模態(tài)圖像進(jìn)行稀疏表示，分別得到各模態(tài)圖像的表示系數(shù)。接著，融合各個(gè)模態(tài)圖像的表示系數(shù)生成融合圖像的表示系數(shù)，進(jìn)而結(jié)合字典重構(gòu)出融合圖像。

3.1多模態(tài)圖像字典學(xué)習(xí)

圖像信號(hào)集X可以從原始圖像中直接獲得，但字典Φ卻不能從原始圖像中直接獲得，因此本文通過學(xué)習(xí)得到字典。字典可以從一種模態(tài)的圖像中學(xué)習(xí)得到，也可以從多種模態(tài)的圖像中學(xué)習(xí)得到。本文選取了多種模態(tài)的圖像作為學(xué)習(xí)樣本，通過KSVD（K-singular value decomposition）算法[8-9]獨(dú)立地學(xué)習(xí)出字典。具體方法如下：

首先，選擇一定量各模態(tài)的圖像作為學(xué)習(xí)樣本。將其按照原子大小逐像素地分為大小為8×8的塊，將圖像塊按照列向量方式排列成樣本矩陣，構(gòu)成樣本X。字典學(xué)習(xí)目標(biāo)函數(shù)為：

這里，T0為一個(gè)設(shè)定的閾值，當(dāng)T0足夠小時(shí)，得到的解是接近理想的。

其次，以DCT（discrete cosine transform）字典[10]作為初始化字典，X為樣本數(shù)據(jù)，利用K-SVD算法學(xué)習(xí)出所需要的字典。

字典的生成是通過尋找稀疏表示下的最優(yōu)基來完成的。原始圖像信號(hào)能否盡可能地稀疏表示直接反映了生成字典的優(yōu)劣，生成的字典要使圖像信號(hào)更精確地表示。

本文采用的學(xué)習(xí)樣本中包含待融合的圖像。因此，學(xué)習(xí)得到的字典包含待融合圖像的特征，更容易稀疏表示融合圖像。

3.2魯棒的稀疏表示模型

稀疏表示在特征量化上體現(xiàn)出了它的有效性。但也存在一定的局限性：第一，稀疏表示采用過完備字典編碼，因此局部非常小的一個(gè)特征差異就會(huì)造成完全不同的稀疏編碼。這將會(huì)影響圖像最終的稀疏表示。第二，局部特征中的依賴信息在稀疏編碼的過程中會(huì)有丟失。然而，這些特征在圖像表示中是十分重要的。

為了更好地描述圖像的局部特征，減小稀疏編碼對(duì)局部特征的影響。本文引入拉普拉斯正則化[11-12]保證稀疏編碼相似局部特征的一致性。魯棒的稀疏表示模型可表示為：

這里，δ用于調(diào)整正則化項(xiàng)；B表示一個(gè)二元矩陣，即表示兩個(gè)特征的關(guān)系：若ai是aj的k近鄰，Bij=1，否則，Bij=0。式(3)中最后一項(xiàng)可以轉(zhuǎn)化為：

這里，L=D-B是一個(gè)拉普拉斯矩陣，ai的度定義為：

D=diag(D1,D2,…,Dn)（5）因此，式（4）可以寫成：

用1∈Rm（m表示ai中元素個(gè)數(shù)）表示ai中所有值都為0，并將列向量的值用ψ(ai)進(jìn)行表示：

因此，式(6)可以寫成：

用APG（accelerated proximal gradient）算法[13]求解上述最小化問題。

3.3多模態(tài)圖像融合算法

將多種模態(tài)圖像進(jìn)行融合為了最大限度地提取各模態(tài)中的有用信息，最后合成新的信息量豐富的圖像，增強(qiáng)對(duì)場景的理解。本文采用基于魯棒稀疏表示模型的融合算法對(duì)各模態(tài)圖像進(jìn)行融合。

假設(shè)I1,I2,…,Ik分別表示k種模態(tài)的圖像。X1,X2,…,Xk分別為k種模態(tài)圖像的向量化表示形式，其每一列,,…(i=1,2,…,k)對(duì)應(yīng)原各模態(tài)圖像I1,I2,…,Ik中的圖像塊，,,…,分別對(duì)應(yīng),,…,的表示系數(shù)，A1,A2,…,Ak為各模態(tài)圖像的表示系數(shù)矩陣。

本文融合圖像的過程如下：

（1）輸入原始各模態(tài)圖像I1,I2,…,Ik，通過滑動(dòng)窗口技術(shù)[14]利用8×8的滑動(dòng)塊將各模態(tài)圖像每隔1個(gè)像素從左上角滑動(dòng)到右下角，將得到的滑動(dòng)塊圖像向量化表示為X1,X2,…,Xk。

（3）選擇表示系數(shù)矩陣A1,A2,…,Ak中相應(yīng)的列，根據(jù)最大值原則，得到融合后圖像的表示系數(shù)，進(jìn)而得到融合后圖像的表示系數(shù)矩陣AFusion。

（4）由學(xué)習(xí)得到的字典Φ，結(jié)合魯棒的稀疏表示模型得到融合后圖像的向量化表示XFusion。

（5）將融合后圖像的向量化表示XFusion通過逆運(yùn)算重新表示為8×8的圖像塊，此時(shí)得到融合后的圖像。

在同一字典下，各模態(tài)圖像的表示系數(shù)一定程度上反映了各模態(tài)圖像中原子的活動(dòng)水平，表示系數(shù)的絕對(duì)值越大，其對(duì)應(yīng)的原子活動(dòng)水平越高[15]。因此，本文采用最大值原則選擇各模態(tài)圖像中表示系數(shù)絕對(duì)值大的列，得到融合后圖像的表示系數(shù)。最大值原則可表示為：

本文的融合算法主要包括3個(gè)步驟：字典學(xué)習(xí)、稀疏表示和多模態(tài)融合。首先，通過一定量各模態(tài)圖像樣本離線學(xué)習(xí)出字典。其次，通過魯棒的稀疏表示模型得到各模態(tài)圖像的表示系數(shù)。最后，結(jié)合字典重構(gòu)出融合后的圖像。

4　實(shí)驗(yàn)與分析

為了驗(yàn)證本文算法的有效性，在3對(duì)圖像上進(jìn)行實(shí)驗(yàn)，將加權(quán)融合算法、分層PCA融合算法和基于原稀疏表示模型的融合算法與本文算法進(jìn)行比較。采用圖像的熵、平均梯度和空間頻率這3種指標(biāo)對(duì)融合后的圖像質(zhì)量進(jìn)行評(píng)價(jià)。具體地，圖像的熵是一種具有加和性的狀態(tài)函數(shù)，熵值越大，則信息量越大，也就說明效果更好。平均梯度反映了圖像微小細(xì)節(jié)反差變化的速率，即圖像多維方向上密度變化的速率，表征圖像的相對(duì)清晰程度。平均梯度越大，圖像層次越多，也就越清晰?？臻g頻率是圖像函數(shù)在單位長度上重復(fù)變化的次數(shù)，其值越大，則圖像越清晰。

4.1定量分析

表1給出的是SourceImage數(shù)據(jù)集（http://www. imagefusion.org）、本文收集的數(shù)據(jù)集和OSU Color-Thermal數(shù)據(jù)集上部分圖像的實(shí)驗(yàn)結(jié)果。通過表1可以得知，在上述數(shù)據(jù)集的幾組圖像上，本文融合算法得到的融合圖像的熵均高于其他幾種融合算法，且熵的平均值也高于其他幾種融合算法，說明本文算法得到的融合圖像信息量大于其他幾種算法。另外，本文融合算法得到的圖像平均梯度和空間頻率的平均值高于其他幾種融合算法，說明本文算法得到的融合圖像相對(duì)更加清晰。實(shí)驗(yàn)表明本文算法有效地保留了原圖像的信息，融合效果較好。

4.2定性分析

本文在之前所述的3個(gè)數(shù)據(jù)集上選取了部分圖像進(jìn)行實(shí)驗(yàn)，包括SourceImage數(shù)據(jù)集的SourceImage3 和SourceImage2，本文收集的數(shù)據(jù)集上的車和行人的場景，以及OSU Color-Thermal數(shù)據(jù)集的兩組圖像，實(shí)驗(yàn)效果如圖1所示。

從圖1中可以看出，加權(quán)融合算法對(duì)融合后圖像的細(xì)節(jié)體現(xiàn)不太明顯，丟失了原圖像的一些原始信息。而分層PCA融合算法對(duì)熱紅外圖像的熱目標(biāo)體現(xiàn)得比較明顯，而對(duì)可見光信息表達(dá)較弱。

基于原稀疏表示模型的融合算法所得到的融合結(jié)果相比其他算法，圖像從視覺上較為穩(wěn)定，圖像上各個(gè)像素波動(dòng)較小，但對(duì)圖像細(xì)節(jié)描述一般。與基于原稀疏表示模型的融合算法相比，由于本文的融合算法增加了拉普拉斯正則化項(xiàng)，其對(duì)圖像細(xì)節(jié)反映較好，對(duì)兩模態(tài)圖像局部特征保留較好，圖像總體信息量體現(xiàn)得較好。從總體上說，基于魯棒稀疏表示模型的融合方法得到的融合圖像質(zhì)量較高，與實(shí)驗(yàn)數(shù)據(jù)分析一致。

Table 1　 Index of fusion images on three datasets using four fusion algorithms表1　 4種融合算法在3個(gè)數(shù)據(jù)集上的融合圖像指標(biāo)

Fig.1　 Fusion result images圖1　融合效果圖

5　結(jié)論

本文采用基于魯棒稀疏表示模型的算法實(shí)現(xiàn)了熱紅外與可見光圖像的融合，并運(yùn)用常用的3種指標(biāo)對(duì)融合圖像的效果進(jìn)行評(píng)價(jià)，通過對(duì)比實(shí)驗(yàn)，其融合后的圖像指標(biāo)優(yōu)于其他融合方法。但由于基于稀疏表示的模型融合算法要進(jìn)行字典學(xué)習(xí)和稀疏分解，該算法的時(shí)間復(fù)雜度較高，運(yùn)算速度較慢。下一步，可對(duì)算法進(jìn)行優(yōu)化，提高算法的運(yùn)算速度，進(jìn)一步優(yōu)化算法的性能。

References:

[1] Garcia F, Mirbach B, Ottersten B, et al. Pixel weighted average strategy for depth sensor data fusion[C]//Proceedings of the 17th IEEE International Conference on Image Processing, Hong Kong, China, Sep 26-29, 2010. Piscataway, USA: IEEE, 2010: 2805-2808.

[2] Patil U, Mudengudi U. Image fusion using hierarchical PCA [C]//Proceedings of the 2011 International Conference on Image Information Processing, Shimla, Nov 3-5, 2011. Piscataway, USA: IEEE, 2011: 1-6.

[3] Ding Meng, Wei Li, Wang Bangfeng. Research on fusion method for infrared and visible images via compressive sensing[J]. Infrared Physics & Technology, 2013, 57: 56-67.

[4] Li X, Qin S Y. Efficient fusion for infrared and visible images based on compressive sensing principle[J]. IET Image Process, 2011, 5(2): 141-147.

[5] Deng Chengzhi. Applications of sparse representation in image processing[D]. Wuhan: Huazhong University of Science and Technology, 2008.

[6] Chen S S, Donoho D L, Saunders M A. Atomic decomposition by basis pursuit[J]. SIAM Review, 2001, 43(1): 129-159.

[7] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]. IEEE Transactions on Information Theory, 2007, 53(12): 4655-4666.

[8] Aharon M, Elad E, Bruckstein A M. The K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Image Processing, 2006, 54(11): 4311-4322.

[9] Aharon M, Elad M, Bruckstein A M. K-SVD: an algorithm for designing of overcomplete dictionaries for sparse representation[J]. IEEE Transactions on Signal Processing, 2006, 54(11): 4311-4322.

[10] Liu Yan, Li Hong. Image and video pressing techniques in the DCT domain[J]. Journal of Image and Graphics, 2003, 8 (2): 121-128.

[11] Zhuang Bohan, Lu Huchuan, Xiao Ziyang, et al. Visual tracking via discriminative sparse similarity map[J]. IEEE Transactions on Image Processing, 2014, 23(4): 1872-1881.

[12] Gao Shenghua, Tsang I W, Chia L T, et al. Local features are not lonely-Laplacian sparse coding for image classification[C]//Proceedings of the 2010 IEEE Conference on Computer Vision and Pattern Recognition, San Francisco, USA, Jun 13-18, 2010. Piscataway, USA: IEEE, 2010: 3555-3561.

[13] Bao Chenglong, Wu Yi, Ling Haibin, et al. Real time robust L1 tracker using accelerated proximal gradient approach [C]//Proceedings of the 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, USA, Jun 16-21, 2012. Piscataway, USA: IEEE, 2012: 1830-1837.

[14] Yang Bin, Li Shutao. Multifocus image fusion and restoration with sparse representation[J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892.

[15] Yang Bin, Li Shutao. Pixel-level image fusion with simultaneous orthogonal matching pursuit[J]. Information Fusion, 2012, 13(1): 10-19.

附中文參考文獻(xiàn)：

[5]鄧承志.圖像稀疏表示理論及其應(yīng)用研究[D].武漢:華中科技大學(xué), 2008.

LI Haichao was born in 1988. He is an M.S. candidate at School of Computer Science and Technology, Anhui University. His research interests include pattern recognition and digital image processing, etc.李海超（1988—），男，安徽合肥人，安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院碩士研究生，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別，數(shù)字圖像處理等。

LI Chenglong was born in 1988. He is a Ph.D. candidate at School of Computer Science and Technology, Anhui University. His research interests include pattern recognition, digital image processing and video analysis, etc.李成龍（1988—)，男，安徽阜陽人，安徽大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院博士研究生，主要研究領(lǐng)域?yàn)槟Ｊ阶R(shí)別，數(shù)字圖像處理，視頻分析等。

TANG Jin was born in 1976. He received the Ph.D. degree in computer science from Anhui University in 2007. Now he is a professor and Ph.D. supervisor at Anhui University, and the member of CCF. His research interests include image processing, pattern recognition, machine learning and computer vision, etc.湯進(jìn)（1976—），男，安徽合肥人，2007年于安徽大學(xué)計(jì)算機(jī)科學(xué)專業(yè)獲得博士學(xué)位，現(xiàn)為安徽大學(xué)教授、博士生導(dǎo)師，CCF會(huì)員，主要研究領(lǐng)域?yàn)閳D像處理，模式識(shí)別，機(jī)器學(xué)習(xí)，計(jì)算機(jī)視覺等。

LUO Bin was born in 1963. He received the Ph.D. degree in computer science from York University in 2002. Now he is a secondary professor and Ph.D. supervisor at Anhui University, and the member of CCF. His research interests include large image database retrieval, image and graph matching, statistical pattern recognition and random graph model, etc.羅斌（1963—），男，安徽合肥人，2002年于英國約克大學(xué)計(jì)算機(jī)科學(xué)專業(yè)獲得博士學(xué)位，現(xiàn)為安徽大學(xué)二級(jí)教授、博士生導(dǎo)師，CCF會(huì)員，主要研究領(lǐng)域?yàn)榇笠?guī)模圖像數(shù)據(jù)庫檢索，圖和圖像匹配，統(tǒng)計(jì)模式識(shí)別，隨機(jī)圖模型等。

Research on Fusion Algorithm for Thermal and Visible Images?

LI Haichao1, LI Chenglong1, TANG Jin1,2, LUO Bin1,2+
1. School of Computer Science and Technology, Anhui University, Hefei 230601, China
2. Key Lab of Industrial Image Processing & Analysis of Anhui Province, Hefei 230039, China
+ Corresponding author: E-mail: luobin@ahu.edu.cn

LI Haichao, LI Chenglong, TANG Jin, et al. Research on fusion algorithm for thermal and visible images. Journal of Frontiers of Computer Science and Technology, 2016, 10(3):407-413.

Abstract:Fusion of thermal and visible images has a large research and application value due to their complementary benefits, which can overcome shortcomings of single modality under certain conditions. This paper adopts a sparse representation based algorithm to integrate thermal and visible information. Firstly, a relative complete dictionary is learned by some image samples. Secondly, given an image pair, this paper represents them on the learned dictionary by the improved sparse representation model, in which the Laplacian constraints on reconstructed coefficients are employed to improve its robustness. Then, the two modal images are integrated based on the constructed coefficients. Finally, extensive experiments on the public images and the collected images suggest that the method proposed in this paper can effectively fuse the information of two modalities.

Key words:multi-modal fusion; sparse representation; Laplacian regularization

doi:10.3778/j.issn.1673-9418.1506032

文獻(xiàn)標(biāo)志碼：A

中圖分類號(hào)：TP391.4