全景圖拼接中圖像融合算法的研究

黃立勤 陳財(cái)淦

?

全景圖拼接中圖像融合算法的研究

黃立勤*陳財(cái)淦

(福州大學(xué)物理與信息工程學(xué)院 福州 350108)

為了實(shí)現(xiàn)平滑連續(xù)的全景圖拼接融合效果，針對(duì)全景圖拼接的特點(diǎn)，提出了利用彩色空間變換和Contourlet變換結(jié)合對(duì)比度金字塔分解的圖像融合算法。首先進(jìn)行HSI彩色空間變換，得到圖像的亮度信息，然后利用基于對(duì)比度金字塔的Contourlet變換對(duì)亮度信息進(jìn)行塔式分解，得到不同的頻帶信息，再對(duì)不同頻帶進(jìn)行融合處理。實(shí)驗(yàn)證明，該文提出的算法充分利用Contourlet變換的輪廓特性，展示了圖像的細(xì)節(jié)信息，從而很好地實(shí)現(xiàn)了全景圖的拼接融合效果。

圖像拼接；圖像融合；Contourlet變換

1 引言

圖像融合是信息融合與圖像處理領(lǐng)域的研究熱點(diǎn)。圖像融合是將兩幅圖像中的有用信息綜合到一幅圖像中，以獲得同一場(chǎng)景更加全面的信息[1,2]。圖像融合技術(shù)的發(fā)展可以追溯到20世紀(jì)80年代，主要應(yīng)用于遙感圖像、紅外圖像、醫(yī)學(xué)圖像處理等領(lǐng)域。

Contourlet變換是文獻(xiàn)[9]提出的一種多尺度局域的圖像處理與表達(dá)方法，應(yīng)用廣泛。文獻(xiàn)[10]利用Contourlet算法進(jìn)行可視對(duì)象跟蹤的研究，取得了良好的效果。而文獻(xiàn)[11]利用Contourlet算法進(jìn)行圖像檢索的研究也取得了不錯(cuò)的效果，而更多的，如文獻(xiàn)[12,13]等利用Contourlet變換進(jìn)行圖像融合的研究，取得了比較滿意的效果。因此，本文在前人研究Contourlet變換的基礎(chǔ)上，結(jié)合全景圖拼接的特點(diǎn)，展開應(yīng)用Contourlet變換的全景圖拼接融合算法的研究。

2 本文算法概述

全景圖拼接是一種局域圖像處理的過(guò)程，并對(duì)圖像輪廓的拼接要求很高，而Contourlet變換又是很好的輪廓處理算法，所以本文在Contourlet變換的基礎(chǔ)上實(shí)現(xiàn)基于Contourlet變換的全景圖拼接融合方法。算法流程如圖1所示，包括預(yù)處理、HSI分解、對(duì)比度Contourlet變換、融合、逆變換以及HSI重構(gòu)等。

圖1 本文算法流程

3 預(yù)處理

對(duì)于全景圖拼接，首先要進(jìn)行配準(zhǔn)、仿射變換等預(yù)處理操作。本文采用SURF算法[14]結(jié)合二次雙向匹配[15]的方法對(duì)欲拼接的圖像進(jìn)行配準(zhǔn)處理，然后對(duì)配準(zhǔn)后的圖像進(jìn)行坐標(biāo)的統(tǒng)一變換，即仿射變換。一般地，在同一地點(diǎn)捕獲的具有重合部分的兩幅圖像如圖2所示(陰影部分為重合部分)。然而由于相機(jī)的旋轉(zhuǎn)，實(shí)際的場(chǎng)景應(yīng)為圖3所示的形式。為此，要在圖像配準(zhǔn)的基礎(chǔ)上，對(duì)圖2所示的源圖像進(jìn)行仿射變換。

除了利用配準(zhǔn)的數(shù)據(jù)對(duì)圖像進(jìn)行仿射變換處理外，往往還需要對(duì)融合前的圖像進(jìn)行曝光補(bǔ)償、增強(qiáng)、除噪等處理，以提高最終融合圖像的質(zhì)量。

4 HSI分解

對(duì)于RGB形式的圖像，可以通過(guò)式(1)轉(zhuǎn)換到HSI空間。

圖3 實(shí)際圖像

5 融合原理

5.1 對(duì)比度Contourlet變換

Contourlet變換可以很好地捕獲圖像特征的方向信息并且具有較低的冗余度。Contourlet變換主要分為兩個(gè)部分：(1)對(duì)圖像進(jìn)行帶通采樣，建立拉普拉斯金字塔進(jìn)行多尺度分解；(2)采用方向?yàn)V波器組進(jìn)行方向分解，得到方向子帶，如圖4所示。可見(jiàn)，兩過(guò)程相互獨(dú)立，易于理解。

圖4 Contourlet 變換

本文是基于對(duì)比度金字塔的Contourlet變換，定義圖像的對(duì)比度為

圖 5 方向?yàn)V波器組框圖

如前所述，因?yàn)閷?duì)比度金字塔可以很好地體現(xiàn)圖像的對(duì)比度特征，更加符合人眼的感知。所以，本文將原Contourlet變換的拉普拉斯分解過(guò)程替代為對(duì)比度金字塔分解，以增強(qiáng)融合圖像的對(duì)比度特征，增加圖像的識(shí)別效果。

5.2 融合規(guī)則設(shè)計(jì)

圖像經(jīng)Contourlet變換后將獲得相應(yīng)的高頻分量和低頻分量。由數(shù)字圖像知識(shí)可知，高頻分量主要描述了圖像的細(xì)節(jié)特征，包括紋理的突變、輪廓邊緣等，這些細(xì)節(jié)對(duì)圖像拼接效果的影響最為明顯，若融合不當(dāng)會(huì)有明顯的重影、模糊等現(xiàn)象；而低頻分量主要描述了圖像中較為平緩的區(qū)域，對(duì)圖像拼接的效果主要體現(xiàn)在背景信息中。所以，針對(duì)Contourlet變換后的高低頻分量，我們分別采用不同的融合規(guī)則。

(1)低頻分量融合規(guī)則 本文對(duì)于低頻分量的融合規(guī)則采用直接求算術(shù)平均的方式對(duì)其進(jìn)行融合，這樣運(yùn)算速度不會(huì)降低并且易于實(shí)現(xiàn)，可以在很大程度上節(jié)約運(yùn)算時(shí)間。

即對(duì)于高頻分量，采用絕對(duì)值比較的方式來(lái)代替融合圖像的高頻分量，這樣可以極大地保留細(xì)節(jié)豐富圖像的細(xì)節(jié)信息，避免了融合過(guò)程導(dǎo)致圖像細(xì)節(jié)的模糊化。

以上的融合規(guī)則，只針對(duì)待拼接圖像的重合部分，而對(duì)于非重合部分，則直接保留原有的信息。即對(duì)于圖3所示的圖像，將左圖的空白部分直接作為融合結(jié)果的左部，兩圖的陰影部分利用以上所述的融合規(guī)則進(jìn)行融合后作為融合圖像的中間部分，最后右圖的空白部分直接作為融合圖像的右部。這樣可以最大限度地保留源圖像非重合區(qū)域的原有信息，防止因變換過(guò)程而導(dǎo)致的信息的丟失，同時(shí)又可以很好地實(shí)現(xiàn)重合區(qū)域的無(wú)縫融合。

6 融合過(guò)程設(shè)計(jì)

本文所述的圖像融合算法主要針對(duì)全景圖拼接中的融合，因此需要首先對(duì)來(lái)自同源或非同源的多幅圖像進(jìn)行精確的配準(zhǔn)，并按要求進(jìn)行坐標(biāo)空間變換，最后對(duì)圖像進(jìn)行拼接融合。

根據(jù)第1節(jié)的介紹，本文將按以下幾個(gè)步驟對(duì)圖像進(jìn)行拼接融合：

步驟1 對(duì)已配準(zhǔn)的待拼接的圖像的重合區(qū)域做色彩空間變換。即利用式(1)，將圖像從RGB色彩空間轉(zhuǎn)換成HSI色彩空間。

步驟2 對(duì)轉(zhuǎn)換得到的HSI空間圖像進(jìn)行基于對(duì)比度金字塔的Contourlet變換。即選取圖像的亮度分量I進(jìn)行基于對(duì)比度金字塔的Contourlet變換。對(duì)于色度H和飽和度S，分別進(jìn)行算術(shù)平均計(jì)算，這樣可減少二者在色度和飽和度上的差異，增加融合的連續(xù)性。

步驟3 對(duì)于步驟2獲得的低頻分量系數(shù)，按照5.2節(jié)中描述的算術(shù)平均方法處理。

步驟4 對(duì)于步驟2獲得的高頻分量系數(shù)，按照5.2節(jié)中描述的絕對(duì)值比較法計(jì)算。

步驟5 將步驟3 和步驟4獲得的數(shù)據(jù)進(jìn)行基于對(duì)比度金字塔的Contourlet變換的逆變換，得到融合后的HSI空間的亮度分量I的數(shù)據(jù)。

步驟6 最后，將融合后的圖像轉(zhuǎn)換回RGB色彩空間并疊加到拼接圖像中去，從而得到最終的全景圖。

7 實(shí)驗(yàn)結(jié)果與分析

本文算法的性能驗(yàn)證實(shí)驗(yàn)采用Matlab7.12 (R2011a)在Windows XP操作系統(tǒng)上進(jìn)行。

7.1 多聚焦融合實(shí)驗(yàn)

圖 6 各算法融合結(jié)果

通過(guò)觀察圖6(c)~6(f), Contourlet算法在圖像融合的效果上表現(xiàn)良好但與小波變換法、加權(quán)融合法相比，得到的融合圖像，雖然可以比較清晰地展示左右兩邊的文字，但仔細(xì)觀察，仍存在邊界模糊的現(xiàn)象。而本文算法在利用Contourlet算法在輪廓處理性能優(yōu)越性的基礎(chǔ)上，采用對(duì)比度金字塔分解，實(shí)現(xiàn)了對(duì)圖像較好的融合，因此可以發(fā)現(xiàn)本文算法的融合效果表現(xiàn)較佳。

評(píng)價(jià)算法的質(zhì)量，除了以上的主觀判斷，還需要客觀的數(shù)據(jù)。本文針對(duì)融合圖像的信息熵、互信息和平均梯度等常用的評(píng)價(jià)指標(biāo)[1,20]對(duì)本文算法及其它算法做進(jìn)一步的比較。

信息熵：根據(jù)香農(nóng)信息理論，一幅圖像信息熵的大小表明了圖像所含信息的多少，因此，本文利用信息熵公式，計(jì)算經(jīng)各算法融合后的圖像的信息熵，其計(jì)算公式為

互信息：圖像1,2,之間的互信息可以通過(guò)式(11)計(jì)算得到：

平均梯度：平均梯度體現(xiàn)的是圖像上細(xì)節(jié)部分的信息，它可通過(guò)(12)式獲得

通過(guò)觀察圖6和表1的數(shù)據(jù)可以總結(jié)出以下幾點(diǎn)：

(1)本文算法在圖像細(xì)節(jié)上表現(xiàn)較好，從圖6(f)中可以發(fā)現(xiàn)，圖像可以較好地突出細(xì)節(jié)信息，對(duì)圖像的輪廓也有很好的體現(xiàn)。從表1的平均梯度可以很客觀地體現(xiàn)出來(lái)。

(2)本文算法融合的圖像整體信息表現(xiàn)豐富，且完整地表現(xiàn)了源圖像的信息。表1的互信息值可以體現(xiàn)這一點(diǎn)。說(shuō)明本文算法可以極大地保留源圖像的信息。

表1各融合算法性能評(píng)價(jià)指標(biāo)

評(píng)價(jià)指標(biāo)融合算法 Contourlet算法小波變換算法加權(quán)融合算法本文算法 信息熵5.86895.99725.88235.9138 互信息2.40081.78272.16532.3238 平均梯度2.21073.34172.20323.8589

(3)對(duì)于圖像的信息熵指標(biāo)，從表1來(lái)看，各算法的區(qū)別并不是很大。從圖6來(lái)看，圖像上灰度數(shù)量之間較均衡，因此，各算法在實(shí)驗(yàn)所提供的圖像上得到的信息熵都較為接近。

對(duì)算法而言，運(yùn)算時(shí)間直接體現(xiàn)了算法的性能。根據(jù)算法計(jì)算復(fù)雜度()(其中表示圖像的像素個(gè)數(shù))，本文算法經(jīng)過(guò)了色彩空間變換、對(duì)比度金字塔分解、方向?yàn)V波器分解等步驟，從而相對(duì)其它算法而言復(fù)雜度有所提高。各算法的融合時(shí)間見(jiàn)表2。

表2各算法融合時(shí)間比較(s)

圖像大小 (像素)Contourlet算法小波變換算法加權(quán)融合算法本文算法 512×512×21.6631.9590.3612.126

表2的結(jié)果表明，本文算法的融合時(shí)間較長(zhǎng)，特別是當(dāng)圖像較大時(shí)，融合時(shí)間也會(huì)更長(zhǎng)。

7.2 平移、尺度變化實(shí)驗(yàn)

針對(duì)具有平移和尺度變化的圖像之間的實(shí)驗(yàn)如圖7，其中圖7(a)與圖7(b)之間存在平移關(guān)系，圖7(c)和圖7(d)之間存在尺度變化的關(guān)系。實(shí)驗(yàn)首先利用SURF算法和二次雙向匹配對(duì)圖像進(jìn)行配準(zhǔn)，然后對(duì)圖像進(jìn)行平面坐標(biāo)仿射變換[1]。最后利用本文算法對(duì)圖像進(jìn)行融合，結(jié)果如圖8所示，其中圖8(a)為平移的融合結(jié)果，圖8(b)為尺度變化的融合結(jié)果。

圖 7 平移、尺度實(shí)驗(yàn)源圖

圖 8 融合結(jié)果

觀察圖7(a), 7(b)和圖8(a)可以發(fā)現(xiàn)，本文算法對(duì)平移關(guān)系的圖像之間的融合具有連續(xù)性，并在融合中增強(qiáng)了圖像的細(xì)節(jié)(圖8(a)的埃菲爾塔中部的亮點(diǎn)體現(xiàn)了細(xì)節(jié)，因亮點(diǎn)在圖7(a)沒(méi)有，圖7(b)中有)。對(duì)比圖7(c), 7(d)和圖8(b)，也可以發(fā)現(xiàn)，本文算法對(duì)尺度變化的圖像之間也具有良好的融合效果。

觀察以上實(shí)驗(yàn)，同時(shí)還可以發(fā)現(xiàn)，實(shí)驗(yàn)源圖之間還具有一定的小角度的旋轉(zhuǎn)關(guān)系，在拼接融合中可以很好地解決。但本文算法在對(duì)具有較大旋轉(zhuǎn)角度的圖像之間的融合，效果不佳，因此本文今后將重點(diǎn)研究解決較大旋轉(zhuǎn)角的圖像之間的融合。

7.3 多幅拼接實(shí)驗(yàn)

本實(shí)驗(yàn)采用4幅連續(xù)的圖像對(duì)現(xiàn)實(shí)場(chǎng)景的全景圖拼接展開驗(yàn)證。首先，利用相機(jī)(采用手機(jī))拍攝4幅連續(xù)的含重復(fù)場(chǎng)景的圖像，如圖9。再利用SURF算法結(jié)合二次雙向匹配，對(duì)圖像進(jìn)行配準(zhǔn)，并完成對(duì)圖像的平面坐標(biāo)下的變換。最后利用本文算法對(duì)4幅圖像進(jìn)行融合拼接，結(jié)果如圖10(a)。在實(shí)際應(yīng)用中，只需獲取拼接圖像中有用的部分，因此將圖10(a)進(jìn)行裁剪，即可獲得所要求的全景圖像，如圖10(b)。

經(jīng)過(guò)實(shí)際場(chǎng)景融合實(shí)驗(yàn)可以發(fā)現(xiàn)，本文算法對(duì)現(xiàn)實(shí)場(chǎng)景圖像具有良好的融合效果，融合結(jié)果非常符合人眼的視覺(jué)效果?，F(xiàn)有的全景圖應(yīng)用軟件包括手機(jī)或數(shù)碼相機(jī)可以實(shí)現(xiàn)全景拍照的功能，但大都是廣角圖，圖像中的對(duì)象會(huì)有扭曲的現(xiàn)象，并且全景圖的高度或?qū)挾扔邢?。而本文算法可以很好地解決以上問(wèn)題，并且經(jīng)實(shí)踐證明，本文算法具有廣泛的應(yīng)用價(jià)值。

圖 9 拼接源圖

圖10 圖像拼接結(jié)果

8 結(jié)束語(yǔ)

在研究各種圖像融合算法的基礎(chǔ)上，本文針對(duì)全景圖拼接的特點(diǎn)，提出利用Contourlet變換結(jié)合對(duì)比度金字塔分解的圖像融合算法。實(shí)驗(yàn)證明，本文的算法對(duì)多聚焦圖像融合處理具有較好的融合效果。此外，現(xiàn)實(shí)場(chǎng)景的全景圖拼接實(shí)驗(yàn)，充分說(shuō)明了本文算法可以很好地利用Contourlet變換的輪廓特性，展示圖像的細(xì)節(jié)信息，很好地過(guò)渡重合區(qū)域。因此，利用本文所提的算法可以較好地實(shí)現(xiàn)全景圖的拼接，得到較好的拼接效果，具有較高的應(yīng)用價(jià)值。不過(guò)，由于算法的復(fù)雜度相對(duì)其它算法有所提高，導(dǎo)致運(yùn)算時(shí)間也有所增加，并且對(duì)較大旋轉(zhuǎn)角度的圖像之間的融合效果欠佳，所以在算法優(yōu)化方面有待進(jìn)一步的改進(jìn)。

[1] 劉衛(wèi)光. 圖像信息融合與識(shí)別[M]. 北京: 電子工業(yè)出版社, 2008: 2-105.

[2] Barbara Z and Jan F. Image registration methods: a survey[J]., 2003, 21(11): 977-1000.

[3] 張德祥, 張晶晶, 吳小培, 等. 基于Directionlets變換的偏振圖像融合[J]. 電子與信息學(xué)報(bào), 2011, 33(12): 2795-2800.

[4] Burt P J and Adelson E H. A multiresolution spline with application to image mosaics[J]., 1983, 2(4): 217-236.

[5] Brown M and Lowe D G. Automatic panoramic image stitching using invariant features[J]., 2007, 74(1): 59-73.

[6] Xu Han and Jiang Tong-bin. Multi-source remote sensing image fusion algorithm based on combined wavelet transform and HIS transform[J]., 2012, 7(18): 392-400.

[7] Yang Shao-qing, Lin Hong-wen, Zhang An-qing,. A color image fusion method using discrete wavelet frames[C]. Proceedings of 2011 International Conference on Electronic and Mechanical Engineering and Information Technology, Harbin, China, 2011: 2807-2810.

[8] Kaur A and Khullar S. Image fusion using HIS, PCA and wavelet technique[J]., 2013, 2(2): 92-94.

[9] Do M N and Vetterli M. The Contourlet transform: an efficient directional multiresolution image representation[J]., 2005, 14(12): 2091-2106.

[10] He Zhi-wei, Huang Guan-ren, Liu Yuan-yuan,. Visual object tracking based on the Contourlet transform[C]. Proceedings of the 2012 7th IEEE Conference on Industrial Electronics and Applications, ICIEA, Singapore, 2012: 1768-1771.

[11] An Zhi-yong, He Xue-rui, Zhao Feng,. Image retrieval based on the Contourlet transform and local binary pattern[J]., 2012, 4(6): 323-330.

[12] Liu Hui. Image fusion method based on non-subsampled Contourlet transform[J]., 2012, 7(12): 2816-2822.

[13] Shen Yu, Ren En-en, Dang Jian-wu,. A nonsubsampled Contourlet transform based medical image fusion method[J]., 2013, 12(4): 749-755.

[14] Herbert B, Tinne T, and Luc V G. SURF: speeded up robust features[C]. Proceedings of European Conference on Computer Vision, Graz, Austria, 2006, 1: 404-417.

[15] 馮政壽, 王美清. 基于Harris與改進(jìn)SIFT算法的圖像匹配算法[J]. 福州大學(xué)學(xué)報(bào)(自然科學(xué)版), 2012, 40(2): 176-180.

[16] Toet A, Van RL J, and Valeton J M. Merging thermal and visual images by a contrast pyramid[J]., 1989, 28(7): 789-792.

[17] 金海燕, 劉芳, 焦李成. 基于多尺度對(duì)比度塔和方向?yàn)V波器組的圖像融合[J]. 電子學(xué)報(bào), 2007, 35(7): 1295-1300.

[18] He Dong-xu, Meng Yu, and Wang Cheng-yi. Contrast pyramid based image fusion scheme for infrared image and visible image[C]. Proceedings of International Geoscience and Remote Sensing Symposium (IGARSS),Vancouver, BC, Canada, 2011: 597-600.

[19] Bamberger R H and Smith M J T. A filter bank for the directional decomposition of images: theory and design[J]., 1992, 40(4): 882-893.

[20] 余先川, 裴文靜. 針對(duì)不同融合算法的質(zhì)量評(píng)價(jià)指標(biāo)性能評(píng)估[J]. 紅外與激光工程, 2012, 41(12): 3416-3422.

黃立勤： 男，1973年生，博士，副教授，研究方向?yàn)閳D像處理與通信、計(jì)算機(jī)網(wǎng)絡(luò)通信.

陳財(cái)淦： 男，1988年生，碩士生，研究方向?yàn)閳D像處理與通信.

Study on Image Fusion Algorithm of Panoramic Image Stitching

Huang Li-qin*Chen Cai-gan

(,,350108,)

In order to achieve smooth and continuous panorama stitching effect, an image fusion algorithm which based on contrast pyramid and combines color space conversion and Contourlet transform is proposed by considering the characteristics of panorama stitching. Firstly, luminance information of images is calculated using HSI transform. Then contrasting pyramid based Contourlet transform is used to decompose luminance information to get sub-band information of images. Finally, images are reconstructed by fusing different sub-band’s information. Experimental results show that the proposed algorithm which leverages the contour features of Contourlet transform and the detail information of images could achieve good effects on panorama stitching fusion.

Image stitching; Image fusion; Contourlet transform

TP391

A

1009-5896(2014)06-1292-07

10.3724/SP.J.1146.2013.01220

黃立勤 hlq@fzu.edu.cn

2013-08-13收到，2013-12-13改回

國(guó)家自然科學(xué)基金(61103175)，福建省科技計(jì)劃項(xiàng)目(2011H0027)和福建省自然科學(xué)基金(2012J01268)資助課題