圖像融合算法的分析與實(shí)現(xiàn)

湯麗娟，孫克爭

（1.江蘇商貿(mào)職業(yè)學(xué)院，南通　226000；2.中國礦業(yè)大學(xué)信息與電氣學(xué)院，徐州　221116）

?

圖像融合算法的分析與實(shí)現(xiàn)

湯麗娟1,2，孫克爭2

（1.江蘇商貿(mào)職業(yè)學(xué)院，南通226000；2.中國礦業(yè)大學(xué)信息與電氣學(xué)院，徐州221116）

摘要：圖像融合作為多傳感器信息融合的重要分支，被廣泛應(yīng)用于各種領(lǐng)域。圖像融合已成為監(jiān)控系統(tǒng)中不可分割的一部分。分析圖像融合傳感器的種類，圖像融合算法的評(píng)價(jià)指標(biāo)和圖像融合算法的分類。像素級(jí)圖像融合作為各級(jí)圖像融合的基礎(chǔ)，盡可能多地保留場(chǎng)景的原始信息，提供其他融合層次所不能提供的豐富、精確、可靠的信息，有利于圖像的進(jìn)一步分析與處理。研究塔式圖像分解，主成分分析圖像和小波圖像分解融合算法，并通過MATLAB編碼實(shí)現(xiàn)其融合算法，評(píng)價(jià)算法的性能指標(biāo)。最后用小波分解算法實(shí)現(xiàn)一組被動(dòng)紅外圖像和可見光圖像的融合，并評(píng)價(jià)其性能。

關(guān)鍵詞：圖像融合;評(píng)價(jià)指標(biāo);融合算法;編碼實(shí)現(xiàn)

0　引言

圖像融合是從不同傳感器同時(shí)獲取關(guān)于同一場(chǎng)景的不同波長的圖像，將它們合成一幅圖像。合成圖像用來提高圖像的內(nèi)容信息，使用戶更容易發(fā)現(xiàn)，識(shí)別和確定目標(biāo)并增加用戶對(duì)圖像內(nèi)容的情景感知。

當(dāng)前的研究主要集中在研究融合算法提高合成圖像的內(nèi)容信息。例如在不同的場(chǎng)景下，如煙霧的情況下，融合算法仍是魯棒的。這篇論文的結(jié)構(gòu)如下：第二部分介紹了幾種圖像融合傳感器；第三部分研究圖像融合算法的性能評(píng)價(jià)，這些指標(biāo)用來測(cè)試圖像融合算法的有效性的并反映融合圖像的一些典型特征；第四部分研究了圖像融合算法，并分析每種算法的實(shí)現(xiàn)原理，并編碼實(shí)現(xiàn)算法并評(píng)價(jià)融合算法的性能指標(biāo)；第五部分小結(jié)及分析圖像融合領(lǐng)域的研究熱點(diǎn)問題。

1　圖像融合傳感器

傳感器種類很多，目前常用的用于圖像融合的傳感器主要有電子計(jì)算機(jī)斷層掃描（Computed Tomography，CT），磁共振成像（Magnetic Resonance Imaging，MRI），可見光圖像傳感器（Charge-Couple Device，CCD），紅外熱像儀，激光成像雷達(dá)，毫米波雷達(dá)，合成孔徑雷達(dá)成像儀（Synthetic Aperture Radar，SAR），多光譜/超光譜成像儀等[1]，每種傳感器都有自身的物理原理和成像特點(diǎn)，對(duì)同一場(chǎng)景，不同傳感器采集的信息內(nèi)容也不盡相同?，F(xiàn)實(shí)應(yīng)用中需根據(jù)具體應(yīng)用場(chǎng)景的特點(diǎn)和復(fù)雜程度，采用不同的傳感器組合來提高獲取信息的準(zhǔn)確性和全面性。例如煤礦下的復(fù)雜場(chǎng)景，對(duì)危險(xiǎn)區(qū)域禁止煤礦工人進(jìn)入的區(qū)域的監(jiān)測(cè)，井下可見光拍出來的圖像的對(duì)比度比較差，而紅外熱像儀能清楚顯示溫度較高的位置，這樣就可以通過紅外與可見光圖像的融合，實(shí)現(xiàn)對(duì)危險(xiǎn)區(qū)域的有效監(jiān)控。

2　圖像融合的評(píng)價(jià)指標(biāo)

圖像融合后的質(zhì)量評(píng)價(jià)可以分為主觀質(zhì)量評(píng)價(jià)和客觀質(zhì)量評(píng)價(jià)。主觀質(zhì)量評(píng)價(jià)是由測(cè)試者根據(jù)已有的知識(shí)和評(píng)價(jià)標(biāo)準(zhǔn)對(duì)融合后的圖像進(jìn)行評(píng)價(jià)。該方法容易受到測(cè)試者的已有經(jīng)驗(yàn)和主觀心理等影響，而且實(shí)施起來比較困難，對(duì)實(shí)時(shí)性要求高的場(chǎng)景該方法難以實(shí)現(xiàn)?？陀^質(zhì)量評(píng)價(jià)是利用圖像的參數(shù)和一些評(píng)價(jià)指標(biāo)自動(dòng)地對(duì)圖像進(jìn)行評(píng)價(jià)?？陀^質(zhì)量評(píng)價(jià)方法可以為兩大類，無參考和有參考。所謂無參考是指直接利用融合后的圖像自身的一些屬性，例如圖像的熵、標(biāo)準(zhǔn)差、空間頻率等特征進(jìn)行評(píng)價(jià)。有參考的又可以細(xì)分為兩類，一類是和融合前的源圖像進(jìn)行比較，如通過互信息，交叉熵等指標(biāo)進(jìn)行比較，另一類是和標(biāo)準(zhǔn)圖像進(jìn)行比較，可以利用結(jié)構(gòu)相似度、均方根誤差、相關(guān)系數(shù)等指標(biāo)進(jìn)行評(píng)價(jià)。

常用的融合圖像的評(píng)價(jià)指標(biāo)[2-3]：

（1）評(píng)價(jià)像素強(qiáng)度（Average Pixel Intensity，API）或

（2）標(biāo)準(zhǔn)差（Standard Deviation，SD）是方差的平方根，反映數(shù)據(jù)的分布:

（3）平均梯度（Average Gradient，AG），是反映圖像的清晰度：

AG=

（4）熵（Entropy，H），是反映圖像所含的信息量，H=其中pk代表圖像像素值是k的發(fā)生的概率。

（5）互信息量（Mutual Information，MI）是描述融合圖像和兩幅源圖像之間的總的信息量，即MI=MIAF+ MIBF，其中

（6）信息對(duì)稱或融合對(duì)稱（Fusion Symmetry）是用來衡量源圖像和融合圖像之間的對(duì)稱信息：

（7）相關(guān)系數(shù)（Correlation Coefficient，CC）是用來測(cè)量源圖像與融合圖像的關(guān)聯(lián)程度，CC=（rAF+rBF）/2，其中：

（8）空間頻率（Spatial Frequency，SF），是用來測(cè)量圖像活動(dòng)區(qū)域的整體信息級(jí)別其中：

除了這些客觀評(píng)價(jià)指標(biāo)外，有些評(píng)價(jià)指標(biāo)是基于梯度信息的。這些信息提供了量化和深度分析融合算法的性能：總的融合信息，融合丟失的信息量，融合產(chǎn)生的人為信息，分別用QAB/F，LAB/F和NAB/F來表示，其中QAB/F代表從源圖像轉(zhuǎn)移到融合圖像的總信息量，LAB/F代表總的丟西信息量，NAB/F代表在融合過程中的噪聲和人為信息量，這三者的和應(yīng)為1[4]，即QAB/F+LAB/F+ NAB/F=1，但通常情況這三者的和不為1，文獻(xiàn)[5]提出了對(duì)噪聲進(jìn)行修訂，將NAB/F修訂為：梯度大于源圖像A和B位置對(duì)應(yīng)的梯度時(shí)，AMi，j的值取為1。和分別代表圖像A，B和F的邊信息強(qiáng)度。和分別代表從源圖像A和B中保留的梯度信息。和分別代表源圖像A和B的權(quán)重信息。和這些參數(shù)的計(jì)算詳見[5]，修訂融合過程引入的人為噪聲測(cè)量的方法后，公式可定義為

3　圖像融合算法的分類

圖像融合的流程一般包括對(duì)輸入圖像的預(yù)處理，特征提取，識(shí)別與決策，數(shù)據(jù)關(guān)聯(lián)，采用不同的算法進(jìn)行融合。圖像融合算法可分為三個(gè)層次像素級(jí)、特征級(jí)和決策級(jí)[6]。像素級(jí)融合是最低層次的融合，基于原始圖像的像素進(jìn)行，因此能提供精確、全面的信息，但處理的數(shù)據(jù)量比較大。特征級(jí)圖像融合是先對(duì)輸入圖像基于不同的方法提取圖像特征，再對(duì)提取的特征進(jìn)行融合，這種方法處理的數(shù)據(jù)量減少，便于一些有實(shí)時(shí)要求的應(yīng)用場(chǎng)合。決策級(jí)像素融合是高層次的融合，首先對(duì)輸入的圖像進(jìn)行目標(biāo)特征提取，然后采用專家決策系統(tǒng)進(jìn)行判斷和識(shí)別，將有價(jià)值的信息進(jìn)行融合，這種方法對(duì)傳感器依賴性小，分析能力強(qiáng)，但特征提取代價(jià)較高[6]。

3.1像素級(jí)圖像融合的算法

像素級(jí)圖像融合是研究最廣泛的融合層次級(jí)別，融合算法可以分為三大類：一類是基于單個(gè)像素值，例如線性加權(quán)法、高通濾波器（High Pass Filtering，HPF）、主成分分析（Principle Component Analysis，PCA）、顏色空間變換HIS等；第二類是基于多分辨率分析方法，將圖像分成不同的頻率子帶，根據(jù)各子帶的頻率選擇合適的融合規(guī)則，融合后再按分解的逆過程重構(gòu)得到融合圖像，例如塔式分解和小波變換等方法；第三類是結(jié)合不同融合算法的特點(diǎn)，得到融合圖像。下面分析和研究幾種典型像素級(jí)算法的實(shí)現(xiàn)。

3.2基于主成分分析（PCA）融合算法的實(shí)現(xiàn)

PCA方法用于圖像融合，常用于作為近似圖像的融合準(zhǔn)則[7]。通過PCA方法找到待融合的近似圖像的主成分，然后根據(jù)主成分來確定各待融合圖像的權(quán)重。具體步驟如下：

（1）將近似圖像按照行優(yōu)先或者列優(yōu)先組成列向量，并計(jì)算協(xié)方差；

（2）根據(jù)協(xié)方差矩陣求取特征向量，確定第一主成分對(duì)應(yīng)的特征向量；

（3）根據(jù)第一主成分對(duì)應(yīng)的特征向量，確定各圖所應(yīng)該分配的權(quán)重。

假設(shè)有2幅圖像A、B進(jìn)行融合，其第一主成分對(duì)應(yīng)的特征向量設(shè)為（x，y）T，則圖A的權(quán)重分配為x/ （x+y），圖B的權(quán)重分配為y/（x+y）。

當(dāng)待融合的圖像的近似圖像的差異較小時(shí)，PCA方法通常能夠得到比較好的權(quán)重分配；但是當(dāng)待融合的圖像的近似圖像差異過大，即相關(guān)性較弱，往往不能準(zhǔn)確地分配權(quán)重，甚至?xí)?dǎo)致圖像嚴(yán)重失真。

下面基于PCA方法用MATLAB實(shí)現(xiàn)對(duì)office1和office2兩幅圖像進(jìn)行融合，效果圖如圖1所示，（a）和（b）代表融合前的圖像，（c）是融合后的圖像。該算法的性能指標(biāo)：API=80.3662；SD=59.4177；AG=8.3416；Entropy=7.5195；MIF =5.326 FSI =1.9787；Corr =0.9755；SF=14.2168（每個(gè)指標(biāo)的含義詳見本文第三部分）。

圖1　基于PCA的圖像融合算法

主要部分Matlab代碼如下：

…

C = cov（[im1（:）im2（:）]）;

[V，D] = eig（C）;

if D（1，1）＞= D（2，2）

pca = V（:，1）./sum（V（:，1））;

else

pca = V（:，2）./sum（V（:，2））;

imf = pca（1）*im1 + pca（2）*im2;…

3.3基于塔式分解的圖像融合算法的實(shí)現(xiàn)

多尺度變換將圖像分解為低頻和高頻子帶，低頻部分包含了主體能量，是圖像的近似，像素值的差異較小，主要描述灰度和紋理等信息，一般采取加權(quán)求平均。高頻子帶描述的是圖像的細(xì)節(jié)特征，主要報(bào)告邊緣和區(qū)域輪廓等信息，一般采用梯度規(guī)則算法。

圖像金字塔由一組低通或者帶通的圖像副本組成，包含了所有需要重構(gòu)原始圖像的信息。常見的金字塔由高斯金字塔、Laplacian金字塔、低通濾波金字塔、對(duì)比度金字塔、形態(tài)學(xué)金字塔、梯度金字塔等。

下面給出Gaussian金字塔和Laplacian金子塔對(duì)圖2 office（分辨率256×256）的分解過程及相應(yīng)的MATLAB實(shí)現(xiàn)，分解過程如圖3和圖4所示：

圖2　office（分辨率256×256）

圖3　Gaussian金字塔分解

圖4　Laplacian金字塔分解

Gaussian金字塔的分解：

MATLAB主要實(shí)現(xiàn)代碼：

…

g=[1/32 4/32 1/32;4/32 12/32 4/32;1/32 4/32 1/32];

g01=round（conv2（g00，g，'same'））;

g1=imresize（g01，0.5）;

…

Laplacian金字塔：

MATLAB主要實(shí)現(xiàn)代碼：

…

l01=imresize（g1，2）;

l0=g00-l01;

l02=imresize（g2，2）;

l1=g02-l02;

…

3.4基于小波分解的融合算法的實(shí)現(xiàn)

在計(jì)算機(jī)視覺中，基于像素空間的圖像表示方式（像素尺度）只適用于數(shù)據(jù)層面上的某些處理工作，而更多的情況，需要我們?cè)诤线m的尺度上提取圖像的特征，由于圖像中物體尺寸不同，不可能事先定義一個(gè)最優(yōu)的尺度去分析圖像，因此需要在多個(gè)尺度下去考慮圖像內(nèi)容。1987年，Mallat[8]和將多尺度分析思想引入到小波分析的研究中，提出了“多分辨率分析”概念，將傳統(tǒng)的小波理論和數(shù)字濾波器技術(shù)結(jié)合起來，不僅統(tǒng)一了此前各種具體小波的構(gòu)造方法，而且為小波變換的快速算法提供了理論依據(jù)。小波變換第一步是將信號(hào)分為低頻部分（稱為近似部分）和高頻部分（稱為細(xì)節(jié)部分）。近似部分代表了信號(hào)的主要特征。第二步對(duì)低頻部分再進(jìn)行相似運(yùn)算，尺度因此改變，依次進(jìn)行到所需要的尺度。下面使用離散小波變換對(duì)一組紅外圖像和可見光圖像進(jìn)行小波分解并實(shí)現(xiàn)圖像融合。紅外圖像和可見光圖像如圖5所示。

（a）IR image（紅外圖像）?。╞）Visual Image（可見光圖像）圖5　紅外圖像和可見光圖像

離散小波對(duì)可見光圖像的分解示意圖如圖6所示：

圖6　基于離散小波的可見光圖像的分解

分解中使用的小波及MATLAB實(shí)現(xiàn)代碼：

…

[LLV，LHV，HLV，HHV] = dwt2（IV，'db1'）;

…

離散小波對(duì)紅外圖像的分解示意圖如圖7所示。

對(duì)分解后的小波子帶進(jìn)行融合，融合后的各子帶通過逆小波變換得出最終融合的圖像，融合后的圖像效果如圖8所示。

圖7　基于離散小波的紅外圖像的分解

圖8　可見光與紅外融合后的圖像

逆小波變換的融合代碼如下：

…

IF = idwt2（ILLF，ILHF，IHLF，IHHF，'db1'）;

…

該融合算法的性能指標(biāo)為：API =0.4618；SD = 0.1111；AG =0.0357。

3.5綜合的圖像融合算法

基于像素重要性的圖像融合算法，對(duì)每幅圖像使用交叉雙邊濾波器[9]，根據(jù)像素的強(qiáng)度得到權(quán)重，最后對(duì)源圖像及加權(quán)系統(tǒng)進(jìn)行綜合得到融合圖像。

交叉雙邊濾波器的主要MATLAB實(shí)現(xiàn)代碼如下：

…

[MM，NN]=size（xm1）;

for ii=halfksize+1:MM-halfksize

for jj=halfksize+1:NN-halfksize

xtemp1 =xm1（ii -halfksize:ii +halfksize，jj -halfksize:jj + halfksize）;

xtemp2 =xm2（ii -halfksize:ii +halfksize，jj -halfksize:jj + halfksize）;

pixdiff=abs（xtemp2-xtemp2（halfksize+1，halfksize+1））;

rgk=exp（-（pixdiff.2/（2*（sigmar）2）））;

ycb（ii-halfksize，jj-halfksize）=sum（sum（xtemp1.*gk. *rgk））/sum（sum（gk.*rgk））;

end

end

…

當(dāng)采用不同的窗口大小，算法的性能如表1所示，表1窗口為13和11時(shí)算法的性能融合前的源圖像和融合后的圖像如圖9所示。

表1　窗口為13和11時(shí)算法的性能

（a）office 1　?。╞）office 2　?。╟）融合后的圖像圖9　綜合的融合圖像算法

4　結(jié)語

介紹了圖像融合傳感器的種類，分析了圖像融合算法的評(píng)價(jià)指標(biāo)和圖像融合算法的分類。在MATLAB平臺(tái)上編寫代碼，實(shí)現(xiàn)基于像素級(jí)別的塔式圖像分解融合算法，主成分分析圖像融合算法和小波圖像分解融合算法，并評(píng)價(jià)算法的性能指標(biāo)。

隨著信息融合技術(shù)的快速發(fā)展，圖像融合領(lǐng)域研究的熱點(diǎn)將聚焦于如下三個(gè)方面：

圖像配準(zhǔn)方法的研究：當(dāng)融合圖像分辨率存在較大差異時(shí)，能夠精確配準(zhǔn)是實(shí)現(xiàn)有效融合的前提，因此用適當(dāng)?shù)臄?shù)學(xué)模型實(shí)現(xiàn)有效的配準(zhǔn)方法是當(dāng)前研究的一大熱點(diǎn)。

圖像融合方法的研究：主要體現(xiàn)在兩方面，一方面是圖像分解方法的研究，例如多分辨率分解，分解層數(shù)的多少直接影響到圖像融合的最終質(zhì)量。另一方面是圖像融合規(guī)則的研究，這兩方面以不同的方式相結(jié)合將會(huì)產(chǎn)生不同的融合效果，研究每一部分的功能特征也是當(dāng)前研究的熱點(diǎn)。

圖像融合評(píng)價(jià)性能指標(biāo)的研究：圖像融合的評(píng)價(jià)分為主觀評(píng)價(jià)和客觀評(píng)價(jià)，隨著應(yīng)用場(chǎng)景的復(fù)雜化，客觀評(píng)價(jià)的應(yīng)用將越來越廣泛，有效的通用的客觀評(píng)價(jià)性能指標(biāo)有待進(jìn)一步的研究。

參考文獻(xiàn)：

[1]李暉暉.多傳感器圖像融合算法研究[D].西安：西北工業(yè)大學(xué), 2006.

[2]Shah, P., Merchant, S.N., Desai, U.B.: Fusion of Surveillance Images In Infrared and Visible Band Using Curvelet, Wavelet and Wavelet Packet Transform. Int. J. Wavel. Multiresol. Inf. Process. 8（2）, 271-292（2010）

[3]Shah, P., Merchant, S.N., Desai, U.B.: An Efficient Adaptive Fusion Scheme for Multifocus Images in Wavelet Domain Using Statistical Properties Of Neighborhood. In: Proceedings of the 14th International Conference on Information Fusion, pp. 1-7, July 2011

[4]Shreyamsha Kumar, B.K.: Multifocus and Multispectral Image Fusion Based on Pixel Significance Using Discrete Cosine Harmonic Wavelet Transform. J. SIViP（2012）. doi:10.1007/s11760-012-0361-x

[5]Petrovic,V., Xydeas,C.: Objective Image Fusion Performance Characterization. In: Proceedings of the International Conference on Computer Vision（ICCV）, vol. 2, pp. 1866-1871（2005）

[6]Ardeshir Goshtasby A, N ikolov S. Guest Editorial: Image fusion: Advances in the State of the Art[J]. Information Fusion, 2007, 8 （2）:114-118.

[7]ZHENG You-zhi, HOU Xiao-dong, BIAN Tian-tian, et al. Effective Image Fusion Rules of Multi-scale Image Decomposition[C]. Proc. of the 5th International Symp. on Image and Signal Processing and Analysis. Istanbul, Turkey: [s. n.], 2007.

[8]Mallat S G. Multiresolution Approximations and Wavelet Orthonormal Bases of L2（R）[J]. Transactions of the American Mathematical Society, 1989, 315（1）: 69-87.

[9]B. K. Shreyamsha Kumar：Image Fusion Based On Pixel Significance Using Cross Bilateral Filter.J. SIViP（2015）9:1193-1204.DOI 10.1007/s11760-013-0556-9.

Analysis and Implementation of Image Fusion Algorithm

TANG Li-juan1，2，SUN Ke-zheng1
（1．Jiangsu Vocational College of Business，Nantong 226011；2．School of Information and Electrical Engineering，China University of Mining and Technology，Xuzhou 221116）

Abstract：Image fusion, as an important branch of multi sensor information fusion, is widely used in various fields. And image fusion has become an integral part of the monitoring system. Analyzes the types of image fusion sensors, the evaluation index of image fusion algorithm and the classification of image fusion algorithms. Pixel level image fusion can provide richer，more accurate and reliable information for further analysis and processing of the image. Studies the pyramid image decomposition, principal component analysis and wavelet image decomposition and fusion algorithms, and evaluates the performance of the algorithms. Finally, fuses a set of passive infrared image and visible light image by wavelet decomposition algorithm，and evaluates the performance of the algorithm.

Keywords：Image Fusion; Evaluation Index; Fusion Algorithm; Programming

收稿日期：2016-01-07修稿日期：2016-02-23

作者簡介：湯麗娟（1982-），女，江蘇連云港人，在讀博士，研究方向?yàn)閳D像處理、機(jī)器學(xué)習(xí)、信息安全

文章編號(hào)：1007-1423（2016）10-0042-07

DOI：10.3969/j.issn.1007-1423.2016.10.010

基金項(xiàng)目：南通市科技計(jì)劃項(xiàng)目（No.BK2014022）