多源圖像融合技術(shù)研究＊

徐思寧 王世立 程威敏 管衛(wèi)亮

（91336部隊(duì) 秦皇島 066326）

1 引言

隨著計(jì)算機(jī)、電子信息等技術(shù)的迅速發(fā)展，傳感器技術(shù)也得到飛速發(fā)展。多傳感器的使用導(dǎo)致所需處理的信息量增加并且呈現(xiàn)復(fù)雜多樣性，傳統(tǒng)的信息處理方法現(xiàn)已無法應(yīng)對(duì)現(xiàn)狀。信息融合應(yīng)運(yùn)而生，所謂信息融合，是指對(duì)來自多個(gè)傳感器的多源信息進(jìn)行多級(jí)別、多方面和多層次的處理與綜合，從而獲得更豐富、更精確、更可靠的有用信息［1］。圖像融合是信息融合范疇內(nèi)主要以圖像為對(duì)象的研究領(lǐng)域，通過綜合提取各輸入圖像的信息，形成統(tǒng)一的圖像或數(shù)據(jù)來控制其他系統(tǒng)或指導(dǎo)決策［2］。

圖像融合是指將兩個(gè)或兩個(gè)以上的傳感器在同一時(shí)間（或不同時(shí)間）獲取的關(guān)于某個(gè)具體場(chǎng)景的圖像或者圖像序列信息綜合，以生成一個(gè)新的關(guān)于此場(chǎng)景的解釋的信息處理過程［3］。根據(jù)圖像融合在處理過程中所處的階段，從目標(biāo)識(shí)別層上，多源圖像融合可分為三個(gè)層次：像素級(jí)融合、特征級(jí)融合和決策級(jí)融合［4］。根據(jù)圖像源的不同，多源圖像融合可大致分為多傳感器圖像融合、遙感圖像融合和多聚焦圖像融合。長(zhǎng)期對(duì)多源圖像融合的研究發(fā)現(xiàn)，很難提出一種能夠適應(yīng)各類圖像源的圖像融合算法，因此實(shí)際應(yīng)用中一般針對(duì)不同的圖像源設(shè)計(jì)不同的圖像融合算法。本文首先介紹了常用的圖像融合算法，而后針對(duì)單一算算法難以達(dá)到要求，提出了圖像二次融合模型。

2 多源圖像融合常用算法

目前常用的多源圖像融合算法主要有加權(quán)平均法、IHS變換法、高通濾波（HPF）法、金字塔圖像融合法、小波變換法［5］。

2.1 加權(quán)平均法［6］

加權(quán)平均法是對(duì)配準(zhǔn)后的兩幅待融合圖像中各對(duì)應(yīng)像素做加權(quán)平均處理，融合成一幅新的圖像。設(shè)A、B為待融合圖像，大小為M×N，F(xiàn)為融合后的圖像，則加權(quán)平均算法可表示為

式中：m和n分別為圖像中像素的行號(hào)和列號(hào)，m＝1，2，…，M；n＝1，2，…，N。ω1和ω2為加權(quán)系數(shù)，ω1＋ω2＝1。

該算法的最大優(yōu)點(diǎn)是簡(jiǎn)單、運(yùn)算速度快，此外還可以抑制源圖像中的噪聲。因?yàn)樗邢袼鼗叶冗M(jìn)行加權(quán)平均，所以抑制了圖像中的顯著部分，導(dǎo)致對(duì)比度降低。而且，當(dāng)融合圖像的灰度差異教大時(shí)，就會(huì)出現(xiàn)明顯的拼接痕跡。

2.2 IHS變換法［7］

IHS變換的主要思想就是用一副圖像替換另一幅圖像的一個(gè)分量。如用高分辨率全色圖像直接替換多光譜圖像的I分量來提高多光譜圖像的空間分辨率。

該算法一般用于遙感圖像融合中，對(duì)特征性強(qiáng)和特征差異大的數(shù)據(jù)間融合有較好的效果，但融合結(jié)果的光譜特性可能會(huì)有扭曲。

2.3 高通濾波（HPF）法［8］

高通濾波法是將高分辨率圖像通過高通濾波器濾除低頻信息得到圖像的高頻信息，然后將這些高頻信息疊加到多光譜圖像中，從而提高多光譜圖像的空間分辨率。

該算法的優(yōu)點(diǎn)是在自動(dòng)消除高分辨率圖像的低頻噪聲的同時(shí)增強(qiáng)了圖像的邊緣，多光譜圖像的空間分辨率有效地得到提高。但是高通濾波導(dǎo)致部分細(xì)節(jié)的損失，使得分辨率有一定損失，同時(shí)高通濾波也會(huì)帶來噪聲。

2.4 金字塔圖像融合法

金字塔圖像融合法就是將配準(zhǔn)后的每幅待圖像作金字塔變換，得到每幅圖像的金字塔變換，將金字塔變換系數(shù)在各相應(yīng)層上以一定的融合規(guī)則進(jìn)行運(yùn)算，可得到合成的金字塔變換系數(shù)。將合成的金字塔做逆變換可得到融合圖像［9］。常用的金字塔有拉普拉斯金字塔、對(duì)比度金字塔、梯度金字塔。

2.5 小波變換法

小波變換將待融合圖像分解成一系列具有不同方向分辨率和頻率特性的子圖像，能夠反映待融合圖像的局部變化特征，因此小波變換具有空間和頻率局部性。而且它的基函數(shù)可以根據(jù)實(shí)際問題的需要進(jìn)行設(shè)計(jì)，體現(xiàn)了它在應(yīng)用方面的靈活性［10］。

該算法融合的流程為：將配準(zhǔn)后的待融合圖像進(jìn)行小波分解，獲得不同分辨率下的小波系數(shù)；根據(jù)不同源圖像的特點(diǎn)選取融合規(guī)則，分別對(duì)小波每一分解層每一系數(shù)進(jìn)行合成，獲得合成的各層小波系數(shù)序列；由合成的各層小波系數(shù)序列小波重構(gòu)得到融合圖像。

小波變換法在信號(hào)分解和重建過程中不產(chǎn)生信息的丟失和冗余，因此有效地增強(qiáng)了圖像的空間細(xì)節(jié)表現(xiàn)能力，保持了圖像融合前后的光譜特性。

3 圖像二次融合模型

雖然融合算法很多，但是沒有一種算法是完美的，都存在自身的缺點(diǎn)，如加權(quán)平均算法降低圖像的清晰度、模糊邊緣和輪廓，金字塔變換算法增加運(yùn)算數(shù)據(jù)量，小波變換算法模糊圖像清晰區(qū)域等?；谝陨蠁栴}，本文提出一種新的圖像融合模型，稱作圖像二次融合。圖像二次融合的主要思想就是對(duì)兩幅圖像分別用兩種融合算法進(jìn)行圖像融合得到兩個(gè)融合結(jié)果，然后對(duì)兩個(gè)融合結(jié)果再進(jìn)行一次像素選擇的運(yùn)算得到最終融合圖像。其主要目的是通過利用融合算法之間的互補(bǔ)性來彌補(bǔ)各自融合算法的缺點(diǎn)。原理框圖如圖1所示。

圖1 圖像二次融合原理框圖

圖像二次融合效果的好壞主要取決于兩個(gè)融合算法的選取和像素選擇算法的選取。兩個(gè)融合算法要具有一定的互補(bǔ)性，如加權(quán)平均融合算法和梯度選大融合算法，加權(quán)平均融合算法模糊了圖像的邊緣和輪廓，而梯度選大融合算法是選取清晰的邊緣作為融合圖像的邊緣，彌補(bǔ)了加權(quán)平均算法的缺點(diǎn)，通過像素選擇算法選取對(duì)比度大、清晰的像素作為最終的融合結(jié)果，可以提高融合效果。本文以這兩種算法為例，對(duì)該思想進(jìn)行實(shí)驗(yàn)驗(yàn)證。

考慮到圖像二次融合的計(jì)算量，本文采用簡(jiǎn)單的梯度運(yùn)算方法，如下

梯度選大融合算法的思想是通過比較各像素點(diǎn)的梯度值，選取梯度值大的對(duì)應(yīng)的像素作為融合圖像的像素值，其過程如下

fA（x，y）、fB（x，y）分別為圖像A、B在像素f（x，y）處的梯度。

令LP為圖像某一像素的灰度，LB為其對(duì)應(yīng)的3×3窗口內(nèi)像素灰度值的平均值，以此來計(jì)算每一像素的對(duì)比度C＝LP／LB。令F（x，y）表示融合圖像的像素值，A′（x，y）、B′（x，y）表示經(jīng)加權(quán)平均和梯度選大的融合算法融合后的圖像的像素值，CA、CB表示融合后的圖像的對(duì)比度。則像素選擇法為

通過上述方法可以得到最終融合圖像F。

4 實(shí)驗(yàn)結(jié)果

選取多聚焦圖像作為本文實(shí)驗(yàn)圖像，如圖2（a）和圖2（b）所示。圖2（c）和圖2（d）為加權(quán)平均融合和梯度選大算法結(jié)果，圖2（e）為圖像二次融合結(jié)果。觀察分析圖像可知圖像二次融合所獲得的圖像優(yōu)于單一算法獲取的圖像。

圖2 實(shí)驗(yàn)圖像

從量化結(jié)果上可以看出，本文提出的圖像二次融合算法獲得的圖像標(biāo)準(zhǔn)差、平均梯度和熵比加權(quán)平均、梯度選大算法都要高，說明提出的融合方法融合結(jié)果的灰度級(jí)更分散，圖像更清晰，所含信息量更大。

表1 融合效果具體量化指標(biāo)比較

5 結(jié)語

圖像融合在我國(guó)起步較晚，雖然已經(jīng)獲得一些成就，但是技術(shù)還未發(fā)展成熟，沒有形成一個(gè)完整的理論體系。本文對(duì)圖像融合算法進(jìn)行研究，介紹了常用算法，并提出圖像二次融合模型，實(shí)驗(yàn)仿真證明此模型具有一定的效果。但是此模型因計(jì)算量較單一算法大，故適應(yīng)于對(duì)實(shí)時(shí)性要求較低的系統(tǒng)中，有待改進(jìn)。

［1］馬金福.多源圖像融合技術(shù)與應(yīng)用研究［D］.西安：西安科技大學(xué)，2009：4－6.

［2］敬忠良，肖剛.圖像融合——理論與應(yīng)用［M］.北京：高等教育出版社，2007：3－4.

［3］郝松傲.熱紅外圖像與可見光圖像的配準(zhǔn)與融合［J］.四川測(cè)繪，2008，20（3）：46－48.

［4］閆敬文，卓琳，屈小波.圖像融合研究最新進(jìn)展［J］.廈門理工學(xué)院學(xué)報(bào)，2007，15（4）：44－49.

［5］毛士藝，趙巍.多傳感器圖像融合綜述［J］.北京航空航天大學(xué)學(xué)報(bào)，2002（5）：512－518.

［6］張寅玥，付煒.多源遙感圖像融合算法研究［J］.電子測(cè)量技術(shù)，2010，33（6）：35－36.

［7］李弼程，魏俊，彭天強(qiáng).基于HIS變換與小波變換的遙感圖像融合［J］.數(shù)據(jù)采集與處理，2003，3（6）：268－272.

［8］Emmanuel J.Candes，Laurent demanet.The curvelet represention of wave propagators is optim ally sparse［J］.Communications on Pure and Applied Mathematics，2005，58（11）：1472－1528.

［9］夏明革，何友，唐小明，等.多傳感器圖像融合綜述［J］.電光與控制，2002，9（4）：5－6.

［10］孫延奎.小波分析及應(yīng)用［M］.北京：機(jī)械工業(yè)出版社，2005：126－135.