淺談圖像融合算法

張鋮方，閆皓輝

（西華大學(xué)無(wú)線電管理技術(shù)研究中心，成都　610039）

淺談圖像融合算法

張鋮方，閆皓輝

（西華大學(xué)無(wú)線電管理技術(shù)研究中心，成都610039）

0　引言

隨著圖像傳感器技術(shù)的不斷發(fā)展，所采集到的多模態(tài)圖像具有更豐富的信息，圖像融合就成為圖像處理領(lǐng)域重要的研究?jī)?nèi)容之一。圖像融合是利用給定方法將同一目標(biāo)場(chǎng)景的兩幅圖像變成一幅包含豐富信息的圖像，融合后的圖像包含了原始圖像的所有信息。由于像素級(jí)融合具有融合過程簡(jiǎn)單，實(shí)現(xiàn)方便的優(yōu)點(diǎn)，已成為目前國(guó)內(nèi)外的主要研究焦點(diǎn)。圖像融合技術(shù)應(yīng)用非常廣泛，目前，已廣泛應(yīng)用于醫(yī)學(xué)、遙感等領(lǐng)域。本文首先簡(jiǎn)單地介紹圖像融合系統(tǒng)和結(jié)構(gòu)；其次闡述了近年來幾種主流的融合方法，著重介紹了基于聯(lián)合稀疏模型的融合方法；最后，簡(jiǎn)述幾種常用的圖像融合評(píng)價(jià)指標(biāo)。

1　圖像融合簡(jiǎn)介

1.1圖像融合系統(tǒng)

以往的傳感器所獲取圖像信息是有限的，這樣的話很難滿足當(dāng)前的要求。隨著傳感器種類的增多，所獲得的圖像信息也變得多樣，并且信息的內(nèi)容更加復(fù)雜。圖像融合技術(shù)可將這些復(fù)雜的信息整合在一起，并有利于人們對(duì)圖像目標(biāo)進(jìn)行進(jìn)一步的識(shí)別、檢測(cè)。圖像融合系統(tǒng)如圖1所示。

圖1　圖像融合系統(tǒng)

1.2圖像融合分層結(jié)構(gòu)

圖像融合的結(jié)構(gòu)一般分為三個(gè)層次：像素級(jí)融合、特征級(jí)融合、決策級(jí)融合，如圖2所示。像素級(jí)融合是最簡(jiǎn)單也是最直接的一種融合方法，即直接將從圖像傳感器獲得的圖像數(shù)據(jù)進(jìn)行處理而獲得融合圖像，其融合算法有PCA和小波分解融合法等；特征級(jí)融合首先獲得圖像的不同特征，然后利用某些算法融合圖像的這些特征；決策級(jí)融合是最高級(jí)的融合，融合方法有基于貝葉斯法的決策級(jí)融合等。

圖2　圖像融合的三層結(jié)構(gòu)

2　融合方法

像素級(jí)融合是目前圖像融合領(lǐng)域研究的熱點(diǎn)，并且保存了較完全的原始圖像數(shù)據(jù)。因此，本文主要介紹像素級(jí)圖像融合的一些方法。

自圖像融合技術(shù)提出以來,許多像素級(jí)的融合方法被提出，主要分為空間域算法和變換域算法。下面主要介紹這兩種常用的融合方法。

2.1空間域融合算法

（1）基于IHS空間的圖像融合算法［1］

基于IHS空間的圖像融合是像素級(jí)融合中最常用的方法，也是最早提出的一種利用偽彩色的融合方法，其基本思想是利用IHS變換快速的特點(diǎn)將待融合圖像先進(jìn)行IHS變換，然后使用特定的規(guī)則進(jìn)行融合，最后使用IHS逆變換變成RGB圖像。具體融合框圖如圖3所示。

圖3　基于HIS變換的圖像融合框圖

從RGB變換到IHS的公式為：

IHS反變換公式如下：

（2）加權(quán)平均融合方法［2］

加權(quán)平均法是最簡(jiǎn)單且執(zhí)行效率最高的融合方法?；舅枷胧峭ㄟ^設(shè)定各自的比重系數(shù)，將兩幅圖像的不同信息進(jìn)行線性相加。待融合圖像記為A和B，融合圖像為F，則具體的融合過程用公式表示為：

其中，ω1，ω2為加權(quán)系數(shù)，ω1+ω2=1。

雖然加權(quán)平均法執(zhí)行效率高，但在對(duì)于多模態(tài)圖像，該方法使得圖像中的輪廓變模糊，融合效果變得很差。主成量分析方法（PCA）是常用的一種加權(quán)平均融合方法，不僅通過降維使得圖像融合過程的計(jì)算量減少，而且在一定程度上抑制噪聲。

2.2變換域融合算法

基于變換域的圖像融合方法的基本思想：首先對(duì)兩幅輸入的多模態(tài)圖像進(jìn)行相應(yīng)的變換（如小波變換、NSCT等），并得到分解后的系數(shù)；然后將系數(shù)按一定的融合規(guī)則進(jìn)行融合；最后對(duì)融合后的系數(shù)使用與第一步相對(duì)應(yīng)的逆變換重構(gòu)，進(jìn)而獲得融合后的圖像?；诙喑叨茸儞Q的融合算法框圖如圖4所示。

（1）基于金字塔分解的圖像融合［3］

金字塔分解包括:拉普拉斯金字塔變換、形態(tài)學(xué)金字塔變換等。Burt等人首次提出基于拉普拉斯塔式的圖像融合。基于金字塔變換的融合方法的基本思想是利用塔式分解方式獲得原始圖像在不同空間分辨率上的特征，并用系數(shù)表示。這種方式相比于空間域，更能突出圖像的豐富信息。也就能夠獲得更優(yōu)的融合效果。經(jīng)過塔式分解后，圖像各層間的數(shù)據(jù)存在大量的冗余信息。雖然融合效果優(yōu)于空間域，但是這些冗余信息會(huì)導(dǎo)致圖像的主觀識(shí)別能力減弱。而且，當(dāng)待融合圖像在損失了較多的高頻信息的情況下，重構(gòu)時(shí)易造成邊緣和輪廓模糊，影響判別。

圖4　基于多尺度分解的圖像融合算法框圖

（2）基于小波變換的圖像融合［4］

相比于金字塔分解，小波變換解決了塔式分解中存在的冗余信息的缺點(diǎn)，同時(shí)提取圖像低頻信息和高頻信息，在理論上比傳統(tǒng)的拉普拉斯金字塔融合方法具有更好的效果。Ranchi等人首次將小波變換應(yīng)用圖像融合中并取得較好的融合效果。與基于塔式分解的融合方法相似，基于小波變換的圖像融合算法首先通過小波變換將原始圖像分解為具有不同空間分辨率的子圖像；然后對(duì)低頻和高頻系數(shù)分別使用不同的融合規(guī)則；將融合后的系數(shù)經(jīng)過小波逆變換獲得融合后的圖像。具體算法框圖如圖5。

圖5　基于小波變換的圖像融合算法框圖

（2）基于NSCT的圖像融合［5］

NSCT是Contourlet變換的一種變形，NSCT可以較好地提取圖像邊緣輪廓信息。Jingjing Wang等人利用NSCT的平移不變性特點(diǎn)，將NSCT和PCNN結(jié)合在一起并應(yīng)用到圖像融合?；贜SCT的圖像融合的基本思想和基于小波變換的圖像融合相似，首先通過NSCT分解原始圖像；然后對(duì)低頻和高頻系數(shù)分別使用不同的融合規(guī)則；將融合后的系數(shù)經(jīng)過NSCT逆變換獲得融合后的圖像?；贜SCT的圖像融合方法框圖如圖6所示。

圖6　基于NSCT的圖像融合算法框圖

（3）基于稀疏表示的圖像融合［6］

自從2006年壓縮感知理論被提出，信號(hào)的稀疏表示理論已經(jīng)引起了廣大研究者的興趣，并且將該理論應(yīng)用到圖像處理的各個(gè)領(lǐng)域（去噪、融合、超分辨）。李樹濤首次提出基于稀疏表示的圖像融合算法，并將該方法應(yīng)用到多聚焦圖像的融合。在文獻(xiàn)［6］中是首先將兩幅原始圖像通過窗口滑塊技術(shù)變成圖像塊；然后利用過完備的DCT（Discrete cosine transformation）字典，使用OMP算法對(duì)所得的圖像塊進(jìn)行稀疏分解，得到相對(duì)應(yīng)的稀疏系數(shù)；其次選取L1范數(shù)大作為融合規(guī)則，獲得融合系數(shù)；最后將獲得的融合系數(shù)和DCT字典作用于OMP重建出融合圖像?；谙∈璞硎镜膱D像融合框圖如圖7所示。

圖7　基于稀疏表示的圖像融合算法框圖

雖然基于稀疏表示的圖像融合效果優(yōu)于基于多尺度變換的圖像融合方法，但是該方法沒有考慮到待融合圖像之間的聯(lián)系，而且計(jì)算效率不高，與此同時(shí)，文獻(xiàn)［6］只是用DCT作為字典，并沒有使用學(xué)習(xí)的策略獲得更加冗余的字典。

（4）基于聯(lián)合稀疏表示的圖像融合［8］

針對(duì)于單純的基于稀疏表示的圖像融合沒有考慮輸入圖像之間的聯(lián)系，文獻(xiàn)［9］在分布式壓縮感知理論（DCS）的基礎(chǔ)上提出三種不同的聯(lián)合稀疏模型，即JSM-1，JSM-2和JSM-3。目前，JSM-1以其簡(jiǎn)單的理論思路，已成為目前基于聯(lián)合稀疏模型的圖像融合算法中最常用的一種模型。在JSM-1模型中，圖像信號(hào)包括共同分量和特征分量，并且是兩者之和。2011年Haitao Yin等人首次提出基于聯(lián)合稀疏表示的圖像融合，文獻(xiàn)［8］中采取的策略是：首先提取圖像的公共特征和各自特征，并采用K-SVD算法［10］訓(xùn)練字典，然后將JSM應(yīng)用到紅外、醫(yī)學(xué)、毫米波等的圖像融合，由于考慮了輸入的兩幅圖像間的相似性，融合效果優(yōu)于基于稀疏表示的圖像融合?；诼?lián)合稀疏表示的圖像融合的框圖如圖8所示。

圖8　基于聯(lián)合稀疏模型的圖像融合算法框圖

3　融合規(guī)則

不管是基于空間域還是基于變換域的圖像融合，都涉及融合規(guī)則的選擇問題。基于空間域的融合常用的融合規(guī)則是取大。這里主要關(guān)注基于稀疏表示和聯(lián)合稀疏模型的系數(shù)融合規(guī)則。文獻(xiàn)［6］給出了基于稀疏表示的圖像融合的融合規(guī)則，文獻(xiàn)［7］和文獻(xiàn)［10］分別給出了兩種不同的基于聯(lián)合稀疏模型的圖像融合的融合準(zhǔn)則，如下所示：

文獻(xiàn)［6］中，Ak=‖sk‖1，sk是第k個(gè)源圖像第i列稀iii疏系數(shù)，s是融合圖像第i列稀疏系數(shù)。文獻(xiàn)［7］中，和ki分別為稀疏表示系數(shù)矩陣sC和的第i列，sF為融i合圖像的稀疏系數(shù)矩陣sF的第i列。τ=1/1+exp｛-β（‖（）‖2-‖（x2）‖2）｝），（β＞0））。=x1-m1，x2=x2-m2，m1，m2表示每塊的均值。文獻(xiàn) ［10］中，L表示源圖像的所有塊中局部強(qiáng)度值的個(gè)數(shù)，p1，p2是對(duì)應(yīng)的調(diào)整不同源圖像重要性的權(quán)重指數(shù)。

4　融合評(píng)估方法

融合效果的評(píng)價(jià)大致分為兩種，即主觀感覺評(píng)估和客觀評(píng)估。目前以客觀評(píng)估為主，文中同樣主要介紹融合的客觀評(píng)價(jià)。客觀評(píng)價(jià)指標(biāo)有許多，常用的有信息熵、互信息、平均梯度、Qabf等。下面簡(jiǎn)單介紹幾種常用的評(píng)價(jià)指標(biāo)

（1）互信息［11］

互信息是信息論的概念，延伸到圖像領(lǐng)域，表示兩幅圖像灰度分布信息的相關(guān)性。假設(shè)待融合的兩幅圖像為A、B，經(jīng)過融合后的圖像為F，那么，互信息為：

其中PA，F(xiàn)（i，j）和PB，F(xiàn)（i，j）分別為兩組圖像的聯(lián)合灰度分布，L是圖像總的灰度級(jí)數(shù)。

由式（5）和式（6）可以得出，融合圖像與原始兩幅圖像的互信息為：

式（7）表明，互信息值越大，圖像F從源圖像A和B中獲得的信息越多，表明融合后的圖像內(nèi)容越豐富，進(jìn)而融合的效果越好。

（2）邊緣信息保留值［12］

A、B為源圖像，F(xiàn)為融合圖像，則Qabf的計(jì)算公式如下：

QAF和QBF分別為圖像A、圖像B和融合圖像F的邊緣信息保留值。ωA和ωB為權(quán)值。M和N為圖像的高與寬。

（3）Piella融合質(zhì)量標(biāo)準(zhǔn)［13］

Piella和Heijmans提出了一種新的圖像融合質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)，該標(biāo)準(zhǔn)主要基于通用圖像融合指數(shù)（UIQI），以更精細(xì)的加權(quán)平均方式度量了融合圖像的UIQI。

PFQM體系包括了圖像融合質(zhì)量指數(shù)（Image Fusion Quality Index，IFQI），加權(quán)融合質(zhì)量指數(shù)（Weighted Fusion Quality Index，WFQI）和邊緣相關(guān)融合質(zhì)量指數(shù)（Edge-dependent Fusion Quality Index，EFQI）。圖像融合質(zhì)量指數(shù)（IFQI）定義為：

其中ω表示各窗口，λ（ω）為對(duì)應(yīng)窗口間的權(quán)值：

s（A|W）和s（B|W）分別為源圖像A和B在窗口ω中的顯著性度量，一般用對(duì)比度、尖銳度或熵等數(shù)值表示。上式認(rèn)為圖像各個(gè)局部塊的重要性是相同的，因此做了算術(shù)平均處理。但實(shí)際上圖像各個(gè)部分的顯著性是不一樣的，顯著性高的部分對(duì)應(yīng)了更加重要的信息，因此評(píng)價(jià)融合質(zhì)量時(shí)應(yīng)該將圖像各部分按重要性區(qū)分對(duì)待?；诖怂枷?，Piella定義了各窗口的總體顯著性：

基于圖像各局部塊的總體顯著性，加權(quán)融合質(zhì)量指數(shù)（WFQI）的定義為：

其中，c（ω）為權(quán)重，衡量了個(gè)窗口的重要性，其形式如下：

為了突出邊緣圖像對(duì)于人類視覺系統(tǒng)的重要性，Piella進(jìn)一步提出了邊緣相關(guān)融合質(zhì)量指數(shù)（EFQI）：

QE（A，B，F(xiàn)）=QW（A，B，F(xiàn)）1-α.QW（A'，B'，F(xiàn)'）α（14）

其中A'，B'，F(xiàn)'分別為圖像A，B，F(xiàn)的邊緣圖像，α為控制參數(shù)，決定了原圖像和邊緣圖像的WFQI的比例。

5　結(jié)語(yǔ)

由于分布式壓縮感知理論和聯(lián)合稀疏表示的不斷研究，基于聯(lián)合稀疏模型的圖像融合已經(jīng)成為逐步成為圖像融合領(lǐng)域的主流，目前，該基于該方法的圖像融合已應(yīng)用到醫(yī)學(xué)、軍事等領(lǐng)域，并取得了一定的效果。但是，還存在一些的難題：

（1）目前的圖像融合主要是以像素級(jí)為主，很少涉及到更高一層的融合，由于像素級(jí)融合面向的是圖像的像素，目前所研究的圖像像素比較少，如果將目前的像素級(jí)融合策略應(yīng)用到高分辨率圖像的融合，那么，就會(huì)造成計(jì)算開銷大、效率低等問題。

（2）圖像融合的前提需要進(jìn)行許多預(yù)處理操作，如，去噪、配準(zhǔn)等。但是，目前所針對(duì)的圖像，絕大部分是經(jīng)過完全配準(zhǔn)后的圖像。對(duì)于有噪聲或者沒有完全配準(zhǔn)的圖像融合的研究，很少有學(xué)者涉及。

（3）當(dāng)今的圖像傳感器種類多種多樣，所獲取的圖像蘊(yùn)含的信息也隨之增加。2D圖像已不能滿足醫(yī)學(xué)、軍事等方面的需求，3D圖像信息的融合逐漸成為信息融合的研究熱點(diǎn)。但目前關(guān)于3D圖像融合的方法很少，并且3D圖像融合還要考慮時(shí)間維度，這樣致使融合計(jì)算時(shí)間更長(zhǎng)，開銷更大。

針對(duì)以上所提的3個(gè)問題，本文提出三個(gè)相應(yīng)的解決辦法：

（1）對(duì)于效率低的問題，將多尺度變換和聯(lián)合稀疏表示結(jié)合應(yīng)用到圖像融合，首先將圖像進(jìn)行多尺度變換；然后利用所學(xué)的多尺度字典對(duì)變換后的多尺度圖像進(jìn)行系數(shù)分解；接著將所得到的稀疏系數(shù)通過融合規(guī)則得到融合獲得系數(shù)；最后利用多尺度反變換重構(gòu)出融合圖像。

（2）對(duì)于去噪和配準(zhǔn)的問題，將基于稀疏表示的圖像去噪和基于膜計(jì)算的圖像配準(zhǔn)算法引入到圖像預(yù)處理階段。

（3）對(duì)于開銷大的問題，可以采用并行處理，將并行計(jì)算的思想引入到圖像融合，減少計(jì)算時(shí)長(zhǎng)。

［1］Krista Amolins，Yun Zhang.Peter Dare.Wavelet Based Image Fusion Techniques—An Introduction，Review and Comparison［C］.ISPRS Jouenal of Photogrammetry&Remote Sensing，2007：249-263.

［2］Chavez，S.，Sides，C.，Anderson，A..Comparison of Three Different Methods to Merge Multiresolution and Multispectral Data:Landsat TM and SPOT Panchromatic［J］.Photogrammetric Engineering and Remote Sensing，1991，57（3）：295-303.

［3］韓瀟，彭力.基于改進(jìn)拉普拉斯金字塔的融合方法［J］.自動(dòng)化與儀器儀表，2014，5，191-194.

［4］樊華，等.改進(jìn)的IHS變換和小波變換相結(jié)合的圖像融合［J］.CT理論與應(yīng)用研究，2014，23（5），761-770.

［5］陳木生，蔡植善.基于NSCT的紅外與可見光圖像融合方法研究［J］.激光與光電子學(xué)進(jìn)展，2015，52（6），114-119.

［6］Bin Yang，Shutao Li.Multifocus Image Fusion and Restoration With Sparse Representation［J］.IEEE Transactions on Instrumentation and Measurement.2010，59（4）:884-892.

［7］Yin H，Li S.Multimodal Image Fusion with Joint Sparsity Model［J］.Optical Engineering，2011，50（6）:067007-067007-10.

［8］Duarte M F，et al.Distributed Compressed Sensing of Jointly Sparse Signals［C］.Asilomar Conf.Signals，Sys，Comput.2006:1537:1541.

［9］M.Aharon，M.Elad，A.Bruckstein.K-SVD:An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation［J］.IEEE Trans.Signal Process，2006，54（11）：4311-4322.

［10］Bin Yang，Shutao L.Visual Attention Guided Image Fusion with Sparse Representation［J］.Optik.2014，125（17）:4881-4888.

［11］G.H.Qu，D.L.Zhang，P.F.Yan.Information Measure for Performance of Image Fusion［J］.Electron.Lett.2002，38（7）:313-315.

［12］C.S.Xydeas.Objective Image Fusion Performance Measure［J］.Electron.Lett，2000，36（4）:308-309.

［13］G.Piella，H.Heijmans.A New Quality Metric for Image Fusion［C］.Proc.of Int.Conf.on Image Processing，Barcelona，Spain，2003:173-176.

Image Fusion；Distributed Compressed Sense；Joint Sparse Model

Review of Image Fusion Algorithm

ZHANG Cheng-fang，YAN Hao-hui

（Center for Radio Administration&Technology Development，Chengdu 610039）

1007-1423（2015）32-0061-06

10.3969/j.issn.1007-1423.2015.32.015

張鋮方（1990-），男，河南濟(jì)源人，碩士，讀碩士研究生，研究方向?yàn)閳D像處理與模式識(shí)別

2015-10-09

2015-11-09

圖像融合是信息融合的一個(gè)熱點(diǎn)。隨著分布式壓縮感知理論的發(fā)展，聯(lián)合稀疏表示成為分布式壓縮感知中的一個(gè)重要的研究?jī)?nèi)容。在闡述主流的圖像融合技術(shù)的同時(shí)，著重介紹聯(lián)合稀疏表示在圖像融合中的應(yīng)用，并簡(jiǎn)單地介紹幾種圖像融合評(píng)估方法。最后，對(duì)未來的圖像融合發(fā)展提出新的思路。

圖像融合；分布式壓縮感知；聯(lián)合稀疏模型

四川省教育廳重點(diǎn)項(xiàng)目（No.14ZA0118）

閆皓輝（1992-），女，山西長(zhǎng)治人，碩士，在讀碩士研究生，研究方向?yàn)橹悄苄畔⑻幚?/p>

Image fusion is a hot topic in the information fusion.With the development of the theory of distributed compressed sensing(DCS),joint sparse representation is becoming an important research content during the field of distributed compression.Elaborates mainstream image fusion technology,focuses on joint sparse representation in image fusion applications at the same time.What's more,introduces several image fusion evaluation methods.Finally,proposes new ideas for the future development of image fusion propose.