基于多尺度分析的圖像融合技術(shù)研究進(jìn)展?

孫商文 楊 桄 劉 宇

（空軍航空大學(xué) 長春 130000）

1 引言

隨著衛(wèi)星的發(fā)射數(shù)量的不斷增加，以及傳感器技術(shù)的快速發(fā)展，提升高空間、高時(shí)間、高光譜分辨率成為重要研究發(fā)展方向，與此同時(shí)系統(tǒng)獲取數(shù)據(jù)的多源性和信息量不斷增加，使得傳統(tǒng)的信息處理方法無法滿足現(xiàn)有技術(shù)的發(fā)展。在這種需求形勢下，圖像融合技術(shù)得到迅猛發(fā)展與提升。圖像融合是將兩個(gè)或兩個(gè)以上的傳感器在同一時(shí)間或不同時(shí)間獲取的關(guān)于某個(gè)具體場景的圖像或圖像序列信息加以綜合，以生成新的有關(guān)此場景解釋的信息處理過程［1］。圖像融合技術(shù)在軍事領(lǐng)域廣泛應(yīng)用，如目標(biāo)解譯、目標(biāo)識別以及多源情報(bào)融合等，在自然資源勘探、醫(yī)學(xué)成像與診斷、地理信息管理等民用領(lǐng)域也應(yīng)用廣泛。

早期的圖像融合方法大多選擇在圖像的空間域上進(jìn)行處理，如加權(quán)平均法、主成分分析法［2］、HIS空間融合算法［3］等，僅在單一層面上進(jìn)行融合，不對源圖像的分解變換，沒有發(fā)揮多分辨率遙感圖像的優(yōu)勢。從20 世紀(jì)80 年代中期，學(xué)者們開始研究基于多尺度分解的圖像融合技術(shù)，基于金字塔分解的融合方法開始出現(xiàn)，Burt等首先提出了拉普拉斯金字塔變換（Laplacian Pyramid Transform，LP）［4］，Toet A 考慮了人類視覺系統(tǒng)對局部對比度敏感這一特性，提出基于對比度金字塔變換的圖像融合算法［5］；Matsopoulos G.k.采用基于形態(tài)學(xué)金字塔變換進(jìn)行了CT 和MRI 圖像進(jìn)行融合［6］，在醫(yī)學(xué)圖像上取得良好的進(jìn)展；為了提升融合圖像穩(wěn)定性和抗噪性，獲得圖像的邊緣信息，Burt P.J 提出基于梯度金字塔的融合方法［7］；到了90 年代中期，小波理論的開始應(yīng)用于圖像融合，并得到很好的發(fā)展，Ranchin T 等將離散小波良好的時(shí)頻特性用于圖像融合［8］，Rockinger O 在多傳感器動(dòng)態(tài)圖像的融合處理過程中使用了離散小波框架［9］；當(dāng)圖像在小波包空間融合時(shí)，使用不同的處理方式應(yīng)對不同的頻率范圍，Wang等提出了基于離散小波包變換和多小波變換的圖像融合算法［10～11］；Lewis J J 等提出對偶數(shù)復(fù)小波模型［12］，具有方向選擇性和平移不變性等優(yōu)點(diǎn)。近些年，為了提高對圖像空間結(jié)構(gòu)更好的表達(dá)，新的多尺度幾何分析理論（MGA）開始應(yīng)用于圖像融合，一些典型多尺度幾何分析理論有梳狀波（Brushlet）變 換、脊 波（Ridgelet）變 換、曲 線 波（Curvelet）變換、輪廓波（Contourlet）變換，非下采樣輪廓波變換（Nonsubsampled Contourlet Transform，NSCT）和非下采樣剪切波變換（Non-Subsampled Shearlet Transform，NSST）［13］等，這些變換相較于小波變換能更好地描述圖像的方向和邊緣特征，解決了小波變換不能最優(yōu)地逼近高維空間的信號的問題［14］，給予處理圖像數(shù)據(jù)新的思路和解決方案，也有學(xué)者在基于兩種或兩種以上的算法進(jìn)行多尺度圖像融合，來獲得質(zhì)量效果更好的融合圖像?；诙喑叨确治龅娜诤戏椒ń鉀Q了傳統(tǒng)空間域融合算法的對比度減少、光譜失真問題，最大程度地保留了源圖像的有效信息，保證了算法的可靠性和實(shí)用性，已經(jīng)成為圖像融合領(lǐng)域的研究熱點(diǎn)并應(yīng)用于圖像的噪聲抑制［15］、圖像的邊緣檢測以及圖像融合等眾多領(lǐng)域。

2 多尺度分析的圖像融合方法

多尺度分析的圖像融合方法的基本思想是對輸入圖像進(jìn)行多個(gè)尺度分解變換，然后依據(jù)不同的融合規(guī)則對分解得到的高低頻子帶系數(shù)融合進(jìn)行，構(gòu)成一個(gè)新的圖像的多尺度組合，然后運(yùn)用逆變換，得到最終的融合圖像。目前多尺度變換的方法主要有基于金字塔變換的融合方法、基于小波變換的融合方法和基于多尺度幾何理論的融合方法等。

2.1 基于金字塔變換的圖像融合方法

金字塔變換是常用的多尺度分解方法之一，金字塔變換的最高層是由低分辨率表示，其他層是由每一尺度圖像的高分辨率表示。金字塔變換的基本思想是對數(shù)據(jù)源進(jìn)行多次濾波，形成金字塔式的分解結(jié)構(gòu)，分析每一層的信息特點(diǎn)，采用不同的融合算法，得到金字塔的融合算法結(jié)構(gòu)，最后逆變換得到最終的融合圖像［16］。常見的金字塔式變換有拉普拉斯金字塔、形態(tài)學(xué)金字塔、梯度金字塔、對比度金字塔和比率低通金字塔。

金字塔變換奠定了多分辨率圖像分解的理論基礎(chǔ)，處理圖像過程更加符合人類視覺特性。進(jìn)行金字塔變換時(shí)，由于不同層次圖像間的數(shù)據(jù)具有較強(qiáng)的相關(guān)性，又很難確定這種相關(guān)性是圖像自身造成還是來源于冗余性，所以這種變換并不能保證不同層之間信息損失率降到最小，而且，當(dāng)數(shù)據(jù)之間的差異性較大時(shí)，圖像會產(chǎn)生斑塊效應(yīng)。雖然金字塔變換開辟了多尺度圖像融合研究基本思路，但是無方向性、不能更好地提取特征、對噪聲敏感等［17］缺陷也很明顯，同時(shí)，對復(fù)雜地物的特征不能很好地表現(xiàn)，也不是最優(yōu)的表達(dá)方式，某種程度上限制了其應(yīng)用，因此在20 世紀(jì)80 年代后期誕生的小波多尺度變換理論，成為了多尺度分析的重要理論，得到了廣泛應(yīng)用。

2.2 基于小波變換的圖像融合方法

小波變換與金字塔變換的圖像處理方法原理相似，某種意義上也可以稱之為廣義的金字塔變換方法［1］?；谛〔ㄗ儞Q的圖像融合，就是對源圖像進(jìn)行小波變換，將其分解在不同頻段的不同特征域上，然后在不同的特征域內(nèi)進(jìn)行融合，構(gòu)成新的小波金字塔結(jié)構(gòu)，再用小波逆變換得到合成圖像的過程［18］。傳統(tǒng)小波變換一般有金字塔形小波融合技術(shù)和樹狀小波融合技術(shù)，融合規(guī)則主要有兩類，一類是基于單個(gè)像素的融合規(guī)則，另一類是基于區(qū)域特征的融合規(guī)則［19］，其中，基于像素規(guī)則的方法缺少對單像素細(xì)節(jié)部分的考慮，如邊界線、紋路；而基于區(qū)域規(guī)則的方法則降低圖像的對比度，不能有效地消除影像源中的邊緣振蕩效應(yīng)和噪聲干擾的現(xiàn)象。

小波變換是一種多尺度、多方向變換，具有方向選擇性、時(shí)頻域分辨率可變以及分析數(shù)據(jù)量小等特性，適合非線性非平穩(wěn)信號處理與傳統(tǒng)的平穩(wěn)和線性信號處理。傳統(tǒng)小波變換存在兩個(gè)明顯的缺點(diǎn)，一是融合效果會有明顯的分塊效應(yīng)，二是簡單地利用低分辨率圖像的低頻部分去替換高分辨率圖像的低頻部分，會使大量高分辨率圖像的細(xì)節(jié)信息缺失。多小波、小波包、雙樹復(fù)等［20］變換對高頻部分進(jìn)行細(xì)化與具體化，提取出重要細(xì)節(jié)信息，保留邊緣和紋理信息，提升融合效果和效率。小波變換仍有自身的局限性，即未能充分利用數(shù)據(jù)本身的幾何特性，實(shí)現(xiàn)對呈奇異特征的線或面進(jìn)行“最優(yōu)”的表達(dá)，或者說表達(dá)能力有限，為了彌補(bǔ)不足，學(xué)者們提出了多尺度幾何分析理論來提高對圖像的表達(dá)能力。

2.3 基于多尺度幾何理論的圖像融合方法

多尺度幾何變換理論是在計(jì)算機(jī)視覺、數(shù)學(xué)逼近以及統(tǒng)計(jì)學(xué)等計(jì)算調(diào)和分析領(lǐng)域中發(fā)展起來的高維分析方法，它不但擁有小波變換優(yōu)良的時(shí)頻特性，還彌補(bǔ)了小波變換無法進(jìn)行稀疏表示的缺陷。多尺度幾何分析理論（Multiscale Geometric Analysis，MGA）是一種具有非常靈活的局部特性和方向特性的多尺度圖像表示方法，能對圖像的高維奇異性和稀疏性進(jìn)行很好的逼近和描述［13］。常見的多尺度幾何分析方法主要有脊波變換、曲線波變換、楔形波、條帶波、輪廓波和剪切波等。

Candes E J和Donoho D L在小波理論的基礎(chǔ)上提出了Curvelet 變換理論，Curvelet 目前經(jīng)歷了兩代的變換［21］，Curvelet 變換具有任意角度的方向特性，在表達(dá)圖像的邊緣特征信息上效果更加突出的優(yōu)勢，但是其也有較難離散化、冗余度大的問題；為了減輕變換冗余度，更好地表征二維圖像各向異性特征，M.N.Do和M.Vetterli提出了Contourlet變換［22］；K.Guo和G.Kutyniok利用合成小波理論提出了一種Shearle變換［23］，繼承了Curvelet和Contourlet變換優(yōu)點(diǎn)并且解決了部分缺陷，Cunha A.L.等又提出了一種具有平移不變特性的Contourlet變換－非下采樣Contourlet 變 換（Nonsubsampled Contourlet Transform，NSCT），在圖像去噪和圖像增強(qiáng)領(lǐng)域中得到應(yīng)用［24］。

多尺度幾何分析研究目前仍是在探索發(fā)展的階段，也是各國學(xué)者研究的熱點(diǎn)，仍然存在急需解決的難點(diǎn)。

3 融合規(guī)則

融合規(guī)則的確定是多尺度圖像融合技術(shù)的一個(gè)關(guān)鍵步驟，選擇合適的融合規(guī)則對圖像融合效果和質(zhì)量有著重要的影響。多尺度分解的圖像融合的規(guī)則一般分為基于像素的融合和基于區(qū)域的融合，其中基于像素融合的規(guī)則，操作簡單，容易實(shí)現(xiàn)，但是缺少對單個(gè)像素與周圍像素間的信息關(guān)聯(lián)的考慮，區(qū)域內(nèi)或高空間分辨率的信息有所丟失，基于區(qū)域的融合規(guī)則考慮相鄰像素之間的相關(guān)性，減少系數(shù)的錯(cuò)誤選取，但是此類融合規(guī)則也存在局限性，如局部方差取大值法，當(dāng)方差較少時(shí)，會使圖像的細(xì)節(jié)信息丟失，影響融合質(zhì)量。以下對兩種圖像融合規(guī)則進(jìn)行討論。

3.1 基于像素融合規(guī)則

兩幅待融合圖像IA和IB經(jīng)過多尺度分解后，令(x，y)和(x，y)表示兩圖像經(jīng)分解后的最低頻子帶系數(shù)，N 為多尺度分解的層數(shù)，(x，y)表示系數(shù)坐標(biāo)；令(x，y)和(x，y)表示兩圖像經(jīng)分解后的各高頻子帶系數(shù)，i=1，2，…NH（NH為圖像經(jīng)分解后的高頻子帶的個(gè)數(shù)）。令(x，y)（i=1，2，…NH）、(x，y)表示經(jīng)融合和處理后的圖像變換系數(shù)。

對于低頻子帶圖像系數(shù)的組合，常用以下方法:

1）選取圖像A 或B 的分解后的低頻系數(shù)作為融合后的系數(shù)，即

2）選取圖像A、B 經(jīng)分解后的低頻系數(shù)的平均值作為融合后的系數(shù)，即

3）高斯模糊邏輯融合

濾波公式:

μ，ρ對應(yīng)高斯函數(shù)均值和標(biāo)準(zhǔn)偏差，t為常數(shù)。

對于高頻子帶系數(shù)的組合，常用以下方法:

1）選取對應(yīng)位置上系數(shù)絕對值大的系數(shù)作為融合后的系數(shù)，即

2）窗口鄰域內(nèi)絕對值最大的系數(shù)作為融合后的系數(shù)［25］，如中心位置的融合系數(shù)選取自源圖像A變換選取后的系數(shù)，而其周圍鄰域內(nèi)的融合系數(shù)絕大多數(shù)選取自圖像B 變換后的系數(shù)，那么中心位置的融合系數(shù)將改為圖像B 變換后的系數(shù)，反之亦然。

3.2 基于區(qū)域圖像融合規(guī)則

圖像中區(qū)域內(nèi)的各像素間具有較強(qiáng)的相關(guān)性，局部特征可以由局部區(qū)域內(nèi)多個(gè)像素變換系數(shù)來表示的，Zhang Z、Piella G等提出了基于區(qū)域的融合規(guī)則［26～27］，把每個(gè)像素都看作區(qū)域內(nèi)或者邊緣上的一部分，并利用區(qū)域內(nèi)和邊界上的信息來指導(dǎo)融合的過程。基于區(qū)域融合規(guī)則的常用方法有區(qū)域方差法、區(qū)域平均梯度法、區(qū)域能量法［28］以及區(qū)域匹配度法等。這些方法的基本思路都相似，下面以區(qū)域方差準(zhǔn)則法為例介紹其過程:

設(shè)圖像為I（i，j），某像素的空間位置為（i，j），在其周圍截取一個(gè)M*N 窗口區(qū)域，則區(qū)域方差公式為

其中μ表示窗口區(qū)域內(nèi)像素的均值，M*N 表示窗口區(qū)域的大小。

當(dāng)方差較小時(shí)，我們可以考慮進(jìn)行方差加權(quán)平均法:

其中，α和β分別代表圖像A 和B 的融合權(quán)值，計(jì)算方式如下:

4 圖像融合質(zhì)量評價(jià)

國內(nèi)外對于圖像融合評價(jià)沒有完善統(tǒng)一的理論模型與方法［29］，大多數(shù)圖像融合評價(jià)方法是針對具體的應(yīng)用提出的。例如同一種方法對不同的類型的圖像，融合效果差異加大；對于同一幅圖像，由于觀察者感興趣的區(qū)域不同，其融合效果的評價(jià)也不相同［30］。目前圖像融合質(zhì)量評價(jià)主要分為主觀評價(jià)和客觀評價(jià)，主觀評價(jià)由圖像專家人員根據(jù)既定的評價(jià)尺度、經(jīng)驗(yàn)和主觀偏好或者參照一副標(biāo)準(zhǔn)圖像進(jìn)行直接對圖像進(jìn)行評判，評價(jià)標(biāo)準(zhǔn)一般分為非常好、好、一般、差、非常差，客觀評價(jià)由各項(xiàng)指標(biāo)組成，一般分為以下三類:

1）第一類是反應(yīng)融合圖像的整體信息保留的豐富程度，主要有信息熵、平均互信息、交叉熵［31］等參數(shù)，通過與源圖像相比較，判斷融合圖像的融合效果。

2）第二類是反應(yīng)融合圖像的光譜信息保留程度，主要有光譜扭曲程度、偏差指數(shù)和相關(guān)系數(shù)等。

3）第三類是反應(yīng)融合中空間細(xì)節(jié)信息加注的效果，具體指標(biāo)包括標(biāo)準(zhǔn)差、空間頻率、平均梯度等，該方法簡單，只需要比較與源圖像的統(tǒng)計(jì)特征就可以判斷不同融合方法的優(yōu)劣。

5 結(jié)語

遙感數(shù)據(jù)的大時(shí)代，圖像融合技術(shù)是重要的研究方向，具有很高的應(yīng)用價(jià)值。目前學(xué)者在圖像融合技術(shù)上取得了一系列的進(jìn)展和成果，但是涉及到具體應(yīng)用實(shí)例上，對于復(fù)雜的融合算法、融合規(guī)則選擇和融合圖像評價(jià)以及快速數(shù)據(jù)處理等問題上仍是面臨一系列難題。筆者認(rèn)為下一步研究重點(diǎn)方向如下。

1）目前多尺度分析的融合算法復(fù)雜、計(jì)算量大，降低了時(shí)效性，尤其在軍事應(yīng)用方面，戰(zhàn)場態(tài)勢緊張，情報(bào)信息獲取分秒必爭，除了提升硬件設(shè)備的性能，高效實(shí)用的融合算法將是贏得主動(dòng)權(quán)的關(guān)鍵一步。

2）根據(jù)源圖像類型、尺寸、內(nèi)容的不同，如何對融合算法中的各種參數(shù)進(jìn)行設(shè)定需要研討。如多尺度變換所使用的濾波器類型、進(jìn)行分解的層數(shù)、各層的方向數(shù)；融合規(guī)則中區(qū)域窗口的大小、閾值的選取等都缺少既定規(guī)則與現(xiàn)成的標(biāo)準(zhǔn)。

3）圖像處理技術(shù)的快速發(fā)展，如圖像配準(zhǔn)、特征提取、目標(biāo)識別等技術(shù)的提升，將各個(gè)處理模塊整合成一套智能處理系統(tǒng)，增強(qiáng)自動(dòng)化程度，減少人為主觀因素的干擾，真正實(shí)現(xiàn)智能融合、自適應(yīng)融合。

4）增加對于視頻圖像［32］及3D 彩色圖像融合技術(shù)［33］的研究，隨著傳感器及硬件設(shè)備的提升，將獲取的大量數(shù)據(jù)進(jìn)行合理有效的應(yīng)用，以滿足實(shí)時(shí)性、需求性要求性更高的場合。