圖像融合在域內(nèi)的算法研究進(jìn)展

王麗麗，劉 輝，郭肇祿

(江西理工大學(xué) 理學(xué)院，江西 贛州 341000)

0 引 言

日常生活中，以圖像形式存在的視覺(jué)信息是主要的信息來(lái)源。如何從多幅不同圖像中獲取同一場(chǎng)景真實(shí)可靠的信息是圖像融合的主要任務(wù)。通俗地講，圖像融合[1]指的是同一場(chǎng)景下由一定設(shè)備獲取的兩幅或者多幅圖像經(jīng)過(guò)特定的融合規(guī)則處理得到更有利于人或計(jì)算機(jī)后續(xù)處理的圖像。

隨著圖像(信號(hào))表示理論的發(fā)展，圖像融合技術(shù)經(jīng)歷了由單一到復(fù)雜的過(guò)程。在這過(guò)程中，出現(xiàn)了兩次較重要的飛躍：分別是多尺度幾何分析方法的引入和以神經(jīng)網(wǎng)絡(luò)為代表的深度學(xué)習(xí)方法的引入。

總體上，圖像融合方法可劃分為三個(gè)級(jí)別：像素級(jí)[2]、特征級(jí)和決策級(jí)融合。張繼賢[3]分別從像素級(jí)、特征級(jí)和決策級(jí)三個(gè)層次對(duì)遙感圖像融合的現(xiàn)狀進(jìn)行總結(jié)并討論分析其未來(lái)的發(fā)展趨勢(shì)和挑戰(zhàn)。針對(duì)不同設(shè)備獲取的各種圖像，又可將圖像融合技術(shù)劃分為遙感圖像融合技術(shù)、醫(yī)學(xué)圖像融合技術(shù)、攝影圖像融合技術(shù)以及可見(jiàn)光和紅外圖像融合技術(shù)。Zhang等人[4]從多尺度分解的角度對(duì)圖像融合方法做了最早的總結(jié)。在2007年，Goshtasby[5]對(duì)當(dāng)時(shí)現(xiàn)存的圖像融合新技術(shù)進(jìn)行了分類(lèi)概括。另外針對(duì)具體應(yīng)用領(lǐng)域的圖像融合方法的總結(jié)分別在之后的幾年里得到了實(shí)現(xiàn)。2016年，Hassan[6]著重在像素級(jí)上對(duì)遙感圖像融合方法進(jìn)行概括。在醫(yī)學(xué)圖像融合領(lǐng)域，分別有Alex[7]和Du[8]從不同成像模式和圖像融合的詳細(xì)過(guò)程進(jìn)行了概述。針對(duì)可見(jiàn)光和紅外圖像的融合，Jin[9]和Ma[10]等人對(duì)各種方法以及應(yīng)用做了詳細(xì)分類(lèi)和總結(jié)，后者還在文章中介紹了作為融合前提的配準(zhǔn)操作。在攝影領(lǐng)域，Liu[11]對(duì)于多聚焦圖像的融合方法進(jìn)行了更細(xì)致的劃分，并基于30對(duì)實(shí)驗(yàn)圖像和8種質(zhì)量評(píng)價(jià)準(zhǔn)則對(duì)18種代表性融合方法進(jìn)行比對(duì)分析，為后面多聚焦圖像融合的研究提供了參考。在圖像融合技術(shù)逐漸增強(qiáng)的同時(shí)，評(píng)價(jià)其質(zhì)量好壞的標(biāo)準(zhǔn)也在逐漸得到完善。針對(duì)不同類(lèi)型的融合圖像，評(píng)價(jià)標(biāo)準(zhǔn)又有通用性評(píng)價(jià)標(biāo)準(zhǔn)和特有評(píng)價(jià)標(biāo)準(zhǔn)之分。

圖像融合體系又可大致分為融合方法以及融合質(zhì)量評(píng)價(jià)兩方面。融合方法的發(fā)展過(guò)程主要可分為以下幾個(gè)階段：?jiǎn)蝹€(gè)多尺度幾何分析方法[12]階段、混合多尺度幾何分析方法[13]階段、基于信號(hào)理論的稀疏分解方法[14]階段以及多尺度幾何分析和稀疏表示相結(jié)合[15]的方法階段。另外，在稀疏表示方法的應(yīng)用期間，稀疏字典的構(gòu)建又經(jīng)歷了從自適應(yīng)能力較差到相對(duì)較強(qiáng)的變化。隨后，隨著深度學(xué)習(xí)[16]研究的深入，其對(duì)應(yīng)的方法被應(yīng)用于圖像融合中并得到更符合人眼觀(guān)察的融合圖像。伴隨融合方法的改進(jìn)，融合質(zhì)量評(píng)價(jià)指標(biāo)也更加多樣化。同時(shí)，質(zhì)量評(píng)價(jià)指標(biāo)在效率和反映的信息量上也得到提升。

文中所做的主要工作有：

(1)對(duì)現(xiàn)有的主要的幾個(gè)圖像融合應(yīng)用領(lǐng)域的方法做了較為全面的總結(jié)；

(2)將圖像融合方法根據(jù)處理對(duì)象劃分為變換域和空間域兩類(lèi)，并進(jìn)一步解釋兩類(lèi)方法的核心思想和區(qū)別；

(3)列舉出較全面的圖像融合的評(píng)價(jià)標(biāo)準(zhǔn)并對(duì)其做細(xì)致分類(lèi)。

文中主要按以下結(jié)構(gòu)對(duì)圖像融合方法進(jìn)行概括：第二部分歸納總結(jié)了近年來(lái)圖像融合領(lǐng)域的新方法及其優(yōu)缺點(diǎn)，并重點(diǎn)對(duì)比分析不同方法對(duì)應(yīng)的融合規(guī)則。第三部分從主觀(guān)、客觀(guān)兩方面對(duì)圖像融合質(zhì)量的評(píng)價(jià)標(biāo)準(zhǔn)進(jìn)行歸納，重點(diǎn)列舉實(shí)驗(yàn)中常用到的客觀(guān)評(píng)價(jià)標(biāo)準(zhǔn)。第四部分總結(jié)了目前圖像融合技術(shù)的主要應(yīng)用領(lǐng)域。最后針對(duì)現(xiàn)有的圖像融合方法存在的問(wèn)題進(jìn)行了歸納總結(jié)，并對(duì)這些問(wèn)題對(duì)未來(lái)發(fā)展方向做出展望。

1 圖像融合方法分類(lèi)

圖像融合方法主要分為兩類(lèi)：基于變換域的圖像融合方法和基于空間域的圖像融合方法。下文分別對(duì)上述兩種方法做詳細(xì)介紹。

1.1 基于變換域的圖像融合方法

圖像融合在變換域上進(jìn)行處理時(shí)，主要可分為三個(gè)主要步驟[17]：分解、融合和重構(gòu)?，F(xiàn)將基于多尺度變換的圖像融合方法主要步驟進(jìn)行歸納，如圖1所示。

圖1 基于多尺度變換的圖像融合過(guò)程框架

變換域方法具體可劃分為基于金字塔變換[18-21]的方法、基于各種“波”變換[22-31]的方法以及兩種方法與其他方法結(jié)合在一起的方法。其中關(guān)于金字塔類(lèi)和“波”類(lèi)變換的具體分類(lèi)可見(jiàn)表1。

表1 基于變換域的融合方法分類(lèi)

1.1.1 基于金字塔變換的方法

Burt[18]首次提出拉普拉斯金字塔(Laplacian pyramid，LP)，并用于圖像融合。Toet[19]提出比例低通金字塔(ratio of low-pass pyramid，ROLP)方法得到的融合圖像更加符合人眼視覺(jué)系統(tǒng)。Toet于同年又提出形態(tài)學(xué)金字塔[20](morphological pyramid，MP)的概念并用于融合圖像，使得圖像中滿(mǎn)足結(jié)構(gòu)元素的對(duì)象輪廓保持不同分辨率上的良好表示。另外，針對(duì)融合過(guò)程中引入的失真和偽影現(xiàn)象，V. Petrovic提出梯度金字塔[21]結(jié)構(gòu)，構(gòu)建出融合梯度圖，可顯著降低融合引入的偽影數(shù)量和失真。另外，梯度金字塔的構(gòu)建引入了方向性，彌補(bǔ)了前面各種金字塔缺乏表征方向性特征的缺點(diǎn)。

1.1.2 基于各種“波”變換的方法

利用不同波類(lèi)型的基函數(shù)對(duì)圖像進(jìn)行變換能很好地彌補(bǔ)金字塔變換融合圖像時(shí)出現(xiàn)的低對(duì)比度和輪廓信息表示不準(zhǔn)確等缺陷。下面對(duì)不同類(lèi)型“波”變換在圖像融合中的應(yīng)用進(jìn)行描述。

離散小波變換對(duì)圖像離散化處理，能得出圖像在不同尺度上的分解。晁銳等[22]利用多個(gè)小波基函數(shù)，使得融合圖像具有正交性、對(duì)稱(chēng)性和緊支撐等特性。平穩(wěn)小波變換[24]中利用上采樣操作取代離散小波變換中的下采樣操作，從而達(dá)到消除因離散小波變換而生成的平移變化，同時(shí)消除因平移變化產(chǎn)生的偽影。雙樹(shù)復(fù)小波變換[25]在小波的基礎(chǔ)上提供了明顯更緊湊的變換域表示，不僅實(shí)現(xiàn)了近平移不變性，還提供了改進(jìn)的方向性。

Chen等[26]首次將脊波變換作為圖像融合的工具，在小波的基礎(chǔ)上，結(jié)合Radon變換，使得融合結(jié)果對(duì)具有線(xiàn)奇異性對(duì)象的表示更優(yōu)。曲波變換[27]則可以直線(xiàn)段近似逼近曲線(xiàn)的特點(diǎn)使得具有曲線(xiàn)特征的對(duì)象在融合結(jié)果中得到很好地表示。

輪廓波變換[28]主要由LP濾波器和方向?yàn)V波器組成。LP變換完成圖像的各個(gè)尺度表示，方向?yàn)V波器在各個(gè)尺度上再對(duì)圖像進(jìn)行分解，從而連接LP變換捕獲的邊緣點(diǎn)形成連續(xù)的邊緣(即輪廓)。非下采樣輪廓波變換[29](nonsubsampled contourlet transform，NSCT)通過(guò)去除下采樣操作，解決了輪廓波變換處理圖像時(shí)無(wú)法改善的平移變化，消除了融合圖像出現(xiàn)的偽影現(xiàn)象。剪切波[30](Shearlet)形式更加簡(jiǎn)潔，處理圖像時(shí)無(wú)需大量的數(shù)據(jù)，運(yùn)行時(shí)間更短，但缺乏平移不變性。與NSCT的原理類(lèi)似，非下采樣剪切波變換[31](nonsubsampled shearlet transform，NSST)不直接對(duì)圖像進(jìn)行上、下采樣，改善平移變化的同時(shí)也可消除圖像分解和重構(gòu)過(guò)程中出現(xiàn)的頻率混疊現(xiàn)象，且分解得到的子圖像與源圖像大小一致，可有效減少圖像因誤配準(zhǔn)或未配準(zhǔn)而產(chǎn)生的誤差，這一點(diǎn)在圖像融合中尤為重要。

1.1.3 與其他方法結(jié)合的方法

不同“波”變換通過(guò)和其他類(lèi)型的模型相結(jié)合也可以達(dá)到更好的融合效果，其具體特點(diǎn)見(jiàn)表2。

表2 與“波”類(lèi)方法相結(jié)合的其他方法

1.2 基于空間域的圖像融合方法

基于空間域變換方法的最大特點(diǎn)便是無(wú)需對(duì)圖像進(jìn)行重構(gòu)。圖2給出了基于空間域的融合過(guò)程。

圖2 基于空間域的融合過(guò)程框架

眾所周知，圖像融合中比較重要的一個(gè)問(wèn)題是活動(dòng)水平度量，空間域方法將根據(jù)像素的處理方式將之劃分為基于塊的方法、基于區(qū)域的方法和基于像素的方法。

1.2.1 基于塊的方法

塊劃分策略最早由Li等人[36]提出，主要經(jīng)歷了經(jīng)驗(yàn)階段和自適應(yīng)階段。經(jīng)驗(yàn)階段以Nabeela[37]，Huang和Jing[38]等人的研究為代表，通過(guò)計(jì)算固定大小的圖像塊的活動(dòng)水平從而得到合適的圖像塊用以融合。而自適應(yīng)階段則主要有自適應(yīng)選擇圖像塊的大小和重疊圖像塊的計(jì)算兩種類(lèi)型。這其中遺傳算法[39]、差分演化算法[40]、粒子群優(yōu)化算法[41]和人工蜂群算法[42]為自適應(yīng)圖像塊劃分方法的主要代表。

1.2.2 基于區(qū)域的方法

基于區(qū)域的方法不同于基于塊的方法之處在于：區(qū)域的大小是不規(guī)則的。Zhang和Blum[43]首次提出基于區(qū)域的圖像融合方法，有效地降低了源圖像對(duì)噪聲的敏感性。與基于塊的方法發(fā)展歷程相似，基于區(qū)域的方法也經(jīng)歷了由自適應(yīng)相對(duì)較差到較好的轉(zhuǎn)變。這其中以水域面積算法[44]、歸一化切割[45]、均值漂移算法[46]和線(xiàn)性廣譜聚類(lèi)[47]算法為主要代表。

1.2.3 基于像素的方法

基于像素的圖像融合方法從像素的角度真實(shí)反映源圖像的每個(gè)特征。最經(jīng)典的有Tang[48]提出的像素級(jí)卷積神經(jīng)網(wǎng)絡(luò)(pixel-wised convolutional neural network, p-CNN)模型，其次是極限學(xué)習(xí)機(jī)[49](extreme learning machine，ELM)和模糊邏輯模型[50]。以上方法都是從像素的角度出發(fā)，根據(jù)像素的屬性選擇用于融合的正確像素，并對(duì)錯(cuò)誤像素進(jìn)行剔除和修正。

1.3 融合規(guī)則

融合規(guī)則一般指的是將圖像分解得到的高低頻系數(shù)解釋為不同源圖像的權(quán)重分配策略。融合圖像時(shí)，主要對(duì)多尺度變換得到的高低頻系數(shù)進(jìn)行處理，所以如何選取合適的規(guī)則融合這些系數(shù)對(duì)圖像融合效果有著至關(guān)重要的影響。

圖像的低頻系數(shù)和高頻系數(shù)分別表示圖像的近似成分和細(xì)節(jié)成分，高頻系數(shù)值越大說(shuō)明該部分圖像包含的細(xì)節(jié)越豐富。圖像分解得到的低頻子帶系數(shù)往往采用“平均”原則進(jìn)行融合，這會(huì)降低圖像的對(duì)比度，來(lái)自源圖像的一些信息也會(huì)丟失。高頻子帶往往采用絕對(duì)值最大原則[51]進(jìn)行融合，會(huì)使得融合結(jié)果缺乏輪廓、邊緣等細(xì)節(jié)，也會(huì)造成一定的偽影。為了解決這些問(wèn)題，更多能夠反映清晰度指標(biāo)的邊緣能量、梯度能量、空間頻率、方差、區(qū)域能量、拉普拉斯能量等融合規(guī)則被提出。

2 圖像融合方法評(píng)價(jià)

評(píng)價(jià)圖像融合質(zhì)量的標(biāo)準(zhǔn)可以劃分為兩類(lèi)：客觀(guān)評(píng)價(jià)指標(biāo)和主觀(guān)評(píng)價(jià)指標(biāo)。由于客觀(guān)評(píng)價(jià)指標(biāo)能從根本上反映圖像好壞，所以下面列舉出常用的一些客觀(guān)評(píng)價(jià)指標(biāo)。

2.1 評(píng)價(jià)指標(biāo)

在介紹融合算法之前，需要了解評(píng)價(jià)融合質(zhì)量的一些標(biāo)準(zhǔn)。其主要有：空間頻率，反映融合圖像的亮度；信息熵，反映圖像的灰度分布情況；均方根誤差；相關(guān)系數(shù)，反映源圖像與融合圖像的相關(guān)程度；標(biāo)準(zhǔn)化互信息[52]，反映融合圖像的結(jié)構(gòu)信息；相位一致性；基于邊緣信息的標(biāo)準(zhǔn)；能夠反映源圖像與融合圖像對(duì)比度特征的基于人類(lèi)感知的標(biāo)準(zhǔn)[53]；基于圖像結(jié)構(gòu)相似性的標(biāo)準(zhǔn)，可反映不同圖像之間的相似性；光譜角映射器，主要針對(duì)多/高光譜圖像。

2.2 典型實(shí)驗(yàn)方法

由于圖像融合的主要應(yīng)用領(lǐng)域[54]有遙感觀(guān)測(cè)、醫(yī)學(xué)診斷、攝影和監(jiān)測(cè)，這將在下一節(jié)進(jìn)行描述。而本節(jié)主要選取了上節(jié)中列舉出的評(píng)價(jià)指標(biāo)中的五個(gè)經(jīng)典指標(biāo)對(duì)現(xiàn)有的經(jīng)典融合方法進(jìn)行評(píng)估。在使用相似的測(cè)試條件，相同的應(yīng)用程序和相同的源圖像參考了不同的參考文獻(xiàn)之后，列出不同的表格。

以clock圖像為參考，表3列舉出多聚焦圖像融合應(yīng)用不同方法的比較。表4所示為紅外圖像和可視圖像的融合對(duì)應(yīng)算法的對(duì)比數(shù)據(jù)。表5則為不同方法融合不同醫(yī)學(xué)圖像所得數(shù)據(jù)。

表3 多聚焦圖像融合的不同方法對(duì)比

從表3的數(shù)據(jù)得出，無(wú)論是在邊緣信息的保持上，還是梯度信息、結(jié)構(gòu)信息、對(duì)比度特征和相位一致性的傳遞上，GFDF算法得到的值都要優(yōu)于其他算法的值。另外，CNN作為一種智能學(xué)習(xí)型的融合算法，在邊緣信息的保留上性能較好。然而由于CNN需要大量的參數(shù)，所以在運(yùn)行時(shí)間上消耗較大，算法的效率不高。

表4 紅外圖像和可視圖像融合的不同方法對(duì)比

由表4可知，DWT的平均梯度、標(biāo)準(zhǔn)差的值都相對(duì)較高。而LP方法在信息熵的表現(xiàn)上比其他方法好。另外互信息這一標(biāo)準(zhǔn)，NSST的值是所有方法中最高的，這說(shuō)明使用NSST方法融合圖像時(shí)，源圖像轉(zhuǎn)移到融合圖像的信息量較高?？傮w而言，每種融合算法都有可借鑒之處，所以在具體應(yīng)用時(shí)，可綜合各種方法的優(yōu)點(diǎn)適當(dāng)結(jié)合以獲得性能更好的融合圖像。

表5 醫(yī)學(xué)圖像融合的不同方法對(duì)比

從表5中數(shù)據(jù)可以看出，將多尺度幾何分析方法中的NSCT方法與SR方法相結(jié)合得出的各個(gè)評(píng)價(jià)指標(biāo)，無(wú)論是在平均梯度、信息熵，以及相位一致性和互信息的保留程度上優(yōu)于單獨(dú)使用NSCT方法獲得的融合圖像的各項(xiàng)評(píng)價(jià)指標(biāo)數(shù)值。不僅如此，NSCT-SR方法比一些新提出的基于深度學(xué)習(xí)的Gabor filtering方法表現(xiàn)更好，這表明通過(guò)結(jié)合兩種甚至兩種以上方法可以得出原來(lái)單個(gè)方法不能夠達(dá)到的良好效果。

3 圖像融合的應(yīng)用

圖像融合技術(shù)的應(yīng)用領(lǐng)域[57]主要有以下四類(lèi)：遙感觀(guān)測(cè)、醫(yī)學(xué)診斷、攝影和監(jiān)測(cè)。在遙感領(lǐng)域的應(yīng)用，方便了人類(lèi)的對(duì)地觀(guān)測(cè)；在醫(yī)學(xué)領(lǐng)域的應(yīng)用，為醫(yī)生的臨床診斷提供依據(jù)；在攝影領(lǐng)域的應(yīng)用，改善了因設(shè)備和天氣問(wèn)題導(dǎo)致的圖像失真；在監(jiān)測(cè)應(yīng)用中，結(jié)合可見(jiàn)光和紅外圖像，使得可全天觀(guān)察觀(guān)測(cè)對(duì)象。表6對(duì)不同領(lǐng)域所需要用到的圖像進(jìn)行了進(jìn)一步劃分。

表6 圖像融合的主要應(yīng)用領(lǐng)域及其

4 存在的問(wèn)題與展望

4.1 當(dāng)前研究存在的問(wèn)題

無(wú)論圖像融合應(yīng)用在哪些領(lǐng)域，目前的融合方法得到的圖像仍然存在以下問(wèn)題。

遙感圖像融合中出現(xiàn)的光譜和空間畸變問(wèn)題；醫(yī)學(xué)圖像融合領(lǐng)域出現(xiàn)的臨床問(wèn)題缺乏導(dǎo)向的困難以及難以相對(duì)客觀(guān)的評(píng)估融合性能；攝影領(lǐng)域，圖像融合則受物體運(yùn)動(dòng)的影響，同時(shí)在不同設(shè)備拍照耗時(shí)較長(zhǎng)，也在一定程度上影響了融合圖像的獲??；在監(jiān)測(cè)領(lǐng)域，苛刻的環(huán)境條件以及設(shè)備的損耗都會(huì)導(dǎo)致融合圖像不能夠被精確地獲取。除了上述問(wèn)題，圖像配準(zhǔn)作為融合的預(yù)備階段也備受重視，圖像的未配準(zhǔn)或者配準(zhǔn)不準(zhǔn)確都會(huì)影響融合結(jié)果。

4.2 展 望

根據(jù)目前圖像融合中遇到的問(wèn)題，可做以下展望：

首先，要解決圖像配準(zhǔn)的問(wèn)題，這就要求學(xué)者致力于研究更準(zhǔn)確有效的圖像配準(zhǔn)算法；其次，針對(duì)遙感技術(shù)的發(fā)展，需要研發(fā)更多同時(shí)具有高光譜分辨率和高空間分辨率的綜合傳感器；在臨床醫(yī)學(xué)中，則主要致力于研究能將多種不同設(shè)備獲取的圖像同時(shí)獲取并合成的儀器，這將為醫(yī)學(xué)的發(fā)展提供較大的飛躍；在攝影領(lǐng)域，根據(jù)設(shè)備以及環(huán)境的不同，研發(fā)出適應(yīng)性更強(qiáng)的多特點(diǎn)攝影設(shè)備是亟需解決的問(wèn)題。

5 結(jié)束語(yǔ)

目前對(duì)于圖像融合的研究仍是圖像處理領(lǐng)域的研究熱點(diǎn)，基于多尺度變換的方法只會(huì)日漸豐富，算法的效率也會(huì)越來(lái)越高，所需內(nèi)存內(nèi)余只會(huì)更小?；谀壳叭诤涎芯克玫南袼丶?jí)方法較多的現(xiàn)狀，之后將會(huì)更多的研究工作在特征級(jí)和決策級(jí)融合，并且會(huì)探索更多的圖像融合應(yīng)用領(lǐng)域。