兩類(lèi)基于PCNN的圖像融合算法綜述

賈紫婷

摘 ?要： 隨著計(jì)算機(jī)技術(shù)的高速發(fā)展，基于PCNN（脈沖耦合神經(jīng)網(wǎng)絡(luò)）的圖像融合算法越來(lái)越多樣化。針對(duì)用PCNN進(jìn)行圖像融合時(shí)找不到落腳點(diǎn)的問(wèn)題，提出了兩類(lèi)常用的融合算法，分別是基于PCNN與多尺度變換相結(jié)合、減少PCNN計(jì)算復(fù)雜度的融合算法。文章對(duì)這兩類(lèi)算法進(jìn)行了分析與總結(jié)，列舉了這兩類(lèi)方法可以改進(jìn)的具體方向，為接下來(lái)的創(chuàng)新工作指明了方向，并對(duì)未來(lái)的研究方向進(jìn)行了展望。

關(guān)鍵詞： 脈沖耦合神經(jīng)網(wǎng)絡(luò); 圖像融合; 多尺度變換; 計(jì)算復(fù)雜度

中圖分類(lèi)號(hào)：TP391 ? ? ? ? ?文獻(xiàn)標(biāo)識(shí)碼：A ? ? 文章編號(hào)：1006-8228（2020）06-01-04

Abstract： With the rapid development of computer technology， image fusion algorithms based on PCNN （Pulse Coupled Neural Network） are becoming more and more diversified. Aiming at the problem that a foothold and starting point is hard to be found when using PCNN based image fusion algorithm， two types of common fusion algorithms are proposed， and they are the algorithm combined PCNN with multi-scale transformation and the algorithm reduced the computational complexity of PCNN respectively. These two types of algorithms are analyzed and summarized in this paper， and the specific directions that these two types of methods can be improved are listed， which points out the direction for the following innovation work and looks forward to the future research direction.

Key words： Pulse Coupled Neural Network; image fusion; multi-scale transformation; computational complexity

0 引言

隨著網(wǎng)絡(luò)技術(shù)的日益更新，大眾的生活、生產(chǎn)水平都步入了新臺(tái)階，跨入了新階段。近幾年，在計(jì)算機(jī)技術(shù)和微電子技術(shù)為主的信息技術(shù)高速發(fā)展的大背景下，以采集和傳輸圖像信息為目的的傳感器系統(tǒng)逐漸成為人們關(guān)注的焦點(diǎn)[1]。因此傳感器在各個(gè)方面都得到了廣泛的應(yīng)用，特別是軍事和民用方面。

傳感器的大量面世，大大促進(jìn)了數(shù)據(jù)信息收集工作的進(jìn)度，但是不同類(lèi)型的傳感器性能不同，采集到的信息也各有差異。

假設(shè)用多種不同類(lèi)型的傳感器收集同一副圖片的信息，收集到的結(jié)果可能存在一些相似部分和不同部分，而這些不同部分可以相互補(bǔ)充，從而更詳盡的表達(dá)這幅圖像的信息。接下來(lái)的問(wèn)題就是如何適當(dāng)?shù)某ハ嗨撇糠?，有效的保留互補(bǔ)部分，這正是信息融合技術(shù)研究的內(nèi)容。

信息融合這個(gè)概念在20世紀(jì)70年代就出現(xiàn)過(guò)，20世紀(jì)90年代被正式提出。其中多源圖像融合是信息融合技術(shù)的一個(gè)重要分支。多源圖像融合的最終目標(biāo)是使融合后的圖像獲取最大限度源圖像的互補(bǔ)信息，消除重復(fù)部分，從而得到更完整、準(zhǔn)確的源圖像的信息。多源圖像融合算法的基本思想是通過(guò)設(shè)計(jì)一種較優(yōu)的融合算法，使融合出來(lái)的新圖像能盡可能的利用源圖像互補(bǔ)信息，減少冗余，從而獲得對(duì)某一場(chǎng)景或目標(biāo)更加全面、精準(zhǔn)的理解。融合后圖像的優(yōu)勢(shì)在于可以消除單一源圖像在信息表達(dá)上的局限性，為后續(xù)的圖像處理提供更為完整、準(zhǔn)確的圖像信息。

目前多源圖像融合主要涵蓋以下幾個(gè)方面：多聚焦圖像融合、遙感圖像融合、紅外與可見(jiàn)光圖像融合、雷達(dá)圖像融合及醫(yī)學(xué)圖像融合等。多源圖像融合涉及到多領(lǐng)域，包括軍事領(lǐng)域和民用領(lǐng)域，如智能機(jī)器人[2]、交通管理[3]、遙感[4]、醫(yī)學(xué)診斷[5]及視頻監(jiān)控[6]等。

1 圖像融合算法

為了得到盡可能優(yōu)的融合圖像，廣大學(xué)者致力于研究圖像融合算法。目前圖像融合算法主要在三個(gè)層次上開(kāi)展，分別是像素級(jí)、特征級(jí)和決策級(jí)。

1.1 像素級(jí)圖像融合

像素級(jí)圖像融合在融合層次上屬于最底層的融合方法，該方法是直接對(duì)原始圖像數(shù)據(jù)進(jìn)行操作。這種融合方式能夠?qū)⒛繕?biāo)圖像進(jìn)行更為準(zhǔn)確、全面和可靠的融合。像素級(jí)圖像融合結(jié)果和后兩個(gè)層次相比包含的細(xì)節(jié)信息更多，能使觀(guān)察者更好的對(duì)圖像進(jìn)行分析和理解。目前像素級(jí)圖像融合方式應(yīng)用范圍最廣，也為特征級(jí)和決策級(jí)融合奠定了扎實(shí)的基礎(chǔ)。基于像素級(jí)的融合算法又分為空間域和變換域。其中空間域的融合方法有加權(quán)平均法和主成份分析法等。變換域的融合方法主要有基于多尺度分解的方法等。

1.2 特征級(jí)圖像融合

特征級(jí)圖像融合在融合層次上屬于中間層次的融合。這種融合方式的原理是先從源圖像中提取有用特征，再對(duì)提取到的特征進(jìn)行綜合分析和處理，在保證融合所需信息的前提下，對(duì)輸入信息進(jìn)行篩選，這樣不但對(duì)信息量進(jìn)行了有效的壓縮，而且大大提高了融合速度。特征級(jí)圖像融合包含聚類(lèi)分析法、神經(jīng)網(wǎng)絡(luò)法、信息熵法等。

1.3 決策級(jí)圖像融合

決策級(jí)圖像融合在融合層次上屬于最高層次的融合。這種融合方式的原理是：首先對(duì)源圖像進(jìn)行預(yù)處理及特征提取和分類(lèi)，在這基礎(chǔ)上獲得對(duì)同一目標(biāo)的初步判決結(jié)論，再對(duì)初步?jīng)Q策進(jìn)行融合處理，得到最終的聯(lián)合判決。決策級(jí)圖像融合的缺點(diǎn)是：圖像預(yù)處理代價(jià)高，利用源圖像的初步判決結(jié)論進(jìn)行最終的聯(lián)合判決，會(huì)造成原始圖像信息的嚴(yán)重丟失。

圖像融合算法基于以上的三種層次各有優(yōu)缺點(diǎn)，這三類(lèi)算法不僅能夠獨(dú)立的進(jìn)行融合，而且可以相互結(jié)合進(jìn)行融合，前一級(jí)融合的結(jié)果可以作為后一級(jí)融合的輸入信息。在實(shí)際應(yīng)用中，要根據(jù)對(duì)融合圖像的具體要求選擇恰當(dāng)?shù)娜诤戏绞?，以獲得最佳的融合效果。

2 基于PCNN的圖像融合方法

如今人們對(duì)圖像融合方法的研究集中在像素級(jí)和特征級(jí)上，研究者使用最多的就是基于脈沖耦合神經(jīng)網(wǎng)絡(luò)（Pulse Coupled Neural Networks，PCNN）的融合方法。

通過(guò)查閱大量文獻(xiàn)資料，了解了近期學(xué)者們基于PCNN圖像融合技術(shù)的研究進(jìn)展。其中，宋斌等人使用稀疏表示與Dual-PCNN相結(jié)合來(lái)融合圖像[7];Li M，Cai W等將清晰度作為融合時(shí)不同圖像塊系數(shù)的權(quán)重，結(jié)果表示，對(duì)于正在移動(dòng)的物體，或者是沒(méi)有得到精確配準(zhǔn)的源圖像，融合效果相當(dāng)不錯(cuò)[8];王艷等[9]將非下采樣Contourlet和自適應(yīng)PCNN相結(jié)合來(lái)融合圖像;2005年Li W，Zhu XF等[10]人，首次將PCNN與小波包結(jié)合起來(lái)進(jìn)行融合圖像;Miao QG，Wang BS等[11]人將PCNN用于多聚焦圖像融合，為了使β值實(shí)現(xiàn)自適應(yīng)設(shè)置，使用像素的清晰度作為PCNN的連接強(qiáng)度，通過(guò)對(duì)比待融合區(qū)域的銳度來(lái)融合圖像。同年，Miao QG等[12]人又發(fā)表了將像素的對(duì)比度作為PCNN的連接強(qiáng)度進(jìn)行圖像融合的文章。結(jié)果證明，這種算法效果較好;文獻(xiàn)[13]中作者對(duì)PCNN中的參數(shù)進(jìn)行了自適應(yīng)設(shè)置完成了圖像融合;Qu XB，Yan JW等人提出了區(qū)域點(diǎn)火強(qiáng)度（Regional Firing Intensity，RFI）的概念，并將之應(yīng)用到PCNN模型中，通過(guò)RFI的大小來(lái)選取離散小波變換后得到的系數(shù)[14];Wang ZB等[15]首次提出了一種雙通道PCNN模型，該方法顯著地提高了融合后圖像的質(zhì)量;文獻(xiàn)[16]研究了Contourlet變換與PCNN相結(jié)合的融合方法;文獻(xiàn)[17]中使用圖像塊的拉普拉斯能量來(lái)表示PCNN的外部刺激從而實(shí)現(xiàn)參數(shù)的自適應(yīng);文獻(xiàn)[18]將非下采樣Contourlet變換和PCNN相結(jié)合來(lái)融合孔徑雷達(dá)圖像。

由于PCNN具有全局耦合性，可以使融合圖像從源圖像中充分地提取出圖像特征，以盡可能減少兩幅圖像之間的差異，所以很多學(xué)者應(yīng)用PCNN進(jìn)行圖像融合。如今，學(xué)者們基于PCNN圖像融合方法的研究較多的專(zhuān)注于以下兩類(lèi)。

2.1 基于PCNN與多尺度變換相結(jié)合的融合方法

第一類(lèi)，將PCNN與多尺度變換相結(jié)合來(lái)進(jìn)行融合。近期，多尺度分解技術(shù)成為研究熱點(diǎn)，大多數(shù)學(xué)者將PCNN與各種多尺度分解技術(shù)相結(jié)合來(lái)融合圖像。如：文獻(xiàn)[19]中將NSCT（Non-subsampled Contourlet Transform，非下采樣輪廓波變換）與PCNN相結(jié)合來(lái)融合圖像;文獻(xiàn)[20]研究了PCNN和小波變換相結(jié)合的融合算法;此外，文獻(xiàn)[21]中將Shearlet變換與PCNN相結(jié)合融合圖像。

在多尺度變換中首先被提出的是金字塔變換，但是基于金字塔法的融合效果并不理想。由于金字塔分解后各分解層之間具有相關(guān)性，而且金字塔分解后的信息是冗余的，這嚴(yán)重影響了融合效果;這時(shí)，小波變換漸漸盛行起來(lái)，因此其代替了金字塔變換被應(yīng)用到圖像融合中。小波變換能夠通過(guò)伸縮和平移對(duì)圖像進(jìn)行多尺度分解，其具有較好的空頻局域性。之所以會(huì)代替金字塔變換，是因?yàn)樾〔ǚ纸獠粌H是非冗余的而且具有方向性，應(yīng)用到圖像融合中效果可觀(guān)。但隨著時(shí)間的推移，小波變換的缺陷也逐漸暴露出來(lái)，二維離散小波僅能將圖像分解成三個(gè)方向的高通子帶，忽略了其他方向的信息;近年來(lái)，隨著曲波變換和輪廓波變換的提出，這兩種變換也在圖像融合領(lǐng)域取得了不錯(cuò)的效果。曲波變換在小波變換的基礎(chǔ)上對(duì)圖像在很多方向上展開(kāi)分解，但其引入了下采樣操作，導(dǎo)致偽吉布斯現(xiàn)象的產(chǎn)生;非下采樣輪廓波變換繼承了輪廓波變換的多尺度、多方向以及良好的空域和頻域局部特性，遺棄了輪廓波變換中的下采樣操作。NSCT的出現(xiàn)大大縮小了偽吉布斯現(xiàn)象出現(xiàn)的概率，能夠更好的表示圖像的細(xì)節(jié)，但該方法計(jì)算起來(lái)較為繁瑣;非下采樣剪切波變換（Non-subsampled Shearlet Transform，NSST）具有更高的方向靈敏度和較低的計(jì)算復(fù)雜度，這些優(yōu)點(diǎn)使得其更適用于圖像處理。近期，一些新的變換也被提出來(lái)，致力于研究改進(jìn)的多尺度變換是一個(gè)創(chuàng)新的要點(diǎn)。

2.2 減少PCNN計(jì)算復(fù)雜度的融合方法

另一類(lèi)，圖像融合算法主要研究方向是怎樣可以盡可能地減少PCNN的計(jì)算復(fù)雜度，這類(lèi)課題一般分為兩種，一種是改進(jìn)PCNN模型中參數(shù)的設(shè)置方式，盡可能使參數(shù)的設(shè)置實(shí)現(xiàn)自適應(yīng)，另一種是簡(jiǎn)化PCNN模型。

以PCNN模型中參數(shù)的自適應(yīng)化來(lái)說(shuō)，PCNN現(xiàn)有理論不能較好地解釋該模型中參數(shù)怎么樣設(shè)置將會(huì)導(dǎo)致什么樣的應(yīng)用效果，且PCNN中參數(shù)較為繁多，傳統(tǒng)的方法是參數(shù)要依靠人工設(shè)置并按照實(shí)驗(yàn)效果一直調(diào)整，調(diào)參工作十分繁瑣。于是該模型中參數(shù)的自適應(yīng)性成為許多學(xué)者的研究對(duì)象。參數(shù)自適應(yīng)化的研究方向大致分為兩種，一種是重要參數(shù)自適應(yīng)化例如連接強(qiáng)度，另一種是網(wǎng)絡(luò)迭代次數(shù)的自適應(yīng)化。如：Randy Paul Broussard等使用梯度下降法將參數(shù)自適化[22];馬義德教授等將PCNN與遺傳算法相結(jié)合來(lái)使參數(shù)得到自適應(yīng)[23];張志宏等人引入了信息曲線(xiàn)，優(yōu)化了衰減系數(shù)[24];由于PCNN模型對(duì)亮度、對(duì)比度敏感的特性，馬義德等利用誤差反向傳播學(xué)習(xí)準(zhǔn)則使PCNN得到自適應(yīng)，從而減少亮度、對(duì)比度對(duì)圖像識(shí)別精度的影響[25];苗啟廣等人提出了一種自適應(yīng)PCNN的融合算法，該方法得到的融合結(jié)果更加符合人眼的視覺(jué)特性[26];李美麗、李言俊等人針對(duì)以往基于脈沖偶合神經(jīng)網(wǎng)絡(luò)的融合算法中每個(gè)神經(jīng)元的連接強(qiáng)度都是取相同常數(shù)這一問(wèn)題，分別利用像素的標(biāo)準(zhǔn)差和拉普拉斯能量特征作為對(duì)應(yīng)神經(jīng)元的連接強(qiáng)度來(lái)實(shí)現(xiàn)PCNN的自適應(yīng)[27];趙峙江等人引用灰度信息量直方圖，使得PCNN中衰減參數(shù)實(shí)現(xiàn)自適應(yīng)[28];針對(duì)PCNN模型中參數(shù)的設(shè)置仍需要依靠經(jīng)驗(yàn)和手工這一問(wèn)題，在文獻(xiàn)[29]中，于江波等人制定了PCNN模型中各參數(shù)確定的準(zhǔn)則，將按照這些準(zhǔn)則設(shè)置參數(shù)的PCNN模型應(yīng)用到眼底圖像處理中，處理效果可以和人工選取參數(shù)相比擬，魯棒性較強(qiáng)。對(duì)于PCNN中網(wǎng)絡(luò)迭代次數(shù)的自適應(yīng)化，其目的就是讓系統(tǒng)自動(dòng)確定迭代多少次，而不是依靠人工設(shè)定。就目前來(lái)說(shuō)，使迭代次數(shù)實(shí)現(xiàn)自適應(yīng)化這類(lèi)算法中較為突出的理論性研究成果較少。

另一類(lèi)是對(duì)PCNN模型的簡(jiǎn)化改進(jìn)研究。由于PCNN模型中需要進(jìn)行多次卷積操作，而且其擁有非線(xiàn)性的網(wǎng)絡(luò)和并行的特性，所以PCNN的運(yùn)行效率并不高，因此對(duì)該模型進(jìn)行簡(jiǎn)化改進(jìn)至關(guān)重要。目前基于PCNN的簡(jiǎn)化模型主要有交叉皮層模型（Intersecting Cortical Model， ICM）、脈沖發(fā)放皮層模型（Spiking Cortical Model，SCM）模型和連接突觸計(jì)算網(wǎng)絡(luò)（Linking Synaptic Computation Network，LSCN）模型。

對(duì)于以上兩類(lèi)的算法可以單獨(dú)進(jìn)行融合，也可以互相結(jié)合進(jìn)行計(jì)算。

3 結(jié)束語(yǔ)

本文在查閱了大量中英文參考文獻(xiàn)后，總結(jié)概括了圖像融合的三個(gè)層次，詳盡列舉了近期發(fā)表的關(guān)于圖像融合的算法?？偨Y(jié)出了可以從兩個(gè)方向?qū)赑CNN圖像融合進(jìn)行改進(jìn)。分別是基于PCNN與多尺度變換相結(jié)合，和減少PCNN計(jì)算復(fù)雜度，其中減少PCNN計(jì)算復(fù)雜度又可以從兩方面入手，分別是使PCNN模型中參數(shù)實(shí)現(xiàn)自適應(yīng)，其中包括該模型中的關(guān)鍵參數(shù)與迭代次數(shù)，和簡(jiǎn)化PCNN模型提出新模型。

對(duì)于本文提出了兩個(gè)方向，接下來(lái)需要對(duì)它們進(jìn)行深入研究，尋找每個(gè)方向的創(chuàng)新點(diǎn)，從而得出較優(yōu)的融合圖像。

參考文獻(xiàn)（References）：

[1] L. Wald. Some terms of reference in data fusion[J]. IEEETransactions on ?Geoscience and Remote Sensing，1999.37（3）：1190-1193

[2] M. Nada. Sensors and data fusion[M]. Vienna， Austria，2009：1-490

[3] D. J. Mirota， M. Ishii， G. D. Hager. Vision-based navigationin image-guided interventions[J]. Annual Review of Biomedical Engineering，2011.13：297-319

[4] B. Luo. Decision-based fusion for pansharpening ofremote sensing images[J]. IEEE Geoscience and Remote Sensing Letters，2013.10： 19-23

[5] Z. B. Wang， Y. D. Ma. Medical image fusion usingm-PCNN[J]. Information Fusion，2008.9：176-185

[6] D. ?M. ?Tsai， ?S. ?C. ?Lai. ?Independent ?componentanalysis-based ?background ?subtraction ?for indoor surveillance[J]. IEEE Transactions on Image Processing，2009.18（1）：158-167

[7] 宋斌，吳樂(lè)華，唐曉杰等.采用DCT稀疏表示與Dual-PCNN的圖像融合算法[J].紅外技術(shù)，2015.4：283-288

[8] Li M， Cai W， Tan Z. Pulse coupled neural network basedimage fusion[J].ADVANCES IN NEURAL NETWORKS-ISNN 2005，PT 2，PROCEEDINGS，2005.3497：741-746

[9] 王艷，楊艷春，黨建武等.非下采樣Contourlet變換域內(nèi)結(jié)合模糊邏輯和自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)的圖像融合[J].激光與光電子學(xué)進(jìn)展，2019.56（10）.

[10] Li W， Zhu X F. A new image fusion algorithm based onwavelet packet analysis and PCNN[C]//International Conference on Machine Learning and Cybernetics. IEEE，2005.9：5297-5301

[11] Miao Q. A novel adaptive multi-focus image fusionalgorithm based on PCNN and sharpness[J]. Proceedings of SPIE-The International Society for Optical Engineering，2005.5778：704-712

[12] Miao Q， Wang B. A Novel Image Fusion Algorithmbased on PCNN and Contrast[C]// International Conference on Communications，Circuits and Systems Proceedings. IEEE，2006：543-547

[13] Li M， Cai W， Tan Z. A region-based multi-sensor imagefusion scheme using pulse-coupled neural network[J]. Pattern Recognition Letters，2006.27（16）：1948-1956

[14] Qu X， Yan J， et al. Multi-focus Image Fusion AlgorithmBased on Regional Firing Characteristic of Pulse Coupled Neural Networks[D].IEEE，2009.

[15] Wang Z， Ma Y. Dual-channel PCNN and Its Applicationin the Field of Image Fusion[C]// International Conference on Natural Computation. IEEE，2007：755-759

[16] Liu S P， Fang Y. Infrared image fusion algorithm basedon contourlet transform and improved pulse coupled neural network[J].Journal of Infrared & Millimeter Waves，2007.26（3）：217-221

[17] Huang W， Jing Z. Multi-focus image fusion using pulsecoupled neural network[J].Pattern Recognition Letters，2007.28（9）：1123-1132

[18] Min W， Peng D， Yang S. Fusion of Multi-band SARImages Based on Nonsubsampled Contourlet and PCNN[C]// International Conference on Natural Computation.IEEE，2008：529-533

[19] 楊艷春，王曉明，黨建武.基于NSCT與區(qū)域點(diǎn)火PCNN的醫(yī)學(xué)圖像融合方法[J].系統(tǒng)仿真學(xué)報(bào)，2014.2：50-54

[20] 楊艷春，黨建武，王陽(yáng)萍.基于提升小波變換與自適應(yīng)PCNN的醫(yī)學(xué)圖像融合方法[J].計(jì)算機(jī)輔助設(shè)計(jì)與圖形學(xué)學(xué)報(bào)，2012.4：70-75

[21] 王朝暉，王佳琪，趙德功等.基于Shearlet與改進(jìn)PCNN的圖像融合[J].激光與紅外，2012.2：99-102

[22] Broussard R P. Physiologically-Based Vision ModelingApplications and Gradient Descent-Based Parameter Adaptation of Pulse Coupled Neural Networks[C]// Air Force Institute of Technology，1997.

[23] 馬義德，齊春亮.基于遺傳算法的脈沖耦合神經(jīng)網(wǎng)絡(luò)自動(dòng)系統(tǒng)的研究[J].系統(tǒng)仿真學(xué)報(bào)，2006.18（3）：722-725

[24] 張志宏，馬光勝.PCNN模型參數(shù)優(yōu)化與多閾值圖像分割[J].哈爾濱工業(yè)大學(xué)學(xué)報(bào)，2009.3：240-242

[25] 馬義德，ZHAN Kun，齊春亮.自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像處理中應(yīng)用[J].系統(tǒng)仿真學(xué)報(bào)，2008.20（11）：2897-2900

[26] 苗啟廣，王寶樹(shù).一種自適應(yīng)PCNN多聚焦圖像融合新方法[J].電子與信息學(xué)報(bào)，2006.28（3）：466-470

[27] 李美麗，李言俊，王紅梅等.基于自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)圖像融合新算法[J].光電子·激光，2010.5：779-782

[28] 趙峙江，趙春暉，張志宏.一種新的PCNN模型參數(shù)估算方法[J].電子學(xué)報(bào)，2007.35（5）：996-1000

[29] 于江波，陳后金，王巍等.脈沖耦合神經(jīng)網(wǎng)絡(luò)在圖像處理中的參數(shù)確定[J].電子學(xué)報(bào)，2008.36（1）：81-85