NSST域下SPCNN與SR結(jié)合的多源圖像融合 *

張麗霞,曾廣平,宣兆成

(1.天津職業(yè)技術(shù)師范大學(xué)信息技術(shù)工程學(xué)院,天津 300222;2.北京科技大學(xué)計(jì)算機(jī)與通信工程學(xué)院,北京 100083)

1 引言

由于成像設(shè)備的成像機(jī)理不同，不同設(shè)備拍攝的圖像是不同的。例如，常用的醫(yī)學(xué)圖像計(jì)算機(jī)斷層掃描圖像CT(Computed Tomograpy)和核磁共振圖像MR(Magnetic Resonance)；夜間視覺(jué)監(jiān)控常用的可見(jiàn)光圖像和紅外圖像；自然場(chǎng)景信息采集的多聚焦圖像。這些圖像之間具有信息的互補(bǔ)性和冗余性。為提升一幅圖像的信息量和提高判斷的精準(zhǔn)度，將2幅及以上的互補(bǔ)圖像整合為一幅圖像的技術(shù)成為當(dāng)前研究的熱點(diǎn)之一，即圖像融合技術(shù)。圖像融合技術(shù)是從2幅或多幅信息互補(bǔ)的圖像中提取核心內(nèi)容、擯除噪聲，合成一幅細(xì)節(jié)信息更全、清晰度更高的圖像，以適應(yīng)人眼觀察和機(jī)器自動(dòng)分析[1 - 3]。而由不同設(shè)備或者不同參數(shù)的設(shè)備拍攝的具有互補(bǔ)特性的圖像統(tǒng)稱(chēng)為多源圖像。

多源圖像融合最常用的方法為變換域方法，由分解——融合——重構(gòu)3步完成[4,5]。首先源圖像經(jīng)變換域后分解為低頻系數(shù)和高頻系數(shù)。然后，針對(duì)低頻系數(shù)和高頻系數(shù)分別采用不同的融合策略進(jìn)行融合。最后將融合后的低頻系數(shù)和高頻系數(shù)經(jīng)逆變換重構(gòu)成最終的融合圖像。具有代表性的圖像融合方法有離散小波變換(DWT)、輪廓波變換(Contourlet)等。考慮到平移不變性、多方向和多尺度等特點(diǎn)，非下采樣輪廓波變換NSCT(Non-Subsampled Contourlet Transform)和非下采樣剪切波變換NSST(Non-Subsampled Shearlet Transform)性能最佳[6]。由于NSCT的計(jì)算復(fù)雜度高，耗時(shí)較長(zhǎng)，應(yīng)用范圍受到限制。而NSST是在剪切波變換的基礎(chǔ)上提出的，經(jīng)多方向和多尺度分解，實(shí)現(xiàn)了源圖像的稀疏表示，克服了NSCT的計(jì)算復(fù)雜度高的不足，具有計(jì)算效率高，無(wú)Gibbs效應(yīng)等優(yōu)點(diǎn)。目前，基于NSST的圖像融合方法已取得了較好的效果，并得到廣泛應(yīng)用[7 - 9]

融合策略是變換域方法的核心，根據(jù)某種規(guī)則選取源圖像的特征并融合。脈沖耦合神經(jīng)網(wǎng)絡(luò)PCNN(Pulse Coupled Neural Network)和稀疏表示SR(Sparse Representation)是2種變換域下常用的融合策略。PCNN通過(guò)計(jì)算和比較每個(gè)像素計(jì)算點(diǎn)火總次數(shù)來(lái)選擇像素，具備細(xì)節(jié)提取能力強(qiáng)、目標(biāo)識(shí)別率高等特點(diǎn)[10,11]。SR是在保留圖像細(xì)節(jié)特征的基礎(chǔ)上降維，將源圖像分解為一組非零原子的線性組合，具有有效保障邊緣信息和細(xì)節(jié)信息完整的特點(diǎn)[12,13]。由此，為進(jìn)一步提高多源圖像的融合質(zhì)量，本文結(jié)合脈沖耦合神經(jīng)網(wǎng)絡(luò)與SR的優(yōu)點(diǎn)，提出了NSST域下自適應(yīng)參數(shù)的SPCNN(Simplified PCNN)與SR相結(jié)合的多源圖像融合技術(shù)。首先，對(duì)源圖像進(jìn)行NSST變換，得到一系列高頻系數(shù)和低頻系數(shù)；對(duì)高頻系數(shù)采用基于圖像特征自動(dòng)設(shè)置參數(shù)的SPCNN進(jìn)行融合；對(duì)低頻系數(shù)采用SR完成融合；最后通過(guò)逆NSST變換完成圖像融合。

2 基于圖像固有特征的參數(shù)自適應(yīng)的簡(jiǎn)化PCNN

2.1 簡(jiǎn)化的PCNN模型

傳統(tǒng)的PCNN模型是一種強(qiáng)耦合、多迭代的神經(jīng)網(wǎng)絡(luò)，包含9個(gè)可調(diào)節(jié)的參數(shù)，每個(gè)參數(shù)的設(shè)置都會(huì)影響最終的結(jié)果，并且每個(gè)參數(shù)的設(shè)置都需要大量的實(shí)驗(yàn)。因此，學(xué)者改進(jìn)了PCNN模型，提出了簡(jiǎn)化的PCNN模型，目的是弱化耦合性，減少參數(shù)，縮短運(yùn)行時(shí)間。最常用的簡(jiǎn)化PCNN模型包括：?jiǎn)芜B接PCNN、交叉皮層模型和脈沖皮層模型SCM(Spiking Cortical Model)等。其中，脈沖皮質(zhì)模型已被證明相比其他方法具有更低的計(jì)算復(fù)雜度和更高的準(zhǔn)確率[14]。由此，本文采用了基于SCM的簡(jiǎn)化PCNN模型SPCNN，定義如式(1)～式(5)所示：

Fij(n)=Sij

(1)

(2)

Uij(n)=e-αFUij(n-1)+Fij(n)(1+βLij(n))

(3)

(4)

Eij(n)=e-αEEij(n-1)+VEYij(n)

(5)

式(1)和式(2)中的Fij(n)和Lij(n)分別為像素位置(i,j)上神經(jīng)元的反饋輸入和連接輸入,Nij為以(i,j)為中心的局部區(qū)域,n為迭代次數(shù)。神經(jīng)元的輸入Sij為外部輸入信號(hào)。下標(biāo)ij和kl分別代表2個(gè)圖像像素坐標(biāo)，(i,j)為中心像素位置，(k,l)為鄰域像素位置。W為連接輸入中神經(jīng)元之間的權(quán)重矩陣。VL為連接輸入的幅度系數(shù)，下標(biāo)L為連接輸入的標(biāo)識(shí)符。式(3)是PCNN的調(diào)制系統(tǒng)，稱(chēng)作內(nèi)部活動(dòng)項(xiàng)Uij(n)，是通過(guò)反饋輸入Fij(n)和連接輸入Lij(n)的耦合而求得的，目的是用來(lái)激勵(lì)神經(jīng)元內(nèi)部活動(dòng)，β為連接強(qiáng)度系數(shù)。αF為反饋輸入的時(shí)間衰減系數(shù)，下標(biāo)F為反饋輸入的標(biāo)識(shí)符。神經(jīng)元的狀態(tài)分為激活(點(diǎn)火)和抑制2種，是由點(diǎn)火子系統(tǒng)決定的，如式(4)表示。當(dāng)Uij(n)>Eij(n-1)時(shí)，神經(jīng)元發(fā)生點(diǎn)火，即產(chǎn)生了脈沖，Yij(n)為脈沖輸出。Eij(n)為閾值輸出，受Yij(n)的影響。當(dāng)發(fā)生點(diǎn)火，有脈沖輸出時(shí)，動(dòng)態(tài)閾值瞬間受衰減系數(shù)αE的影響發(fā)生遞減，并增加一幅度系數(shù)VE。其中，αE和VE分別為動(dòng)態(tài)閾值的指數(shù)衰減因子和幅值，下標(biāo)E為動(dòng)態(tài)閾值的標(biāo)識(shí)符。

由式(1)～式(5)可知，式(1)和式(2)共同作用于式(3),將式(1)和式(2)代入式(3)，結(jié)果如式(6)所示：

Uij(n)=e-αFUij(n-1)+

(6)

由于VL和β僅僅作用于式(6),又由于Chen等人[14]在文獻(xiàn)中證明，當(dāng)VL和β的乘積不變時(shí)，VL和β取不同的值不影響結(jié)果。所以，將VL和β合并為一個(gè)參數(shù)，即β′=βVL，來(lái)進(jìn)一步簡(jiǎn)化PCNN模型。所以，SPCNN參數(shù)變成5個(gè)可調(diào)節(jié)參數(shù)αF、β′、αE、VE和W。

2.2 SPCNN模型參數(shù)的自動(dòng)設(shè)置

由于多源圖像的多樣性，PCNN設(shè)置固定的參數(shù)值不能靈活提取圖像的特征。所以，為提升融合質(zhì)量，基于PCNN的融合方法應(yīng)根據(jù)不同的輸入圖像設(shè)置不同的參數(shù)值，即利用輸入圖像的特征來(lái)定義參數(shù)，將PCNN參數(shù)與圖像特征緊密結(jié)合，實(shí)現(xiàn)融合過(guò)程與圖像特征的聯(lián)系。

由于SPCNN模型中的每個(gè)參數(shù)在神經(jīng)元的行為活動(dòng)中都各自發(fā)揮著獨(dú)特的作用，本文借鑒文獻(xiàn)[14],考慮鄰域神經(jīng)元之間的相互關(guān)系，提出了基于圖像靜態(tài)特性自動(dòng)設(shè)定參數(shù)的SPCNN模型，即利用輸入圖像的多個(gè)特征值定義SPCNN的參數(shù)值，實(shí)現(xiàn)參數(shù)與圖像靜態(tài)特征的動(dòng)態(tài)鏈接。參數(shù)αF的值直接決定了內(nèi)部活動(dòng)項(xiàng)Uij(n)的分布區(qū)域，值越大，分布區(qū)域越寬，反之越窄。實(shí)驗(yàn)證明，αF定義為輸入圖像的標(biāo)準(zhǔn)差σ的關(guān)系值，如式(7)所示：

αF=log (1/σ(S))

(7)

其中，S為輸入圖像的像素值，σ(S)為輸入圖像的標(biāo)準(zhǔn)方差。

參數(shù)β′為連接強(qiáng)度，決定了某一神經(jīng)元受外圍神經(jīng)元的影響程度，值越大，影響就越大。由于參數(shù)β′的值越大，中心神經(jīng)元受其鄰近神經(jīng)元的影響就越大，所以，兼顧邊緣信息的保留和鄰域像素的影響，β′定義如式(8)所示：

(8)

其中，Smax和S′分別為輸入圖像的最大像素值和歸一化的Otsu閾值。αE和VE是動(dòng)態(tài)閾值Eij(n)的2個(gè)參數(shù)，由公式可知，參數(shù)αE越大，SPCNN模型在衰減時(shí)刻所捕獲的灰度值范圍就越大，則圖像處理精度就變得越低；而VE決定了發(fā)生點(diǎn)火后，閾值Eij(n)的增量，根據(jù)輸入圖像的灰度值范圍，推導(dǎo)得出VE和αE的定義如式(9)和式(10)所示：

VE=e-αF+1+6β′

(9)

(10)

考慮到外圍神經(jīng)元的影響，反映中樞神經(jīng)與外圍神經(jīng)元之間關(guān)系的權(quán)值矩陣W被定義為相鄰神經(jīng)元之間的歐幾里得距離的倒數(shù)，其大小設(shè)定為3×3，其元素的取值如式(11)所示：

(11)

綜上，SPCNN模型的5個(gè)參數(shù)的自適應(yīng)設(shè)置都是由輸入圖像的固有特征定義的，反映了神經(jīng)元的動(dòng)態(tài)特性和圖像靜態(tài)特征之間的相互關(guān)系，凸顯了不同圖像的不同特征，也增強(qiáng)了圖像融合方法的魯棒性和穩(wěn)定性。

3 稀疏表示

稀疏表示模型是從過(guò)完備字典中選取部分原子，采用某種線性組合方式精準(zhǔn)刻畫(huà)圖像的結(jié)構(gòu)與特征信息，其目的是降低數(shù)據(jù)的維度和依賴(lài)性。通常，基于稀疏表示的圖像融合方法分為3步：首先通過(guò)已知圖像訓(xùn)練構(gòu)建過(guò)完備字典，接著選擇過(guò)完備字典中的部分原子線性組合，將源圖像變換為單尺度特征向量；然后對(duì)特征向量進(jìn)行活躍級(jí)度量和融合；最后重構(gòu)得到融合結(jié)果[15]。稀疏表示的數(shù)學(xué)模型如式(12)所示：

(12)

其中，x∈RM為原始信號(hào)；D∈RM×N(M

式(12)的求解核心為過(guò)完備字典構(gòu)建和稀疏表示模型的選擇，也是稀疏表示方法的關(guān)鍵技術(shù)。過(guò)完備字典相當(dāng)于原子庫(kù)，存儲(chǔ)訓(xùn)練結(jié)果，即原子，是稀疏表示方法的基礎(chǔ)。常用的過(guò)完備字典獲取方法是通過(guò)學(xué)習(xí)算法，例如K-SVD算法、MOD算法等，對(duì)樣本進(jìn)行大量訓(xùn)練，構(gòu)建冗余度較高的字典。此方法不需深入分析所研究的信息的特點(diǎn)與描述方法，實(shí)現(xiàn)簡(jiǎn)單。因此，本文采用K-SVD算法來(lái)訓(xùn)練過(guò)完備字典。稀疏表示模型從過(guò)完備字典中選取部分原子，采用某種線性組合方式精準(zhǔn)刻畫(huà)圖像的結(jié)構(gòu)與特征信息，其目的是降低數(shù)據(jù)的維度和依賴(lài)性。

4 融合過(guò)程

4.1 融合方法的框架

參數(shù)自動(dòng)設(shè)置的SPCNN模型與稀疏表示相結(jié)合的多源圖像融合過(guò)程如圖1所示。此方法首先假定2幅源圖像已完全配準(zhǔn)，即源圖像IA和IB為2幅預(yù)匹配完好的圖像。IF為融合后的圖像。具體的融合過(guò)程是在NSST變換的基礎(chǔ)上進(jìn)行的，主要包括4部分：源圖像的NSST分解、低頻圖像的融合、高頻圖像融合和融合系數(shù)的NSST逆變換。圖1中，LA和LB分別為2幅源圖像的低頻系數(shù)，LF為低頻融合系數(shù)。HA和HB分別為2幅源圖像分解的系列高頻系數(shù)，HF為高頻融合系數(shù)。MAPL為低頻融合決策圖，MAPH為高頻融合決策圖。

Figure 1 Flowchart of the multi-source image fusion method圖1 多源圖像融合方法流程圖

4.2 具體融合過(guò)程

(1)NSST分解。

(2)低頻系數(shù)的融合。

利用低頻系數(shù)樣本學(xué)習(xí)訓(xùn)練的過(guò)完備字典對(duì)低頻系數(shù)進(jìn)行稀疏表示，采用系數(shù)絕對(duì)值取大規(guī)則獲得融合后的低頻系數(shù)。具體步驟為：

①采用滑窗技術(shù)對(duì)低頻系數(shù)(LA和LB)進(jìn)行分塊，將每一個(gè)圖像塊轉(zhuǎn)換為列向量，然后利用OMP算法和基于低頻系數(shù)的訓(xùn)練字典計(jì)算出稀疏表示系數(shù)(aA和aB)。

②利用系數(shù)絕對(duì)值取大規(guī)則，獲得低頻系數(shù)融合的決策圖MAPL。MAPL的初值為零，‖‖1表示L1范式,m表示圖像塊序號(hào)。如式(13)所示：

(13)

③利用系數(shù)加權(quán)融合方法獲得aF，如式(14)所示:

aFij=MAPLij·aAij+(1-MAPLij)·aBij

(14)

④利用LF=MAPLaF，以塊為單位重構(gòu)完整的圖像。

(3)高頻系數(shù)融合規(guī)則。

由于PCNN模型的特性，像素灰度值高的神經(jīng)元的點(diǎn)火周期小于像素灰度值低的神經(jīng)元。在一段時(shí)間內(nèi)，像素灰度值高的神經(jīng)元點(diǎn)火總次數(shù)要大于像素灰度值低的神經(jīng)元，所以可以通過(guò)比較相同時(shí)間段內(nèi)對(duì)應(yīng)神經(jīng)元點(diǎn)的點(diǎn)火總次數(shù)來(lái)判斷圖像的清晰度。

(15)

借用系數(shù)加權(quán)融合規(guī)則融合高頻系數(shù)，定義如式(16)所示：

(16)

(4)NSST逆運(yùn)算。

5 實(shí)驗(yàn)結(jié)果及其分析

5.1 實(shí)驗(yàn)設(shè)置

為了精準(zhǔn)比較，本文所有實(shí)驗(yàn)都是在Windows 7操作系統(tǒng)，Matlab 2015b軟件上運(yùn)行的。硬件為Intel(R) core(TM)i3，M330，2.13 GHz處理器，3 GB內(nèi)存。

為了驗(yàn)證本文方法的有效性，選用了具有代表性的5種融合方法進(jìn)行性能比較：結(jié)合NSCT變換和稀疏表示的圖像融合方法NSCT_SR[13]、圖像引導(dǎo)濾波融合GFF(Image-Guided Filtering Fusion)[15]方法、交叉雙邊濾波CBF(Cross Bilateral Filter)[16]方法、多分辨率奇異值分解MSVD(Multi-resolution Singular Value Decomposition)[17]方法和結(jié)構(gòu)相關(guān)的圖像融合IJF(Iterative Joint Filter)[18]方法。

5.2 主觀視覺(jué)評(píng)價(jià)

圖2為不同方法對(duì)醫(yī)學(xué)圖像融合的結(jié)果。圖2a和圖2b分別為同一場(chǎng)景下的不同成像原理獲取的醫(yī)學(xué)圖像。圖2a為骨骼區(qū)域CT圖像。圖2b為軟組織區(qū)域MR圖像。圖2c～圖2h分別為不同方法融合2幅醫(yī)學(xué)圖像的結(jié)果?？梢钥闯觯啾扔贛R源圖像，MSVD方法的融合圖像中骨骼信息出現(xiàn)鋸齒狀，高亮部分有嚴(yán)重殘缺，信息丟失嚴(yán)重。NSCT-SR和CBF的融合結(jié)果的骨骼信息中間都出現(xiàn)了大面積灰色區(qū)域，高亮局部有明顯的信息丟失現(xiàn)象。IJF和GFF融合效果較好，信息較全，但是IJF融合圖像的銜接部分清晰度降低。GFF的軟組織區(qū)域清晰度降低。由此，在灰度一致性方面，本文方法(SPCNN-SR)的效果優(yōu)于其他5種方法的，取得了較好的結(jié)果。

Figure 2 Fusion results of different methods on a pair of medical images圖2 不同方法融合醫(yī)學(xué)圖像的效果圖

圖3為不同方法融合紅外與可見(jiàn)光圖像的結(jié)果。圖3a和圖3b為同一場(chǎng)景下的不同成像原理采集的圖像。圖3a為可見(jiàn)光圖像，主要對(duì)場(chǎng)景的空間細(xì)節(jié)進(jìn)行采集，如房屋、車(chē)等。圖3b為紅外圖像，關(guān)注場(chǎng)景中的熱源對(duì)象，如行人。圖3c～圖3h分別為不同方法的融合結(jié)果。由圖3可見(jiàn)，相比于紅外圖像，CBF融合圖像的高頻信息丟失，中間出現(xiàn)灰度區(qū)域，與源圖像差距明顯。而MSVD融合圖像結(jié)果邊緣不清晰，有鋸齒現(xiàn)象。NSCT-SR、GFF、IJF和本文方法都能夠正確顯示場(chǎng)景細(xì)節(jié)和熱源對(duì)象，但是GFF畫(huà)面偏暗，亮度信息有丟失。

圖4為多聚焦圖像融合的結(jié)果。圖4a為左聚焦圖像，圖4b為右聚焦圖像。圖4c～圖4h分別為不同方法的融合結(jié)果。MSVD方法的融合圖像失真嚴(yán)重，出現(xiàn)鋸齒狀現(xiàn)象。GFF方法的融合圖像灰度有少許變化。圖5為圖4結(jié)果的局部放大圖，可以看出，CBF融合結(jié)果邊緣區(qū)域模糊，NSCT_SR、IJF和SPCNN 3種方法的融合結(jié)果都滿足了要求，能夠清晰顯示2幅源圖像的2個(gè)聚焦區(qū)域，但是本文方法在邊緣細(xì)節(jié)上略優(yōu)于其他方法，更加接近源圖像。

Figure 3 Fusion results of different methods on a pair of infrared and visual images圖3 不同方法融合紅外與可見(jiàn)光圖像的效果圖

Figure 4 Fusion results of different methods on a pair of multi-focus images圖4 不同方法融合多聚焦源圖像的效果圖

Figure 5 Local enlargement of fusion results of different methods on a pair of multi-focus images圖5 不同方法融合多聚焦源圖像的結(jié)果局部放大圖

5.3 客觀指標(biāo)評(píng)價(jià)

為了能夠準(zhǔn)確、客觀地評(píng)價(jià)融合結(jié)果，本文選擇了4類(lèi)評(píng)價(jià)指標(biāo)：信息統(tǒng)計(jì)方面的標(biāo)準(zhǔn)差(QSD)、信息熵(QEN)和互信息(QMI)；特征提取方面的空間頻率(QSF)、梯度值(QG)和相位一致性(QP)；結(jié)構(gòu)相似性的Piella的指標(biāo)(QSSIMP)；Chen和Blum等人提出的人類(lèi)視覺(jué)的評(píng)價(jià)指標(biāo)(QCB)。為了能夠更好地體現(xiàn)各評(píng)價(jià)指標(biāo)的優(yōu)勢(shì)，每種評(píng)價(jià)指標(biāo)均根據(jù)相關(guān)文獻(xiàn)設(shè)置參數(shù)。所采用的評(píng)價(jià)指標(biāo)均是值越大，融合圖像的質(zhì)量越高。為了形象直觀地展示客觀評(píng)價(jià)結(jié)果，本文采用了折線圖方法，結(jié)果如圖6所示。

圖6a～圖6c為信息統(tǒng)計(jì)方面指標(biāo)折線圖。本文方法在標(biāo)準(zhǔn)差(QSD)和信息熵指標(biāo)(QEN)上都取得了最佳結(jié)果，QSD值分別為：醫(yī)學(xué)圖像融合75.539 2，可見(jiàn)光與紅外線圖像融合47.000 3，多聚焦51.580 3。QEN值分別為：醫(yī)學(xué)圖像融合6.275 5，可見(jiàn)光與紅外線圖像融合6.976 9，多聚焦7.354 4。而互信息(QMI)僅在醫(yī)學(xué)圖像和可見(jiàn)

光與紅外圖像融合取得了最佳結(jié)果，值分別為：醫(yī)學(xué)圖像融合4.753 8，可見(jiàn)光與紅外圖像融合4.383 8。而多聚焦圖像融合最佳方法為NSCT-SR，值為8.293 2。本文方法為次優(yōu)方法，值為8.140 3。通過(guò)不同方法融合多源圖像的均值可以看出，本文方法在信息統(tǒng)計(jì)方面是最優(yōu)的。

特征提取方面的評(píng)價(jià)指標(biāo)折線圖見(jiàn)圖6d～圖6f?？梢钥闯?，SPCNN-SR方法在融合可見(jiàn)光與紅外圖像時(shí)，SF指標(biāo)取得了最佳值，結(jié)果為17.944 1。而醫(yī)學(xué)圖像融合中，MSVD方法取得了最佳值，結(jié)果為25.523 3，高于本文方法(25.200 1)1.28%。多聚焦圖像融合的最佳方法為IJF，值為16.195 3，高于SPCNN-SR(15.776 2) 2.58%。但是，從3種圖像的均值來(lái)看，SPCNN-SR方法最優(yōu)，值為19.640 1。在梯度方面，本文方法融合可見(jiàn)光和紅外線、多聚焦圖像取得了最佳結(jié)果?？梢?jiàn)光與紅外線圖像融合的梯度值為0.599 7，多聚焦圖像融合為0.733 3。而在融合醫(yī)學(xué)圖像時(shí)，最佳方法為IJF，值為0.746 6，高于本文方法(0.701 6) 6.027%。對(duì)于相位一致性，最佳方法為GFF，分別在醫(yī)學(xué)圖像和可見(jiàn)光與紅外圖像融合取得了最佳值，醫(yī)學(xué)圖像融合為0.540 6，可見(jiàn)光與紅外圖像融合為0.583 4。多聚焦圖像融合的最佳方法為NSCT-SR，值為0.896 9。由此可見(jiàn)，在特征提取方面，本文方法需進(jìn)一步改進(jìn)。

圖6g為結(jié)構(gòu)相似性評(píng)價(jià)指標(biāo)的結(jié)果?？梢钥闯?，可見(jiàn)光與紅外圖像融合時(shí)，最佳方法為SPCNN-SR，評(píng)價(jià)指標(biāo)的值為0.845 4。而融合醫(yī)學(xué)圖像時(shí)，最佳方法為IJF，值為0.840 2。本文方法的結(jié)果為次優(yōu)值(0.838 5)，兩者之間差距較小，僅次于IJF方法0.202%。融合多聚焦圖像時(shí)，CBF方法為最佳方法，值為0.957 6，高于本文方法(0.957 2) 0.042%。從融合均值可以看出，本文方法為最佳方法，值為0.880 4。

人類(lèi)視覺(jué)方面的評(píng)價(jià)指標(biāo)折線圖如圖6h所示。可以看出，在融合3種不同源圖像時(shí)，本文方法都取得了最佳結(jié)果，值分別為：醫(yī)學(xué)圖像融合為0.633 8；可見(jiàn)光與紅外圖像融合為0.629 6；多聚焦圖像為0.772 2；均值為0.678 53。次之的方法為IJF，均值為0.678 47。

由此可見(jiàn)，本文方法在信息統(tǒng)計(jì)、結(jié)構(gòu)相似性以及人類(lèi)視覺(jué)方面都取得了最佳結(jié)果，而在特征提取方面，SPCNN-SR為次優(yōu)方法。總體來(lái)看，本文方法適合于多源圖像的融合。

Figure 6 Average values and objective assessments of different fusion methods for fusing different images圖6 不同方法融合不同圖像的不同客觀評(píng)價(jià)結(jié)果及均值

5.4 運(yùn)行時(shí)間評(píng)價(jià)

圖7為不同融合方法融合不同圖像的平均運(yùn)行時(shí)間。其中，TM為不同融合方法融合醫(yī)學(xué)圖像的時(shí)間，TIV為不同融合方法融合紅外與可見(jiàn)光圖像的時(shí)間，TMF為不同融合方法融合多聚焦圖像的時(shí)間，TAVE為不同融合方法融合所有圖像的平均運(yùn)行時(shí)間。 可以看出，本文方法的運(yùn)行時(shí)間較長(zhǎng)，主要原因是稀疏表示和SPCNN的運(yùn)算都較為耗時(shí)。下一步工作是進(jìn)一步優(yōu)化本文方法，提高運(yùn)行效率。

Figure 7 Average running time of different methods for fusing different images圖7 不同方法融合不同圖像的平均運(yùn)行時(shí)間

6 結(jié)束語(yǔ)

本文從多源圖像的多樣性、冗余性和互補(bǔ)性的角度，提出了利用圖像的固有特征來(lái)自動(dòng)設(shè)定參數(shù)的SPCNN模型。結(jié)合稀疏表示的特性，提出了NSST域下多源圖像融合的方法SPCNN-SR。首先，源圖像經(jīng)NSST多尺度多方向分解后形成低頻系數(shù)與高頻系數(shù)。由于高頻系數(shù)包含了圖像的細(xì)節(jié)信息，為保證融合圖像的清晰度，采用了圖像靜態(tài)特征自動(dòng)設(shè)置參數(shù)的SPCNN模型實(shí)現(xiàn)各系數(shù)的點(diǎn)火，然后通過(guò)點(diǎn)火總次數(shù)的比較完成融合。而為保證低頻系數(shù)細(xì)節(jié)信息的完整性和邊緣信息的準(zhǔn)確性，采用了稀疏表示方法完成融合。最后通過(guò)逆NSST重構(gòu)融合圖像。實(shí)驗(yàn)結(jié)果表明，本文方法的融合結(jié)果符合人眼視覺(jué)感知系統(tǒng)，融合的對(duì)比度、局部細(xì)節(jié)提取等方面取得了較好的結(jié)果，優(yōu)于其他對(duì)比方法。但是，本文方法的運(yùn)行效率較低，需進(jìn)一步改良。