結(jié)合自適應(yīng)PCNN的非下采樣剪切波遙感影像融合

成飛飛,付志濤,黃 亮,2,陳朋弟,黃 琨

1. 昆明理工大學(xué)國土資源工程學(xué)院，云南 昆明 650093； 2. 云南省高校高原山區(qū)空間信息測(cè)繪技術(shù)應(yīng)用工程研究中心，云南 昆明 650093

圖像融合是圖像處理領(lǐng)域的一個(gè)重要研究課題，具有很大的研究潛力和廣闊的發(fā)展前景。圖像融合技術(shù)是從多個(gè)傳感器或多種方式獲取的圖像中提取重要信息，然后通過特定的處理方法和融合策略進(jìn)行組合得到融合圖像，可以獲得單一傳感器無法提供的信息，已被廣泛應(yīng)用于紅外和可見光融合，醫(yī)學(xué)影像融合和遙感影像融合等多源影像融合領(lǐng)域中[1-2]。在遙感影像融合中，高分辨的影像可以為現(xiàn)代遙感技術(shù)提供保障[3]，其中全色(PAN)與多光譜(MS)影像融合是熱點(diǎn)和難點(diǎn)問題，它們具有不同的成像模式和特點(diǎn)。多光譜圖像具有豐富的光譜信息，但其空間分辨率較低，而全色影像具有較高的空間分辨率，但缺乏足夠的光譜信息。利用MS和PAN影像各自優(yōu)勢(shì)將兩種不同的影像融合在一起，不僅能夠提高全色影像的光譜信息，而且能提高多光譜影像的空間細(xì)節(jié)信息，融合后的影像具有更強(qiáng)的解譯能力，從而提高信息提取的準(zhǔn)確性和穩(wěn)健性。

綜合來看，影像融合劃分方法主要分為基于空間域的融合方法和基于變換域的融合方法[4-5]。其中，基于空間域的影像融合主要有主成分分析、比值變換及IHS等方法，這些方法計(jì)算簡單，速度快，雖然可以改善影像的空間細(xì)節(jié)信息，但會(huì)造成嚴(yán)重的光譜失真和紋理損失，現(xiàn)在空間域的方法與其他方法結(jié)合使用[6-7]。隨著小波變換被廣泛應(yīng)用于影像融合[8-9]領(lǐng)域，但其方向有限和缺乏平移不變性，融合會(huì)造成空間細(xì)節(jié)信息的損失和光譜失真，隨后人們提出多種方法來解決小波變換融合中方向有限和缺乏平移不變性的問題。文獻(xiàn)[10]提出基于曲波變換的遙感影像融合方法，該方法在保留原始影像重要信息和抑制噪聲方面比小波變換方法更好。文獻(xiàn)[11]提出基于粒子群優(yōu)化算法優(yōu)化輪廓波變換，在保證MS光譜信息同時(shí)提高了影像的清晰度。雖然輪廓波變換繼承了曲波變換的各向異性，但仍然沒有改變其缺乏平移不變性，之后又通過不斷研究在輪廓波和剪切波基礎(chǔ)上提出NSCT和NSST。NSCT變換是對(duì)輪廓波變換的改進(jìn)，在影像分解和重建過程中沒有進(jìn)行下采樣操作，解決了輪廓波和剪切波中的平移不變性問題。文獻(xiàn)[12]利用NSCT方法充分提取了原影像中的方向信息，有效地消除了偽吉布斯現(xiàn)象。NSST通過剪切波變換改進(jìn)得到，具有良好的影像稀疏表達(dá)和低成本計(jì)算的能力，適合于MS與PAN影像的融合[13]。

NSST的出現(xiàn)為影像融合提供了解決思路。近年來，基于NSST變換的影像融合方法受到了廣泛關(guān)注，脈沖耦合神經(jīng)網(wǎng)絡(luò)作為重要的融合策略得到廣泛應(yīng)用。文獻(xiàn)[14]將PCNN應(yīng)用于低頻系數(shù)，并利用PCNN的點(diǎn)火發(fā)射次數(shù)，通過加權(quán)射擊能量融合規(guī)則對(duì)低頻系數(shù)進(jìn)行融合，該方法在不增加計(jì)算時(shí)間的情況下，能夠同時(shí)保持空間細(xì)節(jié)和光譜特征。文獻(xiàn)[15—16]采用Sigmoid函數(shù)對(duì)PCNN模型輸出的各子帶系數(shù)迭代過程中的點(diǎn)火輸出幅度進(jìn)行計(jì)算，使得融合結(jié)果能夠較好的保持光譜分辨率的同時(shí)，有效利用了影像中地物邊緣和細(xì)節(jié)信息，但是以上方法中PCNN模型的自由參數(shù)不能自適應(yīng)計(jì)算。

針對(duì)以上問題，本文提出一種結(jié)合參數(shù)自適應(yīng)脈沖耦合神經(jīng)網(wǎng)絡(luò)(PA-PCNN)模型和保持能量(EA)細(xì)節(jié)的NSST遙感影像融合方法：①本文采用的NSST分解方法既能很好地保留原始影像的特征，又能有效地減少影像信息的冗余，降低影像處理的復(fù)雜度和計(jì)算量。②針對(duì)高頻子帶融合策略中采用了自適應(yīng)的PA-PCNN參數(shù)模型，可以對(duì)所需要的參數(shù)進(jìn)行自適應(yīng)調(diào)整，使模型的適應(yīng)能力大幅度增強(qiáng)，更好地適應(yīng)于復(fù)雜遙感影像的融合。低頻采用能量的融合策略，進(jìn)一步減少了紋理和背景信息的丟失，使得融合結(jié)果更接近原始影像。最后，將所提方法與SE[17]、DGIF[18]和COF[19]、PA-PCNN[20]4種融合方法進(jìn)行比較來驗(yàn)證本文方法的有效性和優(yōu)越性。

1 基本理論

1.1 非下采樣剪切波變換

NSST將非下采樣金字塔變換與剪切濾波器結(jié)合，提供一個(gè)最優(yōu)的稀疏表示，可以更加有效地描述圖像信息。利用NSST進(jìn)行影像融合處理，既能很好地保留原始影像的特征，又能有效地減少影像信息的冗余，降低影像處理的復(fù)雜度和計(jì)算量。NSST實(shí)現(xiàn)主要有多尺度分解和方向局部化兩部分組成，非下采樣剪切波多個(gè)尺度多個(gè)方向的子帶分解如圖1所示。其中NSLP指非下采樣金字塔濾波器多尺度分解，q指多尺度分解層數(shù)，SF指剪切濾波器方向局部化。NSST不僅具有多尺度特性，而且具有較強(qiáng)的平移不變性和方向敏感性，因此，本文將采用NSST對(duì)全色與多光譜影像進(jìn)行分解。

圖1 非下采樣剪切波多個(gè)尺度多個(gè)方向的分解子帶Fig.1 Decomposed sub-bands with multiple scales and directions of non-subsampled shearlet transform

1.2 脈沖耦合神經(jīng)網(wǎng)絡(luò)

PCNN最早由文獻(xiàn)[21]提出，有傳統(tǒng)影像處理算法無法比擬的先天優(yōu)勢(shì)，無須學(xué)習(xí)和訓(xùn)練即可從復(fù)雜的背景中提取有效信息。目前基于PCNN的大部分自由參數(shù)(如鏈接強(qiáng)度、振幅和衰減系數(shù)等)還不能完全自適應(yīng)，需要手動(dòng)調(diào)整[22]。為了克服傳統(tǒng)PCNN模型難以設(shè)置自由參數(shù)、降低標(biāo)準(zhǔn)PCNN模型的復(fù)雜度以及提高計(jì)算速度問題，文獻(xiàn)[23]提出一種自適應(yīng)的策略，文獻(xiàn)[20]將其應(yīng)用到圖像融合領(lǐng)域，得到了良好的試驗(yàn)效果，這種融合策略目前已經(jīng)成功應(yīng)用到紅外和可見光[24]圖像融合領(lǐng)域。

2 本文方法

2.1 YUV變換

色彩融合技術(shù)是一種典型的技術(shù)，YUV[25]具有亮度信息和色彩信息分離特性的一種方法。其中“Y”表示亮度分量，“U”和“V”表示顏色分量，用來描述影像色彩及飽和度，并指定像素的顏色。RGB-YUV變換的具體步驟如下。

(1) 采用YUV變換從原始多光譜影像的顏色分量中分離出Y、U、V。

(2) 融合MS的Y分量與PAN影像，得到融合Y′分量。

(3) 將分量Y′與分離的色度U分量V分量進(jìn)行YUV-RGB變換，實(shí)現(xiàn)影像融合。

本文方法如圖2所示，具體步驟如下。

(1) 對(duì)MS影像進(jìn)行RGB-YUV變換，分離出影像的亮度分量Y。

(2) 利用NSST對(duì)PAN和MS影像的Y分量分別進(jìn)行分解，得到相應(yīng)的高頻子帶(HA,HB)、低頻子帶(LA,LB)。

(3) 采用PA-PCNN和EA的融合策略分別對(duì)高頻和低頻子帶系數(shù)進(jìn)行處理。

圖2 本文融合方法流程Fig.2 Flow chart of fusion method

(4) 分別對(duì)處理后的系數(shù)進(jìn)行NSST逆變換，得到融合后Y′亮度分量，然后將Y′、U和V進(jìn)行YUV-RGB變換，得到最終的融合影像。

2.2 高頻子帶融合

高頻子帶系數(shù)不僅提供了影像多尺度信息，而且還包含了豐富的原影像空間細(xì)節(jié)信息。本文方法在文獻(xiàn)[20]的基礎(chǔ)上提出了一種適合遙感影像的融合方法。該方法借助PA-PCNN模型在醫(yī)學(xué)影像融合方面的優(yōu)越性，將自適應(yīng)PA-PCNN方法引入遙感影像融合領(lǐng)域，將高頻子帶系數(shù)與自適應(yīng)計(jì)算PCNN參數(shù)的方法結(jié)合，其中PA-PCNN中模型中有4個(gè)自由參數(shù)，所有參數(shù)可以自適應(yīng)的計(jì)算，公式為

af=log(1/σ(S))

(1)

(2)

VE=e-af+1+6λ

(3)

(4)

式中，σ(S)表示范圍[0，1]的輸入影像S的標(biāo)準(zhǔn)差；S′表示歸一化Otsu閾值；Smax輸入圖影像的最大強(qiáng)度；VE動(dòng)態(tài)閾值E的振幅；ae、af表示E、F的指數(shù)衰減系數(shù)；λ表示加權(quán)鏈接強(qiáng)度。有關(guān)參數(shù)更多細(xì)節(jié)信息可參考文獻(xiàn)[20,25]。

Tij[N]=Tij[N-1]+Yij[N]

(5)

(6)

2.3 低頻子帶融合

低頻子帶包含影像的紋理、結(jié)構(gòu)等信息，其融合策略對(duì)最終融合質(zhì)量影響重大，通常采用較為簡單的平均融合規(guī)則來處理低頻子帶系數(shù)，但這樣不僅降低了融合影像的對(duì)比度，而且損失原影像的一些有用信息。因此，低頻系數(shù)選擇的融合規(guī)則是否準(zhǔn)確決定了融合影像的質(zhì)量。為了充分保留NSST分解后低頻子帶包含的有用信息，在低頻子帶融合中采用一種能量屬性(EA)融合策略[26]，該融合策略分為3個(gè)步驟。

(1) 計(jì)算低頻子帶的固有屬性值，計(jì)算公式為

IPA=μA+MeA

(7)

IPB=μB+MeB

(8)

(2) EA函數(shù)中EA和EB由式(9)和式(10)計(jì)算

(9)

(10)

(3) 低頻子帶的融合通過加權(quán)平均值獲得

(11)

式中，LF表示低頻子帶加權(quán)平均值。

3 試驗(yàn)數(shù)據(jù)與結(jié)果分析

3.1 評(píng)價(jià)指標(biāo)

為了更好地驗(yàn)證方法的優(yōu)越性和泛化能力，本文分別選用了資源三號(hào)(ZY-3)、高分二號(hào)(GF-2)和Worldview(WV)3種不同空間分辨率多幅遙感影像進(jìn)行試驗(yàn)，試驗(yàn)數(shù)據(jù)的分辨率見表1。裁剪為30對(duì)影像集，并對(duì)影像進(jìn)行了輻射校正、重采樣和影像配準(zhǔn)的預(yù)處理工作。本文選取了空間頻率(SF)、相對(duì)無量綱全局誤差(ERGAS)、相關(guān)系數(shù)(CC)、視覺信息保真度(VIFF)、基于梯度的融合性能(QAB/F)和結(jié)構(gòu)相似度測(cè)量(SSIM)等6種客觀評(píng)價(jià)指標(biāo)來評(píng)價(jià)影像融合的質(zhì)量。

3.2 參數(shù)分析

為了更好地適應(yīng)復(fù)雜的遙感影像，本文各選取ZY-3、GF-2和WV的2組影像主要針對(duì)NSST的分解層數(shù)q進(jìn)行參數(shù)分析試驗(yàn)。NSST分解層數(shù)參數(shù)分析結(jié)果如圖3所示，此次試驗(yàn)中，設(shè)置NSST分解層數(shù)q為1—5層，迭代次數(shù)N固定為110，α固定為4，根據(jù)經(jīng)驗(yàn)設(shè)置了16、8、4方向數(shù)。由圖3可以看出，隨著q的增加，SF、ERGAS、VIFF、QAB/F和SSIM基本趨于上升的趨勢(shì)，CC趨于略有下降的趨勢(shì)，當(dāng)q=4之后變化比較平穩(wěn)，當(dāng)q>4時(shí)，VIFF和SSIM部分結(jié)果略有下降的趨勢(shì)。因此考慮到當(dāng)q增加時(shí)，時(shí)間成本也會(huì)隨之增加，通過試驗(yàn)分析，本文將NSST分解層數(shù)q設(shè)置為4，PA-PCNN迭代次數(shù)和調(diào)節(jié)參數(shù)根據(jù)文獻(xiàn)設(shè)定[20,26]，N設(shè)置為110，調(diào)節(jié)參數(shù)α設(shè)置為4。

表1 試驗(yàn)數(shù)據(jù)的分辨率

圖3 NSST分解層數(shù)結(jié)果Fig.3 Results of NSST decomposition layers

3.3 資源三號(hào)數(shù)據(jù)

3.3.1 試驗(yàn)數(shù)據(jù)

第1組數(shù)據(jù)來源于ZY-3衛(wèi)星，其中空間分辨率多光譜影像(MS)為5.8 m，PAN影像為2.1 m，分別裁剪了像素大小為512×512像素的10組影像進(jìn)行試驗(yàn)，部分試驗(yàn)影像如圖4所示。

圖4 資源三號(hào)試驗(yàn)影像Fig.4 ZY-3 experimental image

3.3.2 試驗(yàn)結(jié)果分析

下面給出ZY-3衛(wèi)星10組影像對(duì)MS和PAN影像在不同算法下融合的試驗(yàn)結(jié)果，選取了其中2組影像的試驗(yàn)結(jié)果進(jìn)行展示，圖5顯示了SE[17]、DGIF[18]和COF[19]、PA-PCNN[22]和本文算法的融合結(jié)果，表2給出了5種融合方法的客觀評(píng)價(jià)結(jié)果。

圖5 第1組影像融合結(jié)果Fig.5 Results of the first group of imaging experiments

將較低分辨率ZY-3影像數(shù)據(jù)作為第1組試驗(yàn)。圖5(a)—(e)為影像融合結(jié)果，其清晰程度相比原來的多光譜影像都有提高，其中SE、COF和DGIF方法融合后的整體細(xì)節(jié)信息不清晰，而且SE融合視覺效果一般，COF方法出現(xiàn)嚴(yán)重偽影。在紅色矩形框區(qū)域可以清楚看出PA-PCNN和本文方法融合后紋理信息更加清晰，色彩信息更加豐富，更加符合人眼視覺系統(tǒng)。ZY-3影像融合的客觀評(píng)價(jià)結(jié)果見表2，由表2可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F和SSIM評(píng)價(jià)指標(biāo)優(yōu)于其他4種方法，說明本文采用的融合策略是可行的，在主觀和客觀評(píng)價(jià)中總體獲得最優(yōu)的效果，融合后影像空間和光譜信息更加豐富。

表2 試驗(yàn)1不同方法的客觀評(píng)價(jià)

3.4 高分二號(hào)數(shù)據(jù)

3.4.1 試驗(yàn)數(shù)據(jù)

第2組數(shù)據(jù)來源于GF-2衛(wèi)星，其中空間分辨率多光譜影像(MS)為4 m，PAN影像為1 m，分別裁剪了像素大小為512×512像素的10組影像進(jìn)行試驗(yàn)，部分試驗(yàn)影像如圖6所示。

3.4.2 試驗(yàn)結(jié)果分析

下面給出GF-2衛(wèi)星10組MS和PAN遙感影像在不同算法下融合的試驗(yàn)結(jié)果，選取了其中2組影像的試驗(yàn)結(jié)果進(jìn)行展示，圖7顯示了5種不同算法的融合結(jié)果，表3給出了5種融合方法對(duì)影像融合的客觀評(píng)價(jià)結(jié)果。

將高分辨率高分二號(hào)影像數(shù)據(jù)作為第2組試驗(yàn)。圖7(a)—(e)為影像融合結(jié)果，其清晰程度相比原來的多光譜影像都有一定的提高，其中SE融合提升效果較小，COF出現(xiàn)局部偽影、DGIF融合后的紋理結(jié)構(gòu)不清晰，存在一定的顏色失真，PA-PCNN和本文方法融合后紋理結(jié)構(gòu)清晰，色彩信息豐富，紅色矩形框區(qū)域本文方法比PA-PCNN方法影像細(xì)節(jié)也更加清晰，GF-2影像融合的客觀評(píng)價(jià)結(jié)果見表3，通過表3可以看出，本文方法在SF、ERGAS、CC、VIFF、QAB/F指標(biāo)優(yōu)于其他4種方法，表明融合影像的信息量豐富，說明本文采用的適合高分辨率的影像融合，可以更準(zhǔn)確地保留原始影像光譜信息及空間細(xì)節(jié)信息。相比ZY-3試驗(yàn)，SSIM達(dá)到一個(gè)次優(yōu)的效果，說明本文方法對(duì)較高分辨的SSIM相比PA-PCNN弱一些，但總體上還是達(dá)到一個(gè)最好的效果。

圖6 GF-2試驗(yàn)影像Fig.6 GF-2 experimental image

圖7 第2組影像融合結(jié)果Fig.7 Results of the second group of experimental images

表3 試驗(yàn)2不同方法的客觀評(píng)價(jià)

3.5 Worldview數(shù)據(jù)

3.5.1 試驗(yàn)數(shù)據(jù)

第3組數(shù)據(jù)來源于WV衛(wèi)星，其中空間分辨率多光譜影像(MS)為1.2 m，全色影像為0.3 m，分別裁剪了像素大小為512×512像素的10組影像進(jìn)行試驗(yàn)，部分試驗(yàn)影像如圖8所示。

3.5.2 試驗(yàn)結(jié)果分析

下面給出WV衛(wèi)星10組MS和PAN影像在不同算法下融合的試驗(yàn)結(jié)果，選取了其中2組影像的試驗(yàn)結(jié)果進(jìn)行展示，圖9顯示了5種不同算法的融合結(jié)果，表4給出了5種融合方法對(duì)影像融合的客觀評(píng)價(jià)結(jié)果。

將高分辨率WV影像數(shù)據(jù)作為第3組試驗(yàn)，圖9(a)—(e)為影像融合結(jié)果，其清晰程度相比原來的多光譜影像都有很大提高，在紅色矩形框區(qū)域可以清楚PA-PCNN和本文方法更加清晰。WV影像融合的客觀評(píng)價(jià)結(jié)果見表4，通過表4可以看出，本文方法在SF、ERGAS、CC、QAB/F和SSIM指標(biāo)優(yōu)于其他4種方法，表明融合影像的信息量豐富，顯著信息多，與原影像相關(guān)性強(qiáng)，信息損失量較小，說明本文采用的融合策略，可以更準(zhǔn)確地保留原始影像紋理信息和細(xì)節(jié)信息。相比ZY-3和GF-2試驗(yàn),本文方法VIFF取得了相對(duì)較差的結(jié)果，說明對(duì)于低分辨率影像灰度值變化小，輪廓清晰度較低，視覺的保真度一般，但本文方法總體上優(yōu)于其他方法的融合效果。

圖8 WV試驗(yàn)影像Fig.8 WV experimental image

圖9 第3組影像融合結(jié)果Fig.9 Fusion results of the third group of images

表4 試驗(yàn)3不同方法的客觀評(píng)價(jià)

綜上所述，本文通過對(duì)不同分辨的遙感影像進(jìn)行試驗(yàn)驗(yàn)證本文方法的泛化能力，通過試驗(yàn)說明針對(duì)不同分辨率的遙感影像適應(yīng)性不同，客觀評(píng)價(jià)也很難達(dá)到所有指標(biāo)均最優(yōu)。融合的過程就是綜合平衡視覺效果和各種客觀指標(biāo)以達(dá)到最優(yōu)的融合效果。通過以上分析，本文方法面對(duì)不同分辨率影像仍然能達(dá)到綜合最優(yōu)的效果，說明本文融合算法具有較強(qiáng)的泛化能力，不僅適用于較低分辨率影像融合，同樣適用于較高分辨率影像融合。

4 結(jié) 論

提出基于PA-PCNN模型和保持能量屬性融合策略的NSST遙感影像融合算法。該方法將PA-PCNN模型引入遙感影像高頻子帶系數(shù)的融合中，PCNN模型中的自由參數(shù)均可根據(jù)PA-PCNN模型自適應(yīng)計(jì)算，克服了手動(dòng)設(shè)置自由參數(shù)的困難，更好地實(shí)現(xiàn)空間和光譜信息融合。通過與4種具有代表性的融合方法對(duì)比，大量試驗(yàn)結(jié)果表明，本文提出的方法在視覺感知和客觀評(píng)價(jià)方面整體優(yōu)于SE、COF、DGIF、PA-PCNN方法，說明本文融合算法不僅適用于低分辨率全色和多光譜影像融合，而且同樣適用于高分辨率全色和多光譜影像融合。本文方法不僅克服了PCNN的不足，而且可以適應(yīng)復(fù)雜的遙感影像，使得在融合領(lǐng)域的適應(yīng)性大大增強(qiáng)，后續(xù)筆者將致力于設(shè)計(jì)更有效的融合策略來提高算法的時(shí)間效率，提升融合低分辨率影像的能力。此外，隨著深度學(xué)習(xí)已經(jīng)廣泛應(yīng)用影像領(lǐng)域，在未來的研究中，筆者將重點(diǎn)研究遙感影像融合的深度學(xué)習(xí)方法。