基于深度多尺度擴張CNN的多波段光譜銳化

李 靜，高 媛

(1.忻州師范學院 計算機系，山西 忻州 034000；2.中北大學 大數(shù)據(jù)學院，山西 太原 030051)

0 引 言

多波段光譜圖像已廣泛應用于數(shù)字地圖、農(nóng)業(yè)、軍事等領域，與單波段或少數(shù)波段的普通圖像相比，多波段光譜圖像通常包含衛(wèi)星或傳感器在不同光譜下捕獲的多個波段的目標[1,2]。在多光譜圖像融合中，為了充分利用現(xiàn)有的信息，通常采用全色銳化方法同時對兩個分量進行融合，生成高分辨率多光譜圖像。如何實現(xiàn)高質(zhì)量的銳化性能，這是許多學者研究的重點。

近些年，提出了一系列新的銳化方法。文獻[3]提出一種基于超拉普拉斯懲罰因子(PHLP)的全色銳化方法，使用超拉普拉斯分布來約束誤差，這在一定程度上允許了結構保留值的較大偏差。在文獻[4]中，該方法在一個統(tǒng)一的框架內(nèi)實現(xiàn)了衛(wèi)星圖像的配準與融合(SIRF)，它不僅利用高通濾波器來實現(xiàn)圖像的相似性，而且還融合了不同波段之間的內(nèi)在相關性。PHLP和SIRF方法實現(xiàn)與傳統(tǒng)的分量替代與自適應方法相比，效果更好，但也往往依賴于人工設計的假設，需要對不同的信號進行參數(shù)調(diào)整。

由于深層卷積神經(jīng)網(wǎng)絡具有強大的映射表示能力，許多研究者利用該技術進行全色銳化。例如，深度神經(jīng)網(wǎng)絡假設多光譜圖像塊之間的關系與對應的高分辨率/低分辨率圖像塊之間的關系是相同的，并使用這個假設通過神經(jīng)網(wǎng)絡學習映射關系[5]。卷積神經(jīng)網(wǎng)絡泛化(PNN)改進了先前的超分辨率網(wǎng)絡結構，并通過引入非線性輻射指數(shù)來增加輸入[6]。為了使深度殘差網(wǎng)絡適合解決全色銳化問題,文獻[7]使用深度殘差模塊代替池化層以減少空間細節(jié)信息丟失,并使用可學習參數(shù)的轉(zhuǎn)置卷積上采樣重建圖像尺寸。然而，上面提到的3種基于深度學習的方法只是將銳化處理為一個圖像回歸問題，雖然獲得了較好的結果，但它們沒有考慮和解釋光譜和空間保存，而是將其視為一個黑箱學習過程。根據(jù)文獻[7]，對于全色銳化問題，在融合過程中，空間特征與光譜信息被證明可以極大地提高分辨準確率，因此在學習函數(shù)映射時應該重點關注這一點。

為了解決上述問題，提出了一種基于深度多尺度擴張卷積神經(jīng)網(wǎng)絡的多波段光譜銳化方法，通過實驗驗證該方法能夠有效保存光譜和空間信息。

1 多尺度網(wǎng)絡

1.1 深度學習框架

一般來說，超分辨率貝葉斯法和高光譜圖像(hyperspectral image，HSI)銳化的目標是利用高分辨率(high-resolution，HR)分量來銳化包含更多頻帶和光譜信息的高分辨率(low-resolution，LR)分量。因此，這兩個任務可以統(tǒng)一到一個觀察模型中。將所需圖像表示為X包含C×R大小的B波段。輸入圖像的成像模型可以寫為

P=XHp+Np

(1)

M=HmX+Nm

(2)

式中：X∈RCR×B時期望輸出，Np和Nm分別是P和M所包含的噪聲。Hp∈RB×B1是光譜傳感器的響應，Hm∈Rcr×CR由一個下采樣算子組成。因此，P∈RCR×B1是包含B1(B1

圖1顯示了本文提出的深度學習的框架，該框架具有從多尺度擴張卷積到全色圖像銳化的深度學習?？梢园l(fā)現(xiàn)，這涉及在LR多光譜圖像和輸出之間的跳躍連接，以加強光譜相似性，并采用本文提及的多尺度擴展模塊在高通域中訓練網(wǎng)絡參數(shù)，從而對空間內(nèi)容建模，↑代表上采樣操作。

1.2 基本網(wǎng)絡結構

本文搭建的網(wǎng)絡使用帶有殘差網(wǎng)絡模塊的卷積神經(jīng)網(wǎng)絡作為網(wǎng)絡主干。深度卷積神經(jīng)網(wǎng)絡能夠捕獲相關的圖像特征，并為回歸任務構建復雜的非線性函數(shù)。此外，卷積濾波器還可以探索不同多光譜圖像帶之間的高相關性。因此，為了利用深層神經(jīng)結構強大的非線性能力，本文采用ResNet作為基本網(wǎng)絡模塊[7]。總體架構如式(3)所示

Yl=σ(Wl?concat(PG,UP(MG))+vl)Y2l=σ(W2l?Y2l-1+v2l)Y2l+1=σ(W2l+1?Y2l+v2l+1)+Y2l-1

(3)

(4)

式中：UP(M) 代表上采樣的LR多光譜圖像。

本文測試了3個基本網(wǎng)絡結構，其結構圖如圖2所示。第三個網(wǎng)絡，即PanNet[8]，性能最佳。第一種結構是將僅包含ResNet的結構直接應用于圖像融合問題。基于此網(wǎng)絡結構，本文提出了用于銳化以保留光譜和空間信息的新模型。

(1)頻譜保存：對于頻譜保存，對M進行上采樣，并運用到深層網(wǎng)絡的跳躍連接

(5)

受變分方法的啟發(fā)，它強迫X共享M的光譜含量。但是，與利用平滑核對X進行卷積的變分方法不同，本文方法允許深度網(wǎng)絡自動校正HR差異。圖2中的第二個網(wǎng)絡對應于式(5)，將此網(wǎng)絡稱為“ResNet +光譜映射”[9]。

(2)網(wǎng)絡結構保存：為了加強結構的一致性，大多數(shù)變分方法都利用PAN圖像中包含的高通信息。基于此目的，使用PAN圖像和上采樣LR多光譜圖像的高通量作為網(wǎng)絡輸入。修改后的模型如式(6)所示

(6)

為了獲得高通信息，通過對原始圖像的平均濾波，從原始圖像中剔除低通像素值。在獲得高通信息之后，將上采樣提高到LR多光譜圖像的PAN大小。另外，由于UP(M) 是低通部分，因此 (UP(M)-X) 包含X的高通分量。這增強了深層網(wǎng)絡的學習能力，將PAN中包含的高通空間信息融合為X的映射函數(shù)。為了使網(wǎng)絡專注于處理高通信息，本設計將UP(M) 的高通部分即UP(MG) 輸入網(wǎng)絡

(7)

式中：bui是基線預測因子。

1.3 網(wǎng)絡學習過程

本節(jié)定性地分析了本文提及的基于相關專業(yè)知識如何簡化學習過程的網(wǎng)絡設計。如圖3所示，在添加光譜映射并使用高通輸入之后，映射過程實際上是在3個稀疏分量之間，即圖3(d)～圖3(f)。即大多數(shù)像素等于或接近0，如圖3(h)的直方圖所示。這表明未知量顯著減少，這大大簡化了學習過程。

稀疏性也被廣泛地應用于現(xiàn)有的超分辨率貝葉斯方法中。因此，引入了光譜映射和高通輸入來訓練網(wǎng)絡參數(shù)。

1.4 多尺度分組網(wǎng)絡結構

與高層次視覺問題不同，超分辨率貝葉斯法是一個圖像融合問題，需要精確的密集像素預測。因此，引入廣泛用于獲取抽象特征的池操作會導致空間信息不可挽回的丟失。然而，不添加池操作會減慢感受野的增長速度。另一方面，許多多尺度網(wǎng)絡，例如U-Nets[10]和RNDN[11]，在這些網(wǎng)絡中，較低尺度的特征使用巧妙設計的跳躍連接來重新利用高尺度特征的計算。然而，這些方法以分層方式提取多尺度特征。在更細粒度的規(guī)模中，多尺度的能力有限。由于本文使用高通信息作為輸入，所以只有細節(jié)和邊緣被輸入到網(wǎng)絡中。因此，為了平衡空間高通信息保存和感受野放大，本文提出了一種多尺度分組擴張模塊在細粒度水平上提取多尺度表示。

通過膨脹因子的步長，對像素進行加權，膨脹卷積可以有效地增加感受野，而不會丟失空間信息，且不會增加參數(shù)的負擔。在不同的膨脹因子下，一個固定的卷積核可以獲得不同的感受野，因此設計一個多尺度的膨脹模塊，以充分利用不同尺度上的空間信息。然而，直接增加膨脹因子需要更多的計算預算。因此，本設計將特征圖分成不同的組別，分別對每組進行不同的膨脹卷積。

ResNet模塊中的卷積運算可以看作是膨脹因子等于1的膨脹卷積。分組的多尺度膨脹模塊由兩個多尺度膨脹運算和一個大小為1×1的卷積核組成。每個模塊包含4個具有不同膨脹因子的平行膨脹卷積。這4個膨脹因子由一個大小為1×1的卷積層連接融合，產(chǎn)生的計算復雜度可忽略，以生成輸出特征圖。其中，這4個因子是單獨處理的并且沒有完全連接，這節(jié)省了計算和存儲的負擔。本文設計的分組模塊的多尺度表示能力與現(xiàn)有方法有些不同之處，后者在不同的網(wǎng)絡層中使用具有不同分辨率的特征，而本文模型的多尺度是指單個網(wǎng)絡層上的多個感受野。本文模型的整個網(wǎng)絡包含4個組別的多尺度膨脹塊和兩個大小為3×3的卷積層。第一個3×3卷積層用于提取基本圖像特征，而最后一個用于重建殘差圖像。

1.5 移除批量歸一化

作為減輕內(nèi)部協(xié)變量偏移的最有效方法之一，批量歸一化(BN)在深度學習的每一層非線性網(wǎng)絡被廣泛采用。BN的操作包含兩個部分：首先，通過式(8)對小批量中的特征圖x進行歸一化

(8)

(9)

式中：y是輸出特征映射，γ和β是經(jīng)網(wǎng)絡學習需要更新的參數(shù)，用于提高模型能力。

數(shù)據(jù)經(jīng)批量歸一化后，網(wǎng)絡的訓練速度可以變得更快、初始化靈敏度低等。然而，在本文實驗中，發(fā)現(xiàn)在測試其它衛(wèi)星數(shù)據(jù)時，運用BN，網(wǎng)絡并不總是表現(xiàn)良好。這是因為BN假設訓練和測試數(shù)據(jù)的分布是相同的。在實驗階段，根據(jù)訓練數(shù)據(jù)計算并保存式(8)中使用的平均值μx和標準差σx。 然而，對于遙感領域，不同的衛(wèi)星有自己的數(shù)據(jù)類型。在一顆衛(wèi)星上獲得的μx和σx并不總是與其它衛(wèi)星的參數(shù)一致。因此，在測試新的衛(wèi)星數(shù)據(jù)時，從不同衛(wèi)星獲取的參數(shù)值可能會有些波動，影響后續(xù)的計算。注意，如PanNet所述，由于圖像中的主要能量，即低通分量已經(jīng)被去除，使用高通分量訓練網(wǎng)絡可以在一定程度上減少分布差異。但是，連續(xù)使用式(8)和式(9)會使波動累積，從而再次增大分布差異。因此，結合高通分量訓練網(wǎng)絡，去除BN可以進一步提高深度網(wǎng)絡對不同衛(wèi)星的泛化能力。這在新衛(wèi)星和傳感器無法提供足夠的訓練數(shù)據(jù)的情況下具有實用價值。

此外，如前文所述，引入光譜映射和高通分量可以有效地簡化學習過程，因此不需要BN來加速訓練。此外，移除BN可以充分減少內(nèi)存使用量，因為BN層與前面的卷積層需要消耗的內(nèi)存相同?；谏鲜鲇^測和分析，從本文的網(wǎng)絡中移除了BN層，從而提高了模型對新衛(wèi)星的泛化能力，減少了參數(shù)數(shù)目和計算資源。

2 算法流程

進一步給出提出的深度多尺度擴張CNN的多波段光譜銳化算法：

算法1：深度多尺度擴張CNN的多波段光譜銳化

輸入：原始圖像數(shù)據(jù)集

輸出：HR多波段圖像

(1)參數(shù)初始化：標準偏差，下采樣因子，上采樣因子，權重衰減，動量，初始學習率，批量大小，低通濾波器的半徑，訓練迭代次數(shù)，非線性函數(shù)；

(2)將圖像按照式(1)、式(2)得到PAN圖像以及LR多波段圖像；

(3)通過高通濾波器式(6)對PAN圖像以及LR多波段圖像進行處理，LR多波段圖像進行上采樣；

(4)將原始的LR多波段圖像進行新一輪的上采樣；

(5)將高通濾波器處理的PAN圖像與LR多波段圖像作為深度多尺度擴張CNN輸入；

(6)將包含64個特征的輸入分為4組，每組分別包含16個特征；

(7)將4個組分別輸入3×3的卷積層進行映射，用于提取基本圖像特征；

(8)每組的輸出經(jīng)過ReLU整流，然后再次進入3×3的卷積層映射，重建殘差圖像；

(9)對所有的4組特征映射輸出進行特征融合；

(10)然后經(jīng)過ReLU整流，再次經(jīng)過一個1×1的卷積層進行映射；

(11)將殘差圖像輸出與多波段圖像進行對比融合，輸出HR多波段圖像。

3 實驗與結果

3.1 數(shù)據(jù)集和實驗方法

本文使用Worldview3衛(wèi)星圖像進行實驗。由于HR多光譜圖像在數(shù)據(jù)集中不能用，在所有實驗中都遵循Wald協(xié)議。Wald協(xié)議對LR多光譜和PAN圖像都進行了降采樣，使得原始的LR多光譜圖像可以用作地面真實圖像。在降采樣之前，應用低通濾波器以減少像素混疊。本實驗使用標準偏差為0.1，大小為7×7的高斯核對所有原始圖像進行卷積，然后采用因子4進行下采樣。將幾種基于非深度學習的超分辨率貝葉斯方法進行了比較：ATWT-M3[12]、AWLP[13]、BDSD[15]、PRACS[16]、Indusion[17]、PHLP和SIRF。將3種基于深度學習的方法進行了比較：一種相對淺層網(wǎng)絡PNN和兩種多尺度網(wǎng)絡U-Net和RNDN。還將與圖2的3個網(wǎng)絡結構進行比較，即ResNet，ResNet+光譜映射和PanNet。

為了訓練本文構建的網(wǎng)絡，總共提取了18 K個PAN/LR多光譜/HR多光譜圖像塊對，每個圖像塊大小設置為64×64。在訓練過程中，70%的配對用于學習網(wǎng)絡，其余用于測試。使用Caffe來訓練本文模型，并選擇ReLU作為非線性σ(·)。 所有網(wǎng)絡層的卷積核數(shù)量都設置為16。使用SGD算法，其中權重衰減和動量設置為10-7和0.9，用來最小化目標函數(shù)式(6)。將初始學習率設為0.001，經(jīng)過105次迭代和2×105次迭代后除以10。訓練網(wǎng)絡的迭代次數(shù)設為2.5×105次，小批量大小設為16，低通濾波器的半徑設為5。

3.2 實驗結果

首先使用上節(jié)描述的實驗框架，在采集自Worldview3衛(wèi)星的225幅圖像上測試本文模型，這些圖像包含8個光譜帶。其中只有3個色帶用于可視化，而所有光譜帶都用于執(zhí)行定量評估。用5種廣泛使用的量化指標來評估性能，即相對無量綱綜合誤差(ERGAS)、光譜角映射器(SAM)、頻帶平均的通用圖像質(zhì)量指數(shù)(QAVE)、Q8的X波段擴展和空間相關系數(shù)(SCC)[18]。

量化指標得分的平均值和標準差見表1，排名第一和第二的結果分別用粗體和下劃線標出?？梢钥闯觯绻豢紤]圖2的網(wǎng)絡和本文的多尺度網(wǎng)絡，PNN方法的效果最好。而PanNet則比PNN的實驗結果明顯可觀。這是由于光譜映射和高頻輸入的額外設計。此外，本文的多尺度網(wǎng)絡在所有其它方法中取得了最好的效果，這表明由于更多的上下文信息被用于后續(xù)模型重建，使用多尺度方式可以進一步提高模型的重建精度。

表1 采集自Worldview3衛(wèi)星的225幅圖像的不同方法的測量指標

圖4列舉了縮小比例的例子，如小矩形所示，其它比較方法在其結果中會出現(xiàn)明顯的模糊和偽影，以及一些光譜失真，顯示為顏色失真。在圖5中，描繪了這些圖像的殘差，用來突出不同之處?？梢钥闯?，本文的多尺度網(wǎng)絡的殘留圖像的顏色趨于灰色，這說明本文模型可以很好地保留光譜。同時，本文模型生成的殘差圖像顯示的細節(jié)和紋理也比其它方法少，這意味著本文模型可以實現(xiàn)最佳的空間信息保存，LRMS表示低分辨質(zhì)譜方法。

表2給出了基于深度學習的方法的可訓練參數(shù)數(shù)量的比較?？梢钥闯?，本文網(wǎng)絡的參數(shù)量雖然比PanNet的參數(shù)量略多，但是比其它方法少得多，且圖像融合效果最好，對比結果見表1。

表2 基于深度學習方法的參數(shù)數(shù)量的比較

3.3 按原始圖像進行模型評估

本文還評估了不同方法在Worldview3衛(wèi)星原始分辨率下對200張圖像的測試結果。結果示例如圖6所示。由于缺乏地面真實的HR多光譜圖像，向上采樣的LR多光譜圖像的殘差如圖7所示。由于輸出和上采樣的LR多光譜圖像應該具有近似的光譜信息，平滑區(qū)域應該接近于零，并且只顯示與LR多光譜圖像缺少的信息相對應的邊緣或結構。

本實驗還采用了文獻[12]中使用的方法來進行定量評估，即對輸出的HR多光譜圖像進行下采樣，并將其與LR多光譜進行比較作為基本參考。另外還使用由光譜畸變指數(shù)Dλ和空間畸變指數(shù)Ds組成的QNR作為無參考度量。結果見表3，排名第一和第二的結果分別用粗體和下劃線標出，可以再次發(fā)現(xiàn)本文模型具有的良好性能。

3.4 將本文模型推廣到新衛(wèi)星

本文多尺度網(wǎng)絡對衛(wèi)星間的差異更具有魯棒性，為了驗證這一點，在Worldview2和Worldview3衛(wèi)星數(shù)據(jù)集上將本文模型與PNN進行了比較。具體來說，測試了兩個PNN訓練的模型：一個稱為PNN-WV2，它根據(jù)worldwiew2數(shù)據(jù)進行訓練；另一個稱為PNN-WV3的模型是在與多尺度網(wǎng)絡相同的worldwiew3數(shù)據(jù)集上訓練的。

表3 將Worldview3衛(wèi)星圖像采用不同方法進行度量

圖8中展示了一個視覺結果?？梢钥吹?，PNN不能很好地推廣到新的衛(wèi)星上，而多尺度網(wǎng)絡可以很好地推廣到Worldview2，并接受Worldview3訓練。在圖8(d)和圖8(e)中，PNN分別產(chǎn)生明顯的頻譜失真，而本文網(wǎng)絡模型對新類型的數(shù)據(jù)具有魯棒性。這驗證了本文模型能夠?qū)⒐庾V信息的建模工作留給光譜映射過程，并使得網(wǎng)絡專注于結構信息。另一方面，PNN要求其網(wǎng)絡同時對空間和光譜信息進行建模。

本文還考慮了本文的模型和PNN如何推廣到IKONOS衛(wèi)星數(shù)據(jù)。由于IKONOS數(shù)據(jù)包含R、G、B和紅外4個波段，因此選擇Worldview3數(shù)據(jù)中的波段來訓練本文模型。PNN-IK和PNN-WV3分別表示PNN根據(jù)IKONOS數(shù)據(jù)和Worldwiew3數(shù)據(jù)訓練的兩個模型。如圖9所示，PNN-WV3以光譜失真為代價獲得了清晰的結構。雖然PNN-IK是直接在IKONOS上進行訓練，但是本文方法仍然有更清晰的結果。如圖9的第二行即殘余圖像中可以看到，本文方法能夠同時實現(xiàn)光譜和空間的保留。具體地說，與PNN相比，本文模型的結果在平滑區(qū)域的色差更小，邊界區(qū)域周圍的結構更清晰。實驗過程中發(fā)現(xiàn)使用高頻部件來訓練本文網(wǎng)絡可以消除不同衛(wèi)星數(shù)據(jù)的不一致性。

3.5 分塊研究

進一步分析本文模型每個部分的影響：

(1)分組膨脹模塊效應：由于分組多尺度膨脹模塊是本文模型的核心模塊，首先通過與只包含正態(tài)卷積的基本網(wǎng)絡的比較來測試不同膨脹模塊的效果。具體地說，通過將擴張因子從2增加到5來測試5個不同分組的膨脹模塊。為了公平比較，調(diào)整了不同的膨脹模塊，使其具有相近的參數(shù)數(shù)量。

定量分析結果見表4，增加擴張因子可以產(chǎn)生更好的結果。擴張因子可以產(chǎn)生更大的感受野，這比普通卷積有更大的優(yōu)勢。然而，增加擴張因子最終會增加模型記憶功能負擔，模型改善有限。因此，為了平衡性能和速度，選擇最大擴展因子設為4，作為默認設置。

表4 在不同膨脹因子下的定量比較

實驗人員還測試ResNet模塊和分組膨脹模塊的計算效率，即兩個網(wǎng)絡架構，如圖10所示。眾所周知，在卷積神經(jīng)網(wǎng)絡框架下，卷積運算占據(jù)了主要的運行時間。由于卷積核的尺寸增大，直接加入膨脹因子通常會增加運算時間。然而，由于將特征映射分成4個平行的組，卷積核的數(shù)目和相鄰特征之間的連接數(shù)都減少到原始數(shù)目的1/4。這使分組膨脹模塊具有更強大的多尺度表示能力，同時保持與ResNet相似的計算效率。如圖10所示，由于分組操作，本文模型的參數(shù)個數(shù)減少，而經(jīng)GPU加速后，每個模塊的計算運行時間(以ms為單位)差不多。

為了查看這些模塊已經(jīng)學習了哪些表示，在圖11中展示了來自不同展開卷積運算的一些特征圖。顯然，隨著膨脹因子的增加，對應的特征圖包含更大比例的結構和內(nèi)容，這與捕捉多尺度空間模式的目的是一致的。因此，與現(xiàn)有的以分層方式進行多尺度表示的方法不同，本文的分組膨脹模塊可以在細粒度級別上提取多尺度特征，并增加單個網(wǎng)絡層內(nèi)的感受野，這使得在銳化性能方面有顯著的改進。

(2)移除BN的效果：為了驗證移除BN的有效性，如前文所述，通過將BN加入本文的深層模型進行實驗。當每個卷積運算之后再進行BN運算。在Worldview3數(shù)據(jù)上使用BN訓練深度模型，并在原始比例下對Worldview3和Worldview2數(shù)據(jù)進行測試。定量結果見表5，從Worldview3的測試數(shù)據(jù)可以看出，兩種模型的整體性能非常接近。這是因為訓練數(shù)據(jù)和測試數(shù)據(jù)都是從同一顆衛(wèi)星上采集的，這符合BN的假設。而在Worldview2的測試數(shù)據(jù)上，使用BN的模型性能明顯下降。這是因為兩顆衛(wèi)星收集到的數(shù)據(jù)分布形式不同。BN所掌握的一類衛(wèi)星的分布形式，即式(8)中的平均值和標準差，不能直接用于另一類衛(wèi)星。

表5 移除BN的定量結果

為了驗證這一觀點，圖12描繪了第一層特征圖的統(tǒng)計直方圖分布的示例。式(8)和式(9)中的參數(shù)是從Worldview3數(shù)據(jù)中學習的。很明顯，在圖12(a)中，如果訓練數(shù)據(jù)和測試數(shù)據(jù)具有相同的分布形式，即來自Worldview3，則BN操作之后生成的特征圖的波動范圍較小。相反，使用從Worldview3學習到的參數(shù)來處理Worldview2數(shù)據(jù)會有明顯的變化。如圖12(b)所示，可能導致后續(xù)計算結果不穩(wěn)定，從而降低性能。此外，增加BN操作會消耗更多的計算和存儲資源。因此，一致認為BN并不適合這個特定的遙感群體。為了提高泛化能力，節(jié)省計算和存儲預算，從模型中移除了BN操作。

(3)超參數(shù)的影響：此次實驗還測試了卷積核數(shù)量和分組膨漲模塊數(shù)量的影響。具體地說，首先測試核數(shù)K∈{16,32,48,64}， 同時將分組膨脹模塊數(shù)固定為4。然后，在核數(shù)固定為64的情況下，檢驗了群膨脹模塊數(shù)L∈{1,2,4,6}。 定量測試結果見表6。顯然增加內(nèi)核和模塊數(shù)量可以表現(xiàn)出更高的性能。添加分組模塊可以獲得更大的建模容量以及可以進行更多的非線性操作，這比增加核數(shù)有更大的優(yōu)勢。然而，增加K和L的數(shù)量帶來的改善是有限的，且損耗了存儲以及使計算速度減慢。還調(diào)整了PanNet，使其參數(shù)數(shù)目接近本文的多尺度模型。定量分析結果見表7。很明顯，在不同數(shù)量級下，本文方法始終優(yōu)于PanNet，這進一步驗證了本文模型的有效性。為了平衡性能和速度，將K=64和L=4作為默認設置。

表6 不同核數(shù)(K)和塊數(shù)(L)下的定量分析比較

表7 不同參數(shù)數(shù)量下與PanNet的定量比較

3.6 收斂性能

圖13中展示了訓練和測試數(shù)據(jù)集的收斂性作為SGD迭代的函數(shù)。對比4種不同的網(wǎng)絡結構：ResNet、ResNet+光譜映射、PanNet和本文的多尺度網(wǎng)絡。如圖13所示，與其它網(wǎng)絡結構相比，本文構建的網(wǎng)絡具有顯著更低的訓練和測試誤差。這說明多尺度網(wǎng)絡結構和高通訓練策略適用于特定的超分辨率貝葉斯問題。

3.7 高光譜圖像銳化

進一步測試了有關HSI銳化的模型，該模型在遙感任務中受到了越來越多的關注，例如目標分類和變化檢測。本課題旨在將LR HSI與HR多光譜圖像融合，用來獲得HR-HSI。本文采用文獻[19]中的融合框架來評估本文模型。將本文網(wǎng)絡與4種最先進的方法進行了比較，即通過基于子空間的HYSURE、耦合光譜解混(CSU)、非負結構性稀疏表示(NSSR)和深高光譜圖像銳化(DHSIS)[20]實現(xiàn)高光譜圖像超分辨率。表8記錄了兩個公共數(shù)據(jù)集的定量結果，即CAVE數(shù)據(jù)集和Havard數(shù)據(jù)集?？梢钥闯?，本文模型在4個指標上的總體性能最好。這是因為此模型采用專業(yè)領域知識來分別保存光譜和空間信息，這也是HSI銳化的關鍵。這說明多尺度網(wǎng)絡是通用模型，可以解決不同任務。

表8 CAVE和Havard數(shù)據(jù)集的定量結果

圖14描述了每個數(shù)據(jù)集的銳化結果，用于視覺比較。如輸出的矩形所示，HR-HSIs、HYSURE、CSU和NSSR方法具有明顯的光譜偽影，而DHSIS具有明顯的邊緣失真。相反，本文模型可以同時實現(xiàn)光譜和空間的保護。本文還用偽彩色顯示了相應的殘差圖像，以反映預測的HR-HSI與地面真實的差異。如殘差圖像所示，其它比較方法包含各種退化處理，例如模糊細節(jié)和振鈴效應，尤其是在標記區(qū)域。本文提出的深度多尺度細節(jié)網(wǎng)絡在細節(jié)重建和偽影減少方面的性能最好。同時，本文模型產(chǎn)生的殘差圖像在整個平滑區(qū)域以深色顯示，也就是說，所有的差值都接近于0。而其它的殘差圖像或多或少包含了較顯眼的區(qū)域，表明誤差相對較大。

4 結束語

為了解決全色銳化過程中頻譜和空間信息保存問題，提出了一種基于深度多尺度擴張卷積神經(jīng)網(wǎng)絡的多波段光譜銳化方法。通過多個數(shù)據(jù)集的實驗對比驗證可得出如下結論：①由于更多的上下文信息被用于后續(xù)模型重建，使用多尺度方式可以進一步提高模型的重建精度。另外分組膨脹模塊可以在細粒度級別上提取多尺度特征，并增加單個網(wǎng)絡層內(nèi)的感受野，這使得在銳化性能方面有顯著的改進；②提出方法的多尺度網(wǎng)絡的殘留圖像顏色趨于灰色，這說明本文模型可以很好地保留光譜；③提出模型生成的殘差圖像顯示的細節(jié)和紋理也比其它方法少，這意味著本文模型可以實現(xiàn)最佳的空間信息保存；④提出方法由于刪除了BN過程，使得結果在平滑區(qū)域的色差更小，邊界區(qū)域周圍的結構更清晰，并且可以消除不同衛(wèi)星數(shù)據(jù)的不一致性，提升方法的泛化性能。